Résumé technique : LoMETab : Au-delà des ensembles de rang 1 pour l'apprentissage profond tabulaire

Énoncé du problème

Les récents benchmarks en apprentissage profond tabulaire révèlent un « cluster de performances serré » où les méthodes de pointe — y compris les arbres de décision à gradient boosté (GBDT), les architectures basées sur l'attention et les ensembles implicites comme TabM — affichent une efficacité comparable. Bien que les ensembles profonds soient une méthode éprouvée pour améliorer les performances des modèles, l'entraînement de $K$ réseaux indépendants évolue linéairement avec le coût. Les ensembles implicites, tels que BatchEnsemble et TabM, pallient ce problème en partageant la plupart des paramètres tout en introduisant des perturbations spécifiques à chaque membre.

Cependant, les ensembles implicites existants reposent sur une structure de rang 1 fixe. Dans TabM, chaque membre module une matrice de poids partagée $W$ via un masque de rang 1 ($W_k = W \odot (s_k r_k^\top)$). Cette conception manque d'un axe explicite pour augmenter la capacité de modulation spécifique à chaque membre. Par conséquent, la diversité de l'ensemble — le principal moteur des gains d'ensemble — n'est pas directement contrôlable ; elle doit émerger implicitement des masques de rang 1 fixes et des dynamiques d'entraînement. Des travaux antérieurs suggèrent que, dans certaines conditions, les membres de BatchEnsemble peuvent converger vers des fonctions quasi identiques, indiquant que la modulation de rang 1 peut échouer à réaliser une diversité significative.

Méthodologie : LoMETab

Les auteurs proposent LoMETab, une généralisation de rang-$r$ des ensembles implicites multiplicatifs conçue pour surmonter les limites des structures de rang 1 fixes.

Formulation de base

Au lieu d'un masque de rang 1, LoMETab attribue à chaque membre $k$ une paire de matrices d'adaptateur de bas rang, $A_k \in \mathbb{R}^{d_{out} \times r}$ et $B_k \in \mathbb{R}^{d_{in} \times r}$. Le poids effectif pour le membre $k$ est défini comme suit :
$$W_k = W \odot (1 + A_k B_k^\top)$$
Ici, $W$ est le poids de base partagé, et $A_k B_k^\top$ forme une matrice résiduelle de rang au plus $r$. Le terme $(1 + A_k B_k^\top)$ agit comme une perturbation multiplicative résiduelle d'identité. Lorsque le résidu est proche de zéro, le membre se comporte comme le poids partagé ; des résidus plus grands induisent des écarts spécifiques au membre.

Architecture et entraînement

• Architecture : LoMETab est inséré dans un backbone MLP tabulaire. Une embedding linéaire par morceaux partagée traite l'entrée, qui est ensuite copiée sur les $K$ membres. Chaque couche linéaire cachée est remplacée par une couche Linéaire LoMETab, combinant le poids partagé avec des adaptateurs spécifiques aux membres.
• Objectif d'entraînement : Le modèle est entraîné à l'aide d'une fonction de perte membre par membre, optimisant la perte de tâche moyenne sur l'ensemble des $K$ membres. Cela permet aux sous-modèles parallèles de se spécialiser malgré le partage du backbone.
• Inférence : Les prédictions finales sont obtenues en moyennant les sorties de tous les $K$ membres (moyenne des probabilités pour la classification, sorties scalaires pour la régression).

Expressivité théorique

L'article établit une hiérarchie stricte dans les classes d'hypothèses. Pour tout rang $r \ge 2$, l'ensemble des poids effectifs représentables dans LoMETab contient strictement l'ensemble représentable par BatchEnsemble (rang 1). Plus précisément, tout masque BatchEnsemble $s_k r_k^\top$ peut être représenté comme $1 + A_k B_k^\top$ car la différence $s_k r_k^\top - 1$ a un rang au plus égal à 2. Ainsi, LoMETab élargit strictement l'espace de conception pour $r \ge 2$.

Contributions clés

1. Généralisation de rang-$r$ : Introduction de LoMETab, qui remplace les masques de rang 1 fixes par des perturbations Hadamard de bas rang résiduelles d'identité, paramétrées par le rang de l'adaptateur $r$ et l'échelle d'initialisation $\sigma_{init}$.
2. Diversité contrôlable : Démonstration que la capacité de rang ajoutée se manifeste par une diversité prédictive mesurable. Les auteurs montrent que LoMETab maintient un écart « soutenu » en divergence Kullback–Leibler (KL) par paires par rapport à un ensemble de bas rang additif ($W_k = W + A_k B_k^\top$), qui converge rapidement vers une faible diversité. De plus, la grille $(r, \sigma_{init})$ offre un contrôle large sur la diversité, faisant varier la divergence KL par paires sur plusieurs ordres de grandeur.
3. Ajustement dépendant du jeu de données : Preuve empirique que les configurations optimales pour le rang et l'échelle d'initialisation dépendent du jeu de données. L'article s'oppose à une construction « de rang 1 fixe », proposant à la place une famille contrôlable d'ensembles implicites où $r$ et $\sigma_{init}$ servent d'axes d'ajustement pratiques.

Résultats expérimentaux

Les auteurs ont évalué LoMETab sur 37 jeux de données académiques (incluant le benchmark TabM et les sources TabZilla) et 77 tâches d'évaluation.

• Performance sur les benchmarks : LoMETab atteint un rang moyen de 2,1 ± 1,3 sur 37 jeux de données, surpassant TabM (2,3 ± 1,8) et rivalisant avec de solides bases GBDT (par exemple, XGBoost, CatBoost) et des architectures neuronales récentes. Il se classe premier sur 14 jeux de données et dans le top trois sur 89,2 % des jeux de données.
• Contrôle de la diversité :
  • Multiplicatif vs Additif : LoMETab maintient un « écart soutenu » en divergence KL par paires par rapport à un ensemble de bas rang additif ($W_k = W + A_k B_k^\top$), qui converge rapidement vers une faible diversité.
  • Balayage de grille : Le balayage de $r \in \{1, 2, 4, 8, 16\}$ et $\sigma_{init} \in \{0,1, \dots, 3,0\}$ révèle que la diversité est contrôlée conjointement par ces axes. Un faible $\sigma_{init}$ entraîne une faible diversité quel que soit le rang, tandis qu'un $\sigma_{init}$ plus élevé active l'axe du rang, augmentant considérablement la diversité.
  • Métriques au niveau de la tâche : Une diversité accrue corrèle avec un désaccord plus élevé sur l'argmax en classification et une ambiguïté plus élevée en régression.
• Compromis Performance vs Diversité : Bien que la diversité améliore généralement les performances, la relation n'est pas strictement monotone. L'ajustement de $r$ et $\sigma_{init}$ permet une optimisation spécifique au jeu de données, surpassant souvent le simple ajustement de la taille de l'ensemble $K$ dans TabM.
• Efficacité paramétrique : Malgré l'expressivité accrue, LoMETab n'entraîne pas nécessairement un nombre de paramètres plus élevé que TabM. L'optimisation des hyperparamètres sélectionne souvent des configurations plus compactes (par exemple, des dimensions cachées plus petites) lors de l'utilisation de rangs plus élevés, conduisant à des nombres totaux de paramètres comparables, voire inférieurs, dans de nombreux cas.

Importance et affirmations

L'article affirme que pour les ensembles implicites tabulaires, la manière dont les membres sont autorisés à s'écarter d'un backbone partagé est une question centrale de conception. En allant au-delà de la contrainte de rang 1 fixe, LoMETab expose le rang de l'adaptateur et l'échelle d'initialisation comme des axes pratiques et contrôlables pour gérer la diversité de l'ensemble.

Les auteurs présentent modestement leur contribution comme fournissant une « famille contrôlable d'ensembles implicites » plutôt qu'une solution fixe. Ils soulignent que la configuration optimale dépend du jeu de données et que la valeur principale de LoMETab réside dans sa capacité à ajuster la forme et l'échelle des écarts des membres pour convenir à des tâches spécifiques. Le travail suggère que des recherches futures pourraient explorer si cette contrôlabilité se traduit par une amélioration de l'estimation de l'incertitude ou de la détection hors distribution, bien que ceux-ci soient identifiés comme des pistes de travail futures plutôt que des résultats actuels.