Résumé technique : Modèles de fondation de poche

Énoncé du problème

Les Modèles de Fondations Tabulaires (MFT) tels que TabICLv2, TabPFNv2.6 et LimiX ont démontré une précision à la pointe de l'état de l'art sur de petits jeux de données structurés en utilisant l'apprentissage en contexte (ICL) via de grands transformateurs. Cependant, ces modèles font face à un obstacle critique de déploiement : ils nécessitent de traiter l'ensemble des données d'entraînement au moment de la requête, entraînant des latences d'inférence comprises entre 151 ms et 1 275 ms sur GPU. Cette latence est incompatible avec les applications en temps réel telles que la détection de fraude, le scoring de crédit ou le triage des patients, qui exigent souvent des réponses inférieures à 2 ms. De plus, les coûts des GPU et les contraintes de production sur CPU uniquement rendent le déploiement direct des MFT impraticable.

Bien que la distillation de connaissances offre une voie pour compresser ces modèles en étudiants Gradient-Boosted Decision Tree (GBDT) plus rapides, un obstacle technique spécifique se pose avec les enseignants basés sur l'ICL. Lorsqu'un enseignant ICL note des exemples déjà présents dans son contexte (c'est-à-dire son propre ensemble d'entraînement), ses prédictions s'effondrent vers des vecteurs quasi one-hot avec une entropie quasi nulle. Cette « fuite » détruit la structure inter-classe (étiquettes douces) nécessaire à une distillation efficace, amenant l'étudiant à apprendre non plus que s'il avait été entraîné sur des étiquettes dures, performant souvent moins bien qu'un entraînement standard.

Méthodologie

L'article propose un pipeline de distillation conscient des fuites qui convertit des enseignants MFT en étudiants GBDT ou MLP prêts pour CPU. L'innovation centrale réside dans l'utilisation d'un étiquetage Stratifié Hors-Ensemble (OOF) pour prévenir les fuites de contexte.

1. Étiquetage OOF : Le jeu de données d'entraînement $D$ est partitionné en $K=5$ plis stratifiés. Pour chaque pli $k$, le modèle enseignant est ajusté sur $D \setminus D_k$ et utilisé pour prédire des probabilités uniquement pour l'ensemble retenu $D_k$. Cela garantit que l'enseignant ne voit jamais les exemples de requête dans son contexte, préservant ainsi le signal d'étiquette douce (structure inter-classe) requis pour la distillation.
2. Moyenne Multi-Enseignants : Dans les configurations multi-enseignants, les prédictions OOF de différentes familles de MFT (par exemple, TabPFN, TabICL, LimiX) sont moyennées avec des poids égaux avant d'être utilisées comme cibles.
3. Objectif de l'Étudiant : L'étudiant (XGBoost, CatBoost, LightGBM ou MLP) est entraîné en utilisant une fonction de perte mixte de style Hinton :
   $$\mathcal{L} = \alpha \sum_i w_i T_i^2 \text{KL}(\hat{p}_i^{T_i} \parallel q_i^{T_i}) + (1-\alpha) \sum_i w_i \ell_{\text{CE}}(y_i, q_i)$$
   Où $\alpha=0.7$, $T_i$ est un facteur d'échelle de température par échantillon basé sur l'entropie de l'enseignant, et $w_i$ est un poids de confiance qui réduit le poids des prédictions trop confiantes ou quasi aléatoires. Pour les étudiants basés sur des arbres, le terme KL se simplifie en régression MSE par classe sur les logits d'étiquettes douces.
4. Sélection de l'Enseignant : L'article constate que le classement des enseignants par leur AUC individuel sur un échantillon retenu se transpose exactement au classement des étudiants résultants. Ainsi, sélectionner le meilleur enseignant ne nécessite aucune recherche d'architecture complexe ; il suffit de choisir l'enseignant ayant le plus haut AUC individuel.

Contributions Clés

1. Étiquetage OOF Obligatoire : Les auteurs identifient que l'étiquetage OOF n'est pas optionnel pour les MFT basés sur l'ICL. Sans cela, le signal d'étiquette douce s'effondre, et la distillation produit des étudiants inférieurs aux bases de référence à étiquettes dures.
2. Performance vs Latence : La distillation de TabICLv2 en XGBoost atteint un AUC moyen macro de 0,882 (96,5 % de l'AUC de l'enseignant) avec une latence de 1,9 ms sur un seul cœur CPU. Cela représente une accélération de 38× à 860× par rapport à l'enseignant, tout en surpassant statistiquement une base de référence CatBoost optimisée sur 51 % des 153 jeux de données (Wilcoxon $p=0,0008$).
3. Gains Prévisibles : Les bénéfices de la distillation sont hautement prévisibles en fonction de la dimensionalité des données :
   • Données de faible dimensionnalité ($\le$ 21 caractéristiques) : La distillation apporte un gain significatif (+0,011 AUC par rapport à CatBoost).
   • Données de haute dimensionnalité ($>$ 21 caractéristiques) : Les gains sont négligeables (+0,001 AUC), et si l'enseignant lui-même sous-performe CatBoost, la distillation peut dégrader davantage les performances.
4. Dynamiques Multi-Enseignants :
   • Étudiants Arbre : La moyenne multi-enseignants fournit un gain statistiquement détectable mais pratiquement négligeable (+0,0006 AUC). Un seul enseignant fort suffit.
   • Étudiants MLP : La moyenne multi-enseignants agit comme un lissage d'étiquettes efficace, produisant un gain significatif (+0,006 AUC, $p=0,003$) par rapport à l'entraînement avec un seul enseignant.
5. Pipeline Open-Source : Le pipeline complet est implémenté et publié dans le cadre de la bibliothèque TabTune.

Résultats

L'évaluation couvre 153 jeux de données de classification issus de TALENT, OpenML-CC18, TabZilla et TabArena.

• Précision : La meilleure configuration distillée (TabICLv2 $\to$ XGBoost) atteint un AUC de 0,882, conservant 96,5 % des performances de l'enseignant.
• Latence : Les étudiants arbres distillés s'exécutent en 1,9–4,0 ms sur CPU, contre 151–1 275 ms pour les enseignants sur GPU.
• Bases de référence : Les modèles distillés battent une base de référence CatBoost optimisée sur 51 % des jeux de données. À l'inverse, OrionMSP, un enseignant plus faible, produit des étudiants qui ne gagnent que 22,6 % du temps.
• Ablation : Pour les étudiants MLP sur des données de faible dimensionnalité, l'utilisation d'étiquettes dures avec OOF ($\alpha=0$) a en fait surpassé le pipeline complet d'étiquettes douces Hinton de 0,034 AUC, suggérant que pour des données propres et de faible dimensionnalité, la machinerie complexe d'étiquettes douces est optionnelle, mais que l'étiquetage OOF reste critique.

Importance

L'article démontre que le « problème de déploiement » des modèles de fondation tabulaires peut être résolu sans sacrifier leurs avantages en termes de précision. En traitant le problème spécifique de fuite inhérent aux enseignants ICL, les auteurs montrent qu'il est possible de distiller la « structure inter-classe » d'un MFT dans un GBDT léger et natif pour CPU.

L'importance réside dans la prévisibilité et la dégradation gracieuse de l'approche :

• Si un MFT est fort, la distillation transfère cette force à un étudiant rapide.
• Si un MFT est faible (ou si les données sont de haute dimensionnalité), la distillation n'enfle pas artificiellement les performances ; elle échoue proprement, performant souvent moins bien qu'un GBDT standard, signalant que l'enseignant n'était pas un bon candidat.
• La méthode ne nécessite aucun réglage complexe d'hyperparamètres pour l'étudiant ; la décision principale consiste simplement à sélectionner le meilleur enseignant performant.

Les auteurs concluent que pour les données structurées de faible dimensionnalité, les praticiens peuvent atteindre une précision proche de celle de l'enseignant à 1 % du coût d'inférence, à condition de respecter strictement le protocole d'étiquetage OOF pour éviter l'effondrement du signal.