📊 statistics

GEAR: Generative Expansion and Real Anchoring for Two-Stage Distillation of Tabular Foundation Models

Le papier propose GEAR, un cadre de distillation modulaire en deux étapes qui convertit les modèles de fondation tabulaires gourmands en ressources en prédicteurs légers et performants pour les processeurs grand public en combinant l'expansion de requêtes synthétiques avec le réancrage sur des données réelles, réalisant ainsi des gains significatifs en précision et en efficacité par rapport aux bases supervisées.

Auteurs originaux : Qi Qin, Jiajie Zhu, Dali Chen, Yuzhao Zhang, Jia-Xing Han, Yu Su, Peng Zhang, Ying Yan, Yifan Sun

Publié 2026-08-20

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qi Qin, Jiajie Zhu, Dali Chen, Yuzhao Zhang, Jia-Xing Han, Yu Su, Peng Zhang, Ying Yan, Yifan Sun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de la science des données, l'information prend souvent la forme de feuilles de calcul : des lignes de chiffres et de catégories décrivant tout, des demandes de prêt aux dossiers de santé des patients. Pendant des décennies, le moyen le plus fiable pour trouver des modèles dans ces tableaux a été d'entraîner des programmes informatiques spécialisés sur les données spécifiques en main. Ces programmes apprennent par l'exemple, ajustant leurs paramètres internes jusqu'à ce qu'ils puissent prédire le résultat pour une nouvelle ligne en se basant sur les modèles observés précédemment. Cependant, une nouvelle génération de modèles a émergé et fonctionne différemment. Au lieu d'apprendre un ensemble fixe de règles, ces « modèles de fondation » agissent comme un expert universel capable d'examiner un tableau étiqueté et de prédire instantanément ce qui se passera ensuite, simplement en lisant le contexte fourni. Bien que cette approche soit incroyablement puissante et précise, elle a un prix élevé. Pour faire une prédiction, le modèle doit garder l'intégralité du tableau original dans sa mémoire et le traiter à chaque fois, ce qui est lent, coûteux et souvent impossible pour les appareils du quotidien.

Les chercheurs cherchent depuis longtemps un moyen de conserver l'intelligence de ces experts puissants tout en se débarrassant de leur bagage pesant. L'objectif est d'enseigner à un petit programme informatique, rapide et simple, de mimer le comportement de l'expert afin qu'il puisse faire des prédictions par lui-même, sans avoir besoin du tableau original ou du modèle massif. Une équipe de scientifiques a maintenant introduit une méthode appelée GEAR pour résoudre ce problème. Leur approche ne tente pas de forcer le petit programme à tout apprendre d'un coup. Au lieu de cela, ils décomposent le processus en deux étapes distinctes. Premièrement, ils génèrent des milliers de nouveaux points de données synthétiques qui ressemblent aux données réelles et les utilisent pour enseigner au petit programme comment l'expert réfléchit. Ensuite, ils ramènent le programme aux données réelles pour affiner sa compréhension, garantissant qu'il reste ancré dans la réalité. Ce processus en deux étapes permet au petit programme d'apprendre les secrets de l'expert sans jamais avoir besoin de revoir l'expert lors de l'utilisation réelle.

Le défi central auquel les chercheurs ont été confrontés est que les données réelles disponibles pour l'entraînement sont souvent limitées. Si un petit programme n'apprend qu'à partir des quelques lignes de données dont il dispose, il pourrait manquer les modèles plus larges que l'expert a maîtrisés. Pour corriger cela, la première étape de l'équipe consiste à créer une vaste quantité de nouvelles données factices qui imitent la structure du monde réel. Ils injectent ces lignes synthétiques dans le modèle expert puissant pour voir ce qu'il prédit, puis ils enseignent au petit programme de copier ces prédictions. Cela élargit l'expérience du petit programme, lui permettant de s'exercer sur une variété de scénarios bien plus grande que ce qu'il pourrait avec les seules données réelles. Cependant, s'appuyer uniquement sur des données factices est risqué ; le petit programme pourrait apprendre à imiter l'expert trop fidèlement sur les données factices, mais échouer face à la réalité désordonnée des enregistrements réels.

Pour résoudre cela, les chercheurs ont ajouté une seconde étape, qu'ils appellent « ancrage réel ». Une fois que le petit programme a appris à partir des données synthétiques, ils le ramènent au tableau original, réel. Ici, ils ne laissent pas le programme simplement mémoriser les réponses. Au lieu de cela, ils utilisent une technique ingénieuse où le programme apprend à partir des prédictions de l'expert sur des données que l'expert n'a jamais vues auparavant. Cela empêche le programme de s'appuyer sur des réponses mémorisées qu'il est censé apprendre. En mélangeant les réponses réelles avec les conseils de l'expert, le petit programme corrige les erreurs qu'il a commises en apprenant des données synthétiques. Le résultat est un modèle qui possède la vaste expérience des données synthétiques mais la précision exacte du monde réel.

L'équipe a testé cette méthode sur un large éventail de tâches, allant de choix binaires comme « oui ou non » à des classifications plus complexes avec de nombreux résultats possibles. Ils ont constaté que les petits programmes entraînés avec cette méthode en deux étapes étaient nettement meilleurs que ceux entraînés uniquement sur des données réelles. Sur les tâches binaires, la nouvelle méthode a amélioré la précision de près de deux points de pourcentage par rapport à un entraînement standard, et sur les tâches plus complexes, elle a tout de même gagné plus d'un point de pourcentage. Ces améliorations se sont maintenues même lorsque les chercheurs ont utilisé différents types de petits programmes, y compris ceux basés sur des arbres de décision, qui sont courants dans l'industrie. Les petits modèles étaient non seulement plus précis, mais aussi beaucoup plus efficaces. En termes de vitesse, la nouvelle méthode a rendu les prédictions entre 57 et 2 866 fois plus rapides que les modèles originaux de grande taille. Elle a également réduit la quantité de mémoire informatique nécessaire pour faire une prédiction de près de trois fois, permettant à ces outils puissants de fonctionner sur des processeurs d'ordinateurs standards plutôt que de nécessiter du matériel spécialisé et coûteux.

Les chercheurs ont également exploré la quantité de données synthétiques réellement nécessaire. Ils ont découvert que l'ajout de données factices aidait au début, mais seulement jusqu'à un certain point. Une fois que le petit programme avait vu suffisamment d'exemples synthétiques, en ajouter davantage n'améliorait pas les performances et pouvait même les nuire si les données factices ne correspondaient pas parfaitement au monde réel. Cela a confirmé que la seconde étape, le retour aux données réelles, était essentielle. Sans elle, le petit programme resterait coincé dans le monde des données synthétiques, incapable de gérer les nuances de la réalité. L'étude a montré que le simple fait d'entraîner plus longtemps ou de commencer avec un type différent de modèle pré-entraîné ne produisait pas les mêmes résultats. La combinaison spécifique de l'élargissement du champ d'entraînement avec des données synthétiques et de l'ancrage avec des données réelles était la clé du succès.

Ce travail démontre qu'il est possible de distiller l'intelligence de modèles massifs et dépendants du contexte dans des outils légers et indépendants sans perdre beaucoup de leur puissance. La méthode ne nécessite pas que le petit programme ait accès à l'expert original ou aux données d'entraînement au moment de la prédiction. Cela ouvre la porte au déploiement de ces modèles avancés dans des contextes où la vitesse et la confidentialité sont critiques, comme sur les appareils mobiles ou dans des environnements sécurisés où les données ne peuvent pas être partagées. Les chercheurs ont montré qu'en équilibrant soigneusement l'utilisation de données générées avec la vérification du monde réel, ils pouvaient créer des modèles qui soient à la fois intelligents et pratiques. Les conclusions suggèrent que l'avenir de l'analyse de données puissante ne réside peut-être pas dans la construction de modèles plus grands, mais dans l'apprentissage aux plus petits comment penser comme les géants, en utilisant un mélange d'imagination et de réalité.

Résumé Technique : GEAR pour la distillation de modèles de fondation tabulaires

1. Énoncé du problème

Les modèles de fondation tabulaires (TFM - Tabular Foundation Models) tels que TabPFN, TabICL et TabDPT ont démontré de solides performances en mode few-shot grâce à l'apprentissage en contexte (ICL - in-context learning). Cependant, leur déploiement est entravé par des coûts de latence et de mémoire significatifs. Contrairement aux modèles supervisés standards, les TFM nécessitent que l'intégralité de la table de contexte étiquetée soit disponible au moment de l'inférence pour conditionner les prédictions. Cette inférence dépendante du contexte s'adapte mal à la taille du contexte et à la charge de travail des requêtes, ce qui entraîne souvent des échecs de dépassement de mémoire et une latence d'inférence élevée, les rendant inadaptés aux applications à grande échelle et en temps réel sur du matériel de commodité.

Bien que des approches récentes tentent d'atténuer cela en optimisant la sélection du contexte ou en utilisant des mélanges d'experts (mixture-of-experts), elles reposent toujours sur un modèle enseignant de grande taille et sur un contexte lors de l'inférence. La distillation de connaissances (KD - Knowledge Distillation) offre une voie pour compresser le comportement adaptatif aux tâches du professeur dans un étudiant léger et sans contexte (par exemple, un MLP ou un modèle basé sur des arbres). Cependant, la KD standard est confrontée à deux défis majeurs dans ce cadre :

Couverture des requêtes : Les tables du monde réel ne fournissent qu'un nombre fini d'emplacements de requêtes, ce qui est particulièrement restrictif dans les régimes à faibles échantillons.
Fuite d'auto-étiquetage (Self-Labeling Leakage) : Si un enseignant prédit sur une ligne qui fait également partie de son propre contexte, l'étiquette cible fuit dans la cible de distillation, biaisant ainsi l'étudiant.

2. Méthodologie : GEAR

Les auteurs proposent GEAR (Generative Expansion and Real Anchoring), un cadre modulaire en deux étapes conçu pour distiller des TFM gelés en prédicteurs efficaces tout en traitant les problèmes de couverture et de fuite.

Étape 1 : Expansion Générative (Generative Expansion)

Objectif : Étendre la couverture des emplacements de requêtes de l'enseignant au-delà des données réelles observées.
Mécanisme : Un générateur (par exemple, un GAN, un modèle de diffusion ou un modèle basé sur l'énergie) produit des covariables synthétiques. Ces lignes synthétiques sont traitées uniquement comme des emplacements de requêtes pour l'enseignant gelé ; leurs étiquettes générées sont rejetées.
Entraînement : Le modèle étudiant est entraîné via une pure imitation de l'enseignant en utilisant des cibles douces (soft targets) générées par le TFM sur ces covariables synthétiques. Cette étape vise à acquérir une connaissance étendue du comportement de l'enseignant à travers un espace de caractéristiques plus large.

Étape 2 : Ancrage Réel (Real Anchoring)

Objectif : Réaligner l'étudiant avec la distribution du domaine cible et corriger tout biais introduit par les données synthétiques.
Mécanisme : L'étudiant de l'étape 1 est initialisé et entraîné davantage sur le jeu de données réelles étiquetées.
Prévention de la fuite : Pour éviter la fuite d'auto-étiquetage, le cadre utilise des prédictions de l'enseignant hors-échantillon (OOF - Out-of-Fold). Les données réelles sont partitionnées en $K_{cf}$ plis ; pour chaque pli, l'enseignant est conditionné sur les données restantes (excluant le pli actuel) pour générer des cibles douces.
Fonction de perte : Un objectif mixte est optimisé, combinant les étiquettes réelles (hard labels) avec les cibles douces de l'enseignant OOF :
$\mathcal{L}_\lambda(p, y, q) = (1-\lambda)\ell(p, y) + \lambda\ell_T(p, q)$
où $\ell$ est la perte supervisée standard et $\ell_T$ est la perte de cible douce.

Garantie Théorique
L'article dérive un certificat de risque caractérisant le compromis entre le volume de requêtes générées ( $M$ ) et la fidélité du générateur ( $Q_X$ par rapport à la distribution réelle $P_X$ ). L'analyse montre que si l'augmentation du volume de requêtes réduit l'erreur d'échantillon fini (décroissant en $M^{-1/2}$ ), elle ne peut surmonter un « plancher de fidélité » causé par un décalage de distribution. L'étape 2 est théoriquement nécessaire pour débier l'étudiant lorsque la distribution synthétique ne correspond pas parfaitement à la distribution réelle.

3. Contributions Clés

Conception du Cadre : Introduction de GEAR, un protocole en deux étapes qui découple l'expansion générative des requêtes de l'ancrage sur les données réelles, supportant diverses familles de générateurs, des enseignants TFM et des architectures d'étudiants (MLP, LightGBM, XGBoost).
Performance Empirique : Des expériences étendues sur les benchmarks TALENT et TabArena démontrent que GEAR surpasse significativement les bases supervisées et les méthodes de distillation basées uniquement sur des données réelles.
Aperçu Théorique : Dérivation d'un certificat de risque qui explique les rendements décroissants de l'expansion synthétique et le rôle critique de l'ancrage sur les données réelles pour atténuer le décalage de distribution.

4. Résultats Expérimentaux

Les expériences ont été menées en utilisant TabICL, TabPFN et TabDPT comme enseignants, et TabPFGen, Copula, CTGAN et TabDiff comme générateurs.

Gains de Performance (Étudiants MLP) :
- Tâches Binaires : Les MLP de GEAR ont surpassé les MLP supervisés de 1,81–2,00 points d'AUC et ont dépassé la distillation basée uniquement sur les données réelles de 1,76–2,19 points.
- Tâches Multiclasses : Les MLP de GEAR ont surpassé les MLP supervisés de 1,19–1,35 points d'AUC et la distillation sur données réelles de 2,09–2,40 points.
- Modèles d'Arbres : Sur les tâches binaires, les modèles LightGBM et XGBoost en deux étapes ont également montré des gains par rapport à l'entraînement supervisé et ont surpassé CatBoost (la base non-TFM la plus forte) en AUC moyenne.
Efficacité :
- Temps d'Inférence : GEAR a réduit le temps d'inférence médian de 57 à 2 866× par rapport à l'inférence directe du TFM.
- Mémoire : La mémoire de prédiction de pointe a été réduite de 1,9 à 3,3×.
- Précision vs Coût : Les étudiants GEAR conservent un AUC plus élevé que les bases supervisées correspondantes tout en opérant à une fraction du coût.
Études d'Ablation :
- Impact du Générateur : Les générateurs de plus haute fidélité (ex: TabPFGen, TabDiff) ont produit des gains plus importants. Les générateurs de plus faible fidélité (ex: Copula) ont montré des rendements décroissants, ce qui est cohérent avec le plancher de fidélité théorique.
- Deux étapes vs Mixte : La séparation des étapes (GEAR) a fourni une plus grande stabilité et des gains médians plus élevés par rapport à l'optimisation mixte (entraînement simultané sur données réelles et synthétiques).
- Mécanisme : Les gains ont été confirmés comme provenant des emplacements de requêtes informatifs fournis par les données synthétiques, et non simplement de calendriers d'entraînement plus longs ou de démarrages à chaud génériques.

5. Signification

L'article affirme que GEAR fournit une solution pratique au goulot d'étranglement du déploiement des modèles de fondation tabulaires. En réussissant à distiller les capacités d'apprentissage en contexte des grands TFM dépendants du contexte dans des modèles légers et sans contexte, GEAR permet d'utiliser les performances des modèles de fondation sur des processeurs (CPU) de commodité avec une latence de l'ordre de la milliseconde. Ce travail souligne que si les données synthétiques peuvent étendre la couverture effective de l'enseignant, une étape dédiée d'ancrage sur les données réelles est essentielle pour corriger les décalages de distribution et prévenir la fuite d'auto-étiquetage, offrant ainsi une voie robuste pour le déploiement des TFM dans des domaines à enjeux élevés comme la finance et la santé.