📊 statistics

When Tabular Foundation Models Transfer Across Modalities: A Systematic Evaluation Across 95 Datasets, 7 Modalities, and Two Regimes

Cet article présente un pipeline de classification unifié combinant un prétraitement par cadre equiangulaire serré (Equiangular Tight Frame) avec un modèle de fondation tabulaire pour l'inférence en contexte, démontrant qu'il atteint des performances compétitives sur 95 ensembles de données et sept modalités tout en s'exécutant nettement plus rapidement qu'un ajustement fin complet et en fournissant des scores de confiance bien calibrés pour un déploiement pratique.

Auteurs originaux : Julien Lafrance

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Julien Lafrance

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une immense bibliothèque de différents types d'informations : des photos, des enregistrements audio, des documents textuels, des formules chimiques et des feuilles de calcul. Pendant des années, les scientifiques des données ont traité chacun de ces éléments comme une langue complètement différente, nécessitant un traducteur unique (un modèle d'IA spécifique) et un dictionnaire unique (une recette de réglage spécifique) pour chaque tâche.

Ce document pose une question simple : Et si nous pouvions utiliser un seul traducteur universel pour tous ?

Les auteurs ont construit un « pipeline universel » qui prend n'importe quel type de données, les convertit en un format standard et les fait passer par un « Modèle de Base Tabulaire » pré-entraîné unique. Ils ont testé cela sur 95 ensembles de données différents à travers 7 types de données différents (vision, audio, parole, texte, molécules, séries temporelles et tableaux standards).

Voici le détail de leurs conclusions en utilisant des analogies de la vie quotidienne :

1. L'« Adaptateur Universel » (Le Pipeline)

Considérez les données entrantes comme des ingrédients bruts. Certains sont des légumes, d'autres de la viande, d'autres des épices.

L'ancienne méthode : Vous embauchez un chef différent pour chaque ingrédient. Un chef de sushi pour le poisson, un boucher pour la viande, un boulanger pour la farine. Cela fonctionne très bien, mais c'est coûteux, lent, et vous avez besoin d'une configuration de cuisine différente pour chacun.
La nouvelle méthode : Les auteurs ont créé une « Station de Préparation Universelle ».
1. Prétraitement ETF : C'est comme un trancheur intelligent qui coupe tous les ingrédients en formes parfaitement uniformes afin qu'ils s'insèrent proprement dans une boîte standard.
2. TabICL (Le Cerveau) : C'est un chef super intelligent et pré-entraîné qui a vu des millions de recettes. Au lieu d'apprendre une nouvelle recette de zéro, il regarde les ingrédients que vous lui avez donnés et dit : « D'après mon entraînement, ceci ressemble à une salade. »
3. Mise à l'échelle de la température (Temperature Scaling) : C'est le « test de goût » à la fin pour s'assurer que le chef n'est pas trop sûr de lui. Si le chef dit : « Je suis sûr à 99 % que c'est une salade », cette étape vérifie si cette confiance est réellement justifiée.

2. Les Résultats : « Assez bon » vs « Excellent »

Les auteurs ont comparé leur Adaptateur Universel aux « Chefs Spécialistes » (des modèles spécifiquement ajustés pour un type de données).

Le groupe « Équivalent » (La plupart des ensembles de données) : Sur environ 77 % à 94 % des tâches, l'Adaptateur Universel a performé aussi bien que les Chefs Spécialistes.
- L'analogie : C'est comme utiliser un couteau suisse pour ouvrir une lettre. Un ouvre-lettre (le spécialiste) est parfait, mais le couteau suisse (le modèle universel) fait le travail tout aussi bien, et vous n'avez pas besoin de transporter toute une boîte à outils.
- Le gain : L'Adaptateur Universel est 4 à 200 fois plus rapide à installer et à exécuter. Il économise un temps et une puissance de calcul massifs.
Le groupe « Amélioration » (Quelques ensembles de données) : Sur un petit nombre de tâches (principalement des enregistrements audio spécifiques), l'Adaptateur Universel a même surpassé les spécialistes.
- L'analogie : Parfois, le couteau suisse possède un outil caché que le spécialiste n'avait pas envisagé, ou le spécialiste a trop complexifié le problème. Dans ces cas rares, l'approche universelle a trouvé une meilleure solution.

3. Le « Signal de Confiance » (Calibration)

L'une des découvertes les plus intéressantes du document concerne la confiance.

De nombreux modèles d'IA sont comme des étudiants trop sûrs d'eux qui donnent une réponse erronée tout en étant persuadés d'avoir raison.
Le pipeline des auteurs produit des probabilités calibrées. Cela signifie que si le modèle dit : « Je suis sûr à 90 % que c'est un chat », il a effectivement raison 90 % du temps.
L'utilisation pratique : Cela permet un « déploiement à seuil de confiance ». Vous pouvez dire à l'ordinateur : « Si tu es sûr à moins de 90 %, ne prends pas la décision ; envoie-la à un humain. » Cela agit comme une soupape de sécurité, réduisant la charge de travail des réviseurs humains de près de 5 fois dans certains tests.

4. Quand NE PAS l'utiliser

Les auteurs sont honnêtes sur les limites.

Données de faible dimension : Si les données sont déjà très simples (comme un petit tableur avec moins de 30 colonnes), la « Station de Préparation Universelle » (prétraitement ETF) est en fait une perte de temps et peut même nuire à la performance. C'est comme utiliser un robot culinaire de haute technologie pour hacher une seule gousse d'ail ; un couteau est plus rapide et meilleur.
Données de parole : Dans leurs tests spécifiques, l'approche universelle a eu des difficultés avec les données de parole, perforant moins bien que les spécialistes.

L'essentiel

Le document soutient que nous n'avons pas besoin d'un outil d'IA différent pour chaque type de données.

Si vous voulez le score absolu le plus élevé et que vous avez un temps et un budget illimités, engagez le Chef Spécialiste (ajustez un modèle spécifique).
Si vous voulez une solution qui est 95 % aussi bonne, 100 fois plus rapide et qui fonctionne sur tout, utilisez l'Adaptateur Universel.

Les auteurs concluent que pour la plupart des scénarios réels, l'« Adaptateur Universel » est le choix le plus intelligent et le plus efficace, offrant un résultat « assez bon » à une fraction du coût, avec l'avantage supplémentaire de savoir exactement quand faire confiance à ses prédictions.

Résumé technique : Quand les modèles de fondation tabulaires transfèrent entre modalités

Problématique

Les pipelines de classification sont actuellement fragmentés par modalité, avec des outils et des recettes d'ajustement distincts pour les données tabulaires (arbres de boosting de gradient), la vision/le texte (sondes linéaires ajustées), les molécules (ChemBERTa), l'audio (AST) et les graphes (GIN). Cette fragmentation rend les affirmations de « transfert inter-modalités » difficiles à évaluer, car elles reposent souvent sur des bases de comparaison incohérentes (par exemple, comparer contre des sondes non ajustées ou des sélections d'oracles). L'article pose comme hypothèse qu'une fois les données mappées vers une représentation vectorielle fixe, l'étape de classification en aval ne doit pas être spécifique à la modalité. Le défi central est de déterminer si un pipeline unique et uniforme peut rivaliser avec les meilleures bases de comparaison légères et ajustées à travers diverses modalités sans ajustement d'hyperparamètres par jeu de données.

Méthodologie

Les auteurs proposent un pipeline de classification unifié à trois étapes, appliqué de manière identique à 95 jeux de données couvrant sept modalités (vision, audio, parole, texte, moléculaire, séries temporelles et tabulaire). Le pipeline opère sur des représentations de caractéristiques gelées et se compose de :

Prétraitement ETF adaptatif :
- Une étape de prétraitement par cadre equiangulaire serré (ETF - Equiangular Tight Frame) remodèle la géométrie des caractéristiques pour encourager les moyennes de classe à se rapprocher de la géométrie du cadre equiangulaire serré associée à l'effondrement neural (neural collapse).
- Un MLP de profondeur 4 projette les caractéristiques d'entrée sur une sphère unité de 256 dimensions, en optimisant par rapport à une cible ETF de simplexe fixe.
- Saut adaptatif (Adaptive Skip) : Cette étape est sautée si la dimension d'entrée $d \le 30$ , car le surcoût l'emporte sur les gains géométriques pour les caractéristiques d'ingénierie de faible dimension.
- Arrêt d'entraînement (Training Stop) : L'entraînement s'arrête selon un critère géométrique (ratio de dispersion intra/inter-classe $R$ ) ou une limite stricte (200 époques), évitant l'utilisation d'un ensemble de validation pour prévenir tout biais de comparaison.
Inférence TabICL :
- Le pipeline utilise TabICL, un modèle de fondation tabulaire, pour l'inférence en contexte.
- Stratégie d'ensemble : Pour les caractéristiques brutes, le modèle utilise un ensemble de 8 permutations de contexte. Pour les caractéristiques prétraitées par ETF, l'utilisation d'ensembles est abandonnée au profit d'une seule permutation, car la transformation géométrique réduit la variance que l'ensemblage capture habituellement.
Mise à l'échelle de température post-hoc (Post-hoc Temperature Scaling) :
- Le prétraitement ETF induit une surconfiance. Une étape de mise à l'échelle de la température est appliquée sur un échantillon de 20 % de l'ensemble d'entraînement pour restaurer la calibration des probabilités, permettant un déploiement par seuillage de confiance.

Protocole d'évaluation :
L'article adopte un protocole de comparaison strict « mêmes caractéristiques » (same-features). La performance est jugée par rapport à la meilleure base de comparaison légère et ajustée sur les mêmes caractéristiques gelées (par exemple, une sonde linéaire ajustée ou un XGBoost avec recherche Optuna). Les ajustements complets du backbone et les sélections de cellules oracle sont rapportés séparément pour donner du contexte, mais ne constituent pas la comparaison primaire.

Principales contributions

Évaluation systématique inter-modalités : La première évaluation d'un modèle de fondation tabulaire à travers une grande diversité d'encodages de caractéristiques gelés (plus de 10 familles d'encodeurs) et sept modalités sous un protocole de réglage zéro.
Prétraitement ETF modulaire : Introduit le prétraitement ETF comme une étape modulaire et indépendante de l'encodeur, distincte du pré-entraînement de l'encodeur, utilisant un critère d'arrêt précoce géométrique ( $R < 0,05$ ) qui fonctionne sans données de validation.
Calibration et signaux de confiance : Démontre que si TabICL est bien calibré par construction, le prétraitement ETF perturbe cette propriété. La mise à l'échelle de température proposée restaure la calibration, fournissant un signal de confiance fiable par prédiction pour un déploiement à « seuillage de confiance » (acceptation automatique des prédictions à haute confiance).
Caractérisation des régimes : Identifie deux régimes opérationnels distincts :
- Régime d'équivalence : Le pipeline égale la meilleure base de comparaison ajustée (statistiquement indiscernable), mais offre des avantages de vitesse significatifs.
- Régime d'amélioration : Le pipeline augmente significativement l'utilisabilité des représentations (gain moyen +12,6 pp), principalement observé sur les caractéristiques audio d'ingénierie de faible dimension et dans les cas de désalignement caractéristique-tâche.
Directives de déploiement : Fournit un cadre pratique de déploiement, incluant un prédicteur de régime pré-déploiement (précision LOO de 91,4 % sur le Panneau A) pour distinguer les cas d'équivalence de ceux d'amélioration, ainsi que des règles spécifiques pour savoir quand sauter le prétraitement ETF.

Résultats

Performance : Sur 95 jeux de données, le pipeline atteint un taux de victoire ou d'égalité de 77,1 % contre les meilleures bases de comparaison légères et ajustées sur le protocole déployé (Panneau A, inter-modalités) et 91,5 % sur les données tabulaires réservées (Panneau B).
Répartition des régimes :
- Équivalence (30/35 jeux de données) : Le pipeline égale la base de comparaison. La valeur réside ici dans l'aspect opérationnel : une pile unique gère toutes les modalités sans ajustement par tâche.
- Amélioration (5/35 jeux de données) : Le pipeline surpasse significativement la base de comparaison, particulièrement sur les caractéristiques audio de faible dimension (MFCC, statistiques de mél) et les encodages désalignés (ex: Wav2Vec2 sur UrbanSound8K).
Vitesse : Le pipeline est 4 à 200 fois plus rapide que l'ajustement complet du backbone (AST, ChemBERTa, GIN) et comparable en vitesse aux sondes linéaires ajustées, tout en évitant l'effort d'ajustement par jeu de données de ces dernières.
Calibration : Après la mise à l'échelle de la température, le pipeline produit des probabilités bien calibrées. À un seuil $\tau=0,9$ , il auto-confirme 79,5 % des prédictions avec une précision conditionnelle de 93,6 %, réduisant la charge de revue humaine par 4,9.
Limites : Le pipeline n'aide pas sur les encodages de fondation modernes où une sonde linéaire ajustée est déjà proche du plafond (ex: fondation texte, fondation audio), et il échoue à secourir les tâches de parole dans le benchmark actuel.

Signification et revendications

L'article affirme que le transfert inter-modalités n'est pas un succès ou un échec binaire, mais se divise en deux régimes structurellement différents. La principale contribution est une comparaison honnête à caractéristiques fixes qui révèle :

La parité est courante : Pour la plupart des jeux de données, un pipeline uniforme et unique égale la performance des bases de comparaison spécialisées et ajustées.
La vitesse est le différenciateur : Le pipeline offre une réduction massive du temps d'adaptation et du coût computationnel par rapport à l'ajustement spécialisé, sans perte de qualité pour la majorité des cas.
L'amélioration existe mais est rare : Il existe des cas spécifiques (caractéristiques de faible dimension, désalignement) où le pipeline apporte un véritable gain de qualité, bien que ceux-ci soient difficiles à prédire à l'avance.

Les auteurs positionnent ce travail comme une étape vers la simplification du paysage fragmenté de la classification, offrant une recette « sans toucher » (zero-touch) qui est largement compétitive, nettement plus rapide que l'ajustement spécialisé, et capable de produire des signaux de confiance dignes de confiance pour le déploiement. Ils déclarent explicitement que le pipeline ne bat pas toujours les meilleurs modèles spécialisés ou les pipelines lourdement ajustés, mais reste suffisamment proche pour être une option par défaut viable, surtout lorsque la vitesse et la simplicité opérationnelle sont prioritaires.