Do Tabular Foundation Models Agree with Themselves?
Cet article révèle que les modèles de fondation tabulaires (TFM) ne parviennent pas à produire des distributions conjointes fidèles car ils violent les exigences de cohérence de marginalisation et de factorisation sur l'ensemble des jeux de données et des tâches évalués.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous êtes un détective tentant de résoudre un mystère, mais au lieu de chercher des indices sur une scène de crime, vous en cherchez dans un tableur géant. C'est le monde des Modèles de Fondations Tabulaires, un domaine brûlant de l'intelligence artificielle où les ordinateurs apprennent à prédire des choses en se basant sur des lignes et des colonnes de données, comme prédire si un prêt sera remboursé ou quel sera le prix d'une maison. Ces modèles sont construits sur une idée ingénieuse appelée inférence bayésienne, qui est essentiellement une façon sophistiquée de dire : « Améliorons nos croyances en fonction de nouveaux indices. » Considérez cela comme un prévisionniste météo qui commence par une supposition générale sur la pluie, mais dès qu'il voit des nuages sombres, il met à jour sa prédiction pour dire : « D'accord, il va certainement pleuvoir. »
Pendant longtemps, les scientifiques ont espéré que ces modèles d'IA soient des « prévisionnistes météo » parfaits pour les données. Ils croyaient que si vous demandiez au modèle de prédire une chose, puis d'utiliser cette prédiction pour en deviner une autre, toute l'histoire qu'il raconterait s'assemblerait parfaitement, tout comme un roman bien écrit où chaque chapitre se connecte logiquement au suivant. Mais voici le piège : dans le monde réel, nous ne connaissons souvent pas la « vraie » réponse pour vérifier. C'est comme essayer de noter la dissertation d'un élève sans avoir le corrigé. Ainsi, au lieu de demander : « Ce modèle est-il correct ? », un groupe de chercheurs a posé une question plus simple, mais plus complexe : « Ce modèle raconte-t-il même une histoire cohérente avec lui-même ? » Ils voulaient savoir si l'IA inventait simplement des chiffres aléatoires qui semblaient corrects, ou si elle suivait réellement les règles strictes de la logique et de la probabilité.
Le papier dont vous allez entendre parler, intitulé « Do Tabular Foundation Models Agree with Themselves? » (Les modèles de fondations tabulaires sont-ils d'accord avec eux-mêmes ?), plonge directement dans ce mystère. Les chercheurs, dirigés par Christian Klötergens et son équipe, ont décidé de soumettre les modèles d'IA les plus populaires pour les données tabulaires (comme TabPFN, TabICL et TabFM) à un « test de logique » rigoureux. Ils ne se sont pas contentés de demander aux modèles de prédire ; ils leur ont demandé de raconter la même histoire de deux manières différentes et ont vérifié si les histoires concordaient.
Imaginez que vous essayez de deviner la saveur d'un smoothie mystère.
- Test 1 (Cohérence de la marginalisation) : Vous demandez à l'IA : « Quel est le goût de ce smoothie ? » Puis, vous lui demandez : « Si le smoothie est rouge, quel est son goût ? Et s'il est bleu, quel est son goût ? » Enfin, vous mélangez ces deux réponses en fonction de la probabilité que le smoothie soit rouge ou bleu. Si l'IA est cohérente, cette réponse « mélangée » doit être exactement la même que la première réponse directe.
- Test 2 (Cohérence de la factorisation) : Vous demandez à l'IA de raconter l'histoire des ingrédients du smoothie dans deux ordres différents. D'abord, elle devine le fruit, puis l'édulcorant. Ensuite, elle devine l'édulcorant, puis le fruit. Si l'IA comprend vraiment les données, l'image finale du smoothie doit être identique, peu importe l'ingrédient qu'elle a deviné en premier.
Les chercheurs ont testé ces tests sur une grande variété de jeux de données réels, allant des évaluations de la qualité du vin aux prix des voitures en passant par les dossiers médicaux. Ils ont utilisé une règle mathématique appelée Distance de Variation Totale pour mesurer l'écart entre les réponses. Un score de 0 signifie que le modèle est parfaitement cohérent ; un score plus élevé signifie qu'il se contredit.
Les résultats ont été un choc. Chaque modèle testé a échoué aux deux tests. Sur chaque jeu de données, tant pour les questions simples de type oui/non (classification) que pour les questions de prédiction de nombres (régression), les modèles donnaient des réponses différentes selon la manière dont on posait la question. C'est comme si l'IA vous disait que le smoothie était à la « fraise » lorsqu'on lui demandait directement, mais que lorsqu'on lui posait la question sur la couleur d'abord, elle décidait soudainement qu'il était à la « myrtille », même si la couleur était la même.
L'article a révélé que, bien que certains modèles soient légèrement plus doués pour raconter une histoire cohérente que d'autres (par exemple, un modèle appelé TabFM était le classificateur le plus cohérent, et TabPFNv3 était le régresseur qui se rapprochait le plus de la cohérence), aucun d'entre eux n'était véritablement cohérent. En fait, les incohérences étaient si répandues que les chercheurs ont conclu que ces modèles ne représentent pas une « distribution jointe » unique des données. En langage clair : les modèles ne suivent pas les lois strictes de la probabilité qu'ils sont censés imiter. Ils « hallucinent » essentiellement différentes versions de la réalité selon l'ordre dans lequel on leur pose les questions.
Les auteurs ont également découvert quelque chose d'intéressant : être un « bon » prédicteur (obtenir la bonne réponse la plupart du temps) ne signifie pas être un prédicteur « cohérent ». Un modèle peut être très précis pour deviner le prix d'une maison, mais il peut tout de même se contredire lorsqu'on lui demande d'expliquer son raisonnement dans un ordre différent. Cela suggère que la cohérence est un défaut caché et distinct que les tests de référence actuels ne parviennent pas à détecter.
Alors, qu'est-ce que cela signifie pour l'avenir ? L'article ne dit pas que ces modèles sont inutiles — ils restent les meilleurs outils dont nous disposons pour de nombreuses tâches. Cependant, il tire la sonnette d'alarme : nous ne pouvons pas faire aveuglément confiance à ces modèles pour nous renseigner sur les relations complexes entre les variables si nous avons besoin qu'ils soient logiquement cohérents. Les chercheurs suggèrent que les futurs modèles doivent être construits avec la « cohérence » comme une caractéristique centrale, peut-être en les entraînant à pénaliser ces contradictions, plutôt que de se concentre uniquement sur l'obtance de la réponse finale. D'ici là, nous devons nous rappeler que ces puissants « détectives » de l'IA sont excellents pour repérer les indices, mais qu'ils racontent parfois des versions différentes de l'histoire selon la personne qui pose la question.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.