Estimand-Relative Validity and Context-Driven Instability of Shapley Explanations for Tabular Foundation Models
Cet article démontre que la validité et la stabilité des explications de Shapley pour les modèles de fondation tabulaires dépendent de manière critique du choix de l'opérateur de retrait par rapport à l'estimand visé et sont significativement influencées par les exemples en contexte, nécessitant une spécification explicite de ces facteurs pour une interprétation fiable.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par l'auteur. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de l'intelligence artificielle, il existe une classe croissante de modèles conçus pour apprendre à partir d'exemples plutôt qu'en mémorisant des règles fixes. Imaginez un étudiant qui, au lieu d'étudier un manuel pendant des années, reçoit une seule page de notes et une nouvelle question, puis est chargé de la résoudre immédiatement en utilisant uniquement cette page. C'est ainsi que fonctionnent les « modèles de fondation » modernes pour les données tabulaires. Ils prennent un petit ensemble d'exemples étiquetés, appelé contexte, et une nouvelle requête, puis font une prédiction sans jamais modifier leur code interne. Parce que ces systèmes sont si flexibles, les chercheurs ont longtemps tenté de comprendre pourquoi ils font les choix qu'ils font. Ils utilisent une méthode appelée valeurs de Shapley, qui agit comme une répartition équitable du mérite. Si une prédiction est un travail d'équipe, cette méthode calcule la part de chaque information dans le résultat final. Cependant, pour déterminer l'importance d'une information spécifique, la méthode doit d'abord imaginer ce qui se passerait si celle-ci manquait. Cela crée un casse-tête : lorsque vous retirez une donnée, comment comblez-vous le vide ? La remplacez-vous par une moyenne, par un blanc, ou par un nouvel exemple qui s'insère dans le schéma ? La réponse à cette question change tout le récit de la façon dont le modèle réfléchit.
Une étude récente menée par Emin Talip Demirkiran à l'Université technique d'Eskisehir s'attaque de front à ce casse-tête, en se concentrant sur deux des modèles les plus avancés de ce type, connus sous les noms de TabPFN et TabICL. Le chercheur voulait savoir si le choix de la manière de combler les données manquantes modifie l'explication de la décision du modèle, et si ces explications restent stables lorsque les détails environnants changent légèrement. Pour le découvrir, l'équipe a mené une série de tests massifs et soigneusement planifiés, utilisant à la fois des données synthétiques, où les bonnes réponses étaient connues par conception, et des ensembles de données réels. Ils ont testé cinq manières différentes de gérer l'information manquante, allant de la simple moyenne à des méthodes plus complexes qui demandent au modèle de se réévaluer avec la pièce manquante retirée. Les résultats ont révélé une vérité frappante : il n'existe pas de méthode unique « idéale » pour expliquer ces modèles. La méthode qui produit l'explication la plus précise pour un type de question est souvent la pire pour un autre.
L'étude a révélé que le choix de la méthode dépend entièrement de la question que vous essayez de poser. Si vous voulez savoir comment le modèle se comporterait si vous interveniez pour changer une valeur spécifique, les explications les plus précises provenaient de méthodes qui remplaçaient simplement la donnée manquante par des moyennes ou des marque-places standards. Cependant, si vous voulez savoir comment le modèle raisonne sur la base des relations spécifiques au sein des données qui lui ont été présentées, les meilleures explications provenaient de méthodes qui demandaient au modèle de se recontextualiser avec la pièce manquante retirée. En fait, les chercheurs ont observé que la méthode qui performait le mieux pour un objectif était souvent celle qui performait le moins bien pour l'autre. Cela signifie qu'une explication n'est pas une propriété fixe du modèle ; elle est relative à la question spécifique posée. Sans préciser exactement comment les données manquantes ont été gérées et quel type de réponse est souhaité, une explication ne peut être jugée fiable.
Au-delà de la question de la méthode à utiliser, l'étude a également examiné la stabilité de ces explications lorsque l'environnement change. Dans ces modèles, la prédiction dépend fortement des exemples spécifiques choisis pour former le contexte. Les chercheurs ont testé si le changement de l'ordre des colonnes, la manière dont les étiquettes étaient codées ou la graine aléatoire utilisée pour démarrer le modèle altéraient l'explication. Ils ont découvert que ces facteurs n'avaient presque aucun effet. Au contraire, l'explication était massivement dominée par les exemples spécifiques qui étaient intégrés au contexte. En d'autres termes, l'explication est très sensible aux exemples spécifiques que le modèle examine, mais remarquablement stable face aux autres variations techniques. Cela suggère que la fiabilité d'une explication est liée au contexte spécifique fourni, et non seulement au modèle lui-même.
Les chercheurs ont également testé un contrôle de sécurité en ajoutant une caractéristique aux données qui ne contenait aucune information utile, essentiellement une variable « fictive ». Ils s'attendaient à ce que le modèle l'ignore et lui assigne une importance nulle. Au lieu de cela, les deux modèles changeaient fréquemment leurs prédictions en réponse à cette caractéristique inutile, lui attribuant un poids significatif. Cela indique que ces modèles puissants peuvent être facilement influencés par le bruit, et que leurs explications peuvent refléter cette sensibilité. L'étude conclut que pour ce type de systèmes d'IA, une explication n'est pas un fait autonome. C'est une construction fragile qui dépend de la méthode spécifique utilisée pour gérer l'information manquante, de la question spécifique posée et des exemples spécifiques que le modèle considère actuellement. Pour comprendre ces modèles, nous devons cesser de chercher une explication universelle et unique, et commencer à demander exactement quel type d'explication nous avons besoin et dans quelles conditions elle est valide.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.