🤖 AI

Entangled by Design: Spurious Intra-Variable Signal Routing in Tabular In-Context Learners

Cet article révèle que les apprenants en contexte pour les données tabulaires orientent inévitablement les prédictions à travers des signaux fallacieux ancrés dans des caractéristiques composites plutôt qu'à travers de véritables signaux causaux, un échec qui s'aggrave avec l'augmentation de la taille du contexte et de l'expressivité du modèle, mais qui peut être efficacement atténué par une construction de contexte stratifiée par environnement et par l'augmentation S-swap.

Auteurs originaux : Athanasios Vlontzos, Giorgos Papanastasiou, Bernhard Kainz, Sotirios Tsaftaris

Publié 2026-07-29

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Athanasios Vlontzos, Giorgos Papanastasiou, Bernhard Kainz, Sotirios Tsaftaris

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot comment prédire la météo. Vous lui montrez mille photos de journées ensoleillées et, dans chaque photo, le ciel est bleu. Le robot apprend une règle simple : « Ciel bleu signifie soleil ». Mais voici le piège : dans vos photos d'entraînement, le ciel est toujours bleu parce que vous n'avez pris des photos que pendant la journée. Vous n'avez jamais montré au robot une seule photo d'une nuit nuageuse. Le robot n'a pas appris que le « soleil » provoque un « ciel bleu » ; il a simplement appris que le « bleu » et le « soleil » apparaissent ensemble par coïncidence. Si, plus tard, vous lui montrez une photo d'un ciel bleu la nuit (ce qui est impossible, mais disons que le robot voit un écran bleu), il pourrait être confus. C'est le monde de l'Apprentissage Automatique (Machine Learning), et plus précisément d'une astuce ingénieuse appelée Apprentissage en Contexte (In-Context Learning). Au lieu de réentraîner le robot de zéro à chaque fois, vous lui donnez simplement quelques exemples juste avant qu'il ne fasse une supposition, et il déduit le modèle à la volée. C'est comme donner quelques indices à un détective et lui dire : « Résous cette affaire », sans jamais modifier le cerveau du détective. Mais qu'arrive-t-il si ces indices sont trompeurs ? Et si les indices pointent vers un suspect innocent, simplement parce qu'il se trouvait sur la scène du crime dans chaque photo que vous avez montrée au détective ?

Ce document examine un piège sournois qui peut tromper ces robots intelligents et flexibles lorsqu'ils sont utilisés pour des tâches telles que la prédiction de la récupération des patients à l'hôpital. Les chercheurs ont découvert que lorsqu'un robot voit un mélange d'informations « réelles » (comme la santé réelle d'un patient) et d'informations « fausses » (comme un dysfonctionnement de l'équipement spécifique de l'hôpital), il est souvent dupé. Il apprend à se fier au dysfonctionnement parce que, dans les données d'entraînement, le dysfonctionnement correspondait parfaitement au résultat. Le document prouve que donner simplement plus d'exemples au robot ne règle pas le problème ; en fait, cela pourrait même le rendre encore plus obstinément erroné. Cependant, les auteurs ont également découvert une astuce légère et ingénieuse pour briser ce sort, permettant au robot d'ignorer le dysfonctionnement et de se concentrer sur les vrais signaux de santé, même sans savoir exactement à quoi ressemble le dysfonctionnement.

Le Détective et le Thermomètre Cassé

Plongeons dans l'histoire. Imaginez un hôpital où un nouveau système d'IA est engagé pour prédire la vitesse de récupération des patients. Le système reçoit des données provenant d'un hôpital spécifique. Dans cet hôpital, il y a un problème caché : les thermomètres sont légèrement défectueux. Ils affichent toujours 2 degrés de plus que la réalité. Mais voici le rebondissement : les patients qui reçoivent cette lecture de « forte fièvre » sur ces thermomètres cassés sont aussi ceux qui récupèrent rapidement. Pourquoi ? Parce que les thermomètres cassés ne sont utilisés que dans le service VIP, et les patients VIP reçoivent de meilleurs soins et récupèrent plus vite.

L'IA, en tant que super-expert de la reconnaissance de formes, analyse les données et dit : « Aha ! Les lectures de température élevée signifient une récupération rapide ! » Elle ne sait rien du service VIP ou du thermomètre cassé. Elle voit simplement que la Température (S) et la Récupération (Y) sont les meilleurs amis du monde dans les données qui lui ont été données. Ainsi, lorsqu'elle fait une prédiction, elle fait passer sa décision par la lecture de la température. Elle se dit : « Je parie sur la température ! »

Maintenant, imaginez que cette IA soit envoyée dans un nouvel hôpital. Ce nouvel hôpital possède des thermomètres neufs et parfaits. Le service VIP a disparu. Le lien entre « température élevée » et « récupération rapide » est rompu. Mais l'IA utilise toujours sa vieille règle : « Température élevée = Récupération rapide ». Comme les nouveaux thermomètres sont précis, l'IA voit des températures normales pour des patients malades et prédit qu'ils récupéreront lentement, ou elle voit des températures élevées pour des patients sains et prédit qu'ils récupéreront vite. Elle échoue complètement, et elle échoue silencieusement, car elle n'a aucun moyen de savoir qu'elle a été trompée par le thermomètre cassé.

Le document appelle cela le « Routage Spurieux » (Spurious Routing). L'IA « route » sa décision à travers un signal faux (le thermomètre cassé) au lieu du signal réel (la santé réelle du patient).

Le Piège des Signaux Composites

Les chercheurs ont réalisé que cela ne concerne pas seulement les thermomètres cassés. Cela se produit chaque fois qu'une pièce de donnée est un « paquet » de deux choses : le Signal Réel (la véritable santé du patient) et le Signal Spurieux (le dysfonctionnement de l'équipement). Dans le monde des mathématiques, ils appellent cela une « représentation composite ».

Le document pose une question cruciale : pouvons-nous apprendre à l'IA à ignorer le dysfonctionnement ? Les auteurs ont testé deux types de détectives IA :

Le Détective Linéaire : Une IA simple, basée sur des règles, qui effectue des calculs de base (comme un tableur très intelligent).
TabPFN : Une IA super complexe et de pointe, qui est comme un détective génial ayant lu tous les livres de médecine du monde.

Ils ont lancé des milliers de simulations où ils contrôlaient exactement la quantité de « dysfonctionnement » (S) mélangée à la « santé réelle » (C). Ils ont découvert quelque chose de surprenant et d'un peu effrayant : l'IA ne peut pas corriger cela par elle-même.

Même si vous donnez à l'IA de plus en plus d'exemples provenant du premier hôpital, elle ne devient pas plus intelligente concernant le dysfonctionnement. En fait, le document montre que donner plus de contexte (plus d'exemples) rend l'IA encore plus déterminée dans son erreur. Si le dysfonctionnement était légèrement utile dans les données d'entraînement, l'IA s'y accrochera avec encore plus de force. Plus vous lui montrez d'exemples, plus elle croit que le dysfonctionnement est la vérité.

Les auteurs ont prouvé mathématiquement que tant que le dysfonctionnement et le résultat sont liés dans les données d'entraînement, l'IA doit utiliser le dysfonctionnement. Ce n'est pas un bug ; c'est une caractéristique de la manière dont ces modèles fonctionnent. Ils appellent cela un « routage spurieux inévitable ».

Le Tour de Magie : Le « S-Swap »

Alors, si l'IA est condamnée à être trompée, y a-t-il un espoir ? Les auteurs disent que oui, et ils ont trouvé une solution étonnamment simple. Ils l'appellent l'« augmentation S-swap ».

Imaginez que vous soyez à nouveau le détective. Vous avez une pile de dossiers de cas. Dans chaque dossier, il y a une lecture de température et un temps de récupération. Les fichiers proviennent tous du service VIP avec les thermomètres cassés.
L'astuce du « S-swap » est la suivante : vous prenez la lecture de température du Dossier A et vous l'échangez avec la lecture de température du Dossier B, mais vous gardez le même temps de récupération.

Dossier A (Original) : « Le thermomètre cassé indique 104°F, le patient a récupéré rapidement. »
Dossier B (Original) : « Le thermomètre cassé indique 98°F, le patient a récupéré lentement. »

Vous échangez les températures :

Dossier A (Modifié) : « Le thermomètre cassé indique 98°F, le patient a récupéré rapidement. »
Dossier B (Modifié) : « Le thermomètre cassé indique 104°F, le patient a récupéré lentement. »

Maintenant, regardez le motif. La température ne prédit plus la récupération ! La température élevée est maintenant associée à une récupération lente, et la température basse est associée à une récupération rapide. Le lien est brisé. L'IA regarde ces nouvelles données échangées et réalise : « Attendez un instant. La température n'a aucune importance ! C'est juste du bruit. »

Le document montre que cette astuce fonctionne incroyablement bien.

Pour le simple Détective Linéaire, elle a réduit la dépendance au dysfonctionnement de 74 %.
Pour le super-intelligent TabPFN, elle a réduit la dépendance de façon massive, soit 98,8 %.

Mieux encore, l'IA ne s'est pas contentée de devenir « confuse » ou de « abandonner ». Elle a commencé à prêter attention au vrai signal de santé. Le document a constaté que la sensibilité de l'IA à la cause réelle a été multipliée par 8,4. Elle n'a pas arrêté d'apprendre ; elle a simplement appris la bonne chose.

Pourquoi cela importe

Les chercheurs ont également testé cela sur des données réelles, en utilisant un ensemble de données de cellules de pancréas humain provenant de différents laboratoires. Même s'ils ne savaient pas exactement quelles parties des données étaient le « dysfonctionnement » et lesquelles étaient la « vraie biologie », ils pouvaient estimer le dysfonctionnement en observant simplement comment les données variaient entre les laboratoires. Lorsqu'ils ont appliqué la technique du S-swap, la dépendance de l'IA aux dysfonctionnements spécifiques aux laboratoires a chuté de près de 89 %.

Le document conclut que nous n'avons pas besoin de reconstruire ces puissants modèles d'IA ou de leur enseigner de nouvelles règles complexes. Nous devons simplement être plus malins avec les exemples que nous leur présentons. En échangeant les parties « défectueuses » des données avant que l'IA ne fasse une supposition, nous pouvons tromper l'IA pour qu'elle ignore les faux signaux et se concentre sur la vérité.

C'est un rappel que dans le monde de l'IA, parfois, la chose la plus intelligente à faire n'est pas de donner plus de données au robot, mais de réorganiser les données que vous avez déjà pour que le robot ne puisse pas faire autrement que de voir la vérité. Le document prouve que, bien que ces modèles soient puissants, ils sont aussi vulnérables au « routage spurieux », mais avec un peu de mélange de données ingénieux, nous pouvons les guider sur le bon chemin.

Résumé Technique : Intrication par Conception : Routage de Signal Intra-Variable Spurieux dans les Apprenants Tabulaires en Contexte

Énoncé du Problème

Le papier traite d'un mode de défaillance critique de l'Apprentissage en Contexte (ICL - In-Context Learning) pour les données tabulaires, spécifiquement lorsque les modèles sont déployés dans des environnements hétérogènes (par exemple, différents hôpitaux ou lots expérimentaux). Le problème central est le routage de signal intra-variable spurieux.

Dans de nombreux scénarios réels, un vecteur de caractéristiques observé $X$ est un composite d'un signal causal véritable $C$ (ex: l'état de santé d'un patient) et d'un signal spurieux $S$ (ex: artefacts d'équipement ou effets de lot), souvent intriqués au sein du même espace de caractéristiques ou de sous-espaces distincts : $X = [C; \alpha S; \eta]$ . Au sein d'un même environnement, un facteur de confusion non observé $U$ (ex: la démographie du patient) peut piloter à la fois le signal spurieux $S$ et le résultat $Y$ , créant une corrélation en contexte non nulle $\text{Corr}(S, Y) \neq 0$ .

Les modèles d'ICL standards, tels que TabPFN ou les estimateurs de régression ridge linéaires, n'observent que les exemples en contexte. Ils apprennent rationnellement à router les prédictions via $S$ parce que $S$ est prédictif au sein du contexte, même si $S$ n'est pas causal. Lorsqu'ils sont déployés dans un nouvel environnement où la relation entre $S$ et $Y$ change (en raison d'un équipement ou de facteurs spécifiques au site), le modèle échoue silencieusement. Cela diffère des problèmes traditionnels de corrélation spurieuse inter-variables car les signaux causaux et spurieux sont souvent intriqués dans un seul vecteur de caractéristiques observé ou dans des sous-espaces distincts de la représentation composite, ce qui les rend impossibles à distinguer via les statistiques en contexte standards seules.

Méthodologie

Cadre Théorique

Les auteurs formalisent le cadre en utilisant un Modèle Causal Structurel (SCM) où :

Signal Causal ( $C$ ) : Invariant à travers les environnements.
Signal Spurieux ( $S$ ) : Corrélé avec $Y$ uniquement via un facteur de confusion partagé $U$ au sein d'un environnement.
Observation Composite : $X = [C; \alpha S; \eta]$ , où $\alpha$ contrôle la force de l'intrication.

Le papier introduit le Ratio de Sensibilité Causale (CSR - Causal Sensitivity Ratio) comme une métrique de diagnostic pour quantifier le comportement de routage :
$\text{CSR}(w) := \frac{\mathbb{E}[|w_S \alpha \Delta S|]}{\mathbb{E}[|w_C \Delta C|]}$
où $\Delta S$ et $\Delta C$ représentent des perturbations (échanges/swaps) des composantes spurieuses et causales respectives.

$\text{CSR} \approx 0$ : Le modèle route via le signal causal.
$\text{CSR} > 1$ : Le modèle est plus sensible au signal spurieux qu'au signal causal (régime de défaillance).

Analyse Théorique

Les auteurs dérivent une caractérisation en forme fermée pour le CSR de population sous ICL de type ridge (apprentissage en contexte linéaire) :
$\text{CSR}_{\text{pop}} = \underbrace{\frac{\alpha^2}{\alpha^2 + \lambda}}_{\text{intrication}} \cdot \underbrace{\frac{\rho_S}{\rho_C}}_{\text{ratio de signal}} \cdot \underbrace{(1 + \lambda)\kappa(\delta)}_{\text{constante de protocole}}$
Principales conclusions théoriques :

Inévitabilité : Sous une confusion en contexte ( $\rho_S \neq 0$ ), le routage spurieux est inévitable pour toute force de régularisation $\lambda > 0$ .
Taille du Contexte : Des tailles de contexte plus grandes ne résolvent pas le problème ; dans les régimes à forte composante spurieuse, elles peuvent amplifier l'engagement envers le signal spurieux jusqu'à $1,74\times$ .
Identifiabilité : Le routage est non identifiable si $C$ et $S$ partagent une seule coordonnée scalaire ( $D=1$ ) ; des sous-espaces distincts sont nécessaires pour le diagnostic.

Stratégies de Mitigation

Le papier propose deux interventions légères et agnostiques au modèle qui opèrent au niveau de la construction du contexte, ne nécessitant que des étiquettes d'environnement faibles (ex: ID de lot) et aucune connaissance de la partition causale :

Construction de Contexte Stratifiée par Environnement : Échantillonner des exemples de contexte provenant de différents environnements pour mélanger les distributions de $S$ tout en maintenant les niveaux de $Y$ constants, réduisant ainsi la corrélation $\text{Corr}(S, Y)$ en contexte.
Augmentation par S-swap : Pour chaque point de contexte $(X_i, Y_i)$ , une copie appariée $(\tilde{X}_i, Y_i)$ est ajoutée, où les dimensions spurieuses de $X_i$ sont remplacées par celles d'un autre environnement. Cela signale au modèle, au niveau du point, que $S$ ne prédit pas $Y$ .

Résultats Clés

Validation Empirique

Les auteurs ont validé leur théorie sur l'ICL linéaire (régression ridge) et sur TabPFN (un transformateur tabulaire pré-entraîné de pointe) en utilisant un modèle causal structurel contrôlé.

Corrélation avec la Théorie : Le CSR empirique est fortement corrélé au prédicteur théorique $\hat{\rho}_S / \hat{\rho}_C$ ( $r=0,997$ pour l'ICL linéaire, $r=0,979$ pour TabPFN).
Effets d'Amplification :
- L'augmentation de la taille du contexte ( $n$ ) de 16 à 512 a amplifié le routage spurieux de $1,74\times$ dans les régimes à forte composante spurieuse.
- Les modèles plus expressifs (TabPFN) présentent une plus grande vulnérabilité dans les coins à forte intrication (un écart de $+2,22$ sur le CSR), bien qu'ils soient plus réactifs aux mitigations.
Robustesse : Les prédictions théoriques ont tenu même avec un chevauchement de sous-espaces (rotation jusqu'à $40^\circ$ ), la corrélation ne chutant que légèrement ( $r \geq 0,93$ ).

Performance de la Mitigation

ICL Linéaire : Le S-swap a réduit le CSR de 74 % et amélioré l'RMSE hors distribution (OOD) de 34,2 %.
TabPFN : Le S-swap a réduit le CSR de 98,8 % (de 5,777 à 0,067). Crucialement, le modèle n'est pas devenu agnostique ; il a re-routé via le signal causal, augmentant la sensibilité causale de 8,4 $\times$ .
Validation sur Données Réelles : Sur le jeu de données scIB pancreas (génomique de cellule unique), le S-swap a réduit le CSR de 88,9 % en utilisant uniquement des sous-espaces spurieux estimés à partir de la structure des lots, confirmant l'applicabilité sans étiquettes causales de vérité terrain.

Signification et Revendications

Le papier affirme identifier et formaliser un mode de défaillance spécifique de l'apprentissage en contexte qui est distinct des corrélations spurieuses inter-variables. Ses principales contributions sont :

Preuve Théorique d'Impossibilité : Démontrer que la régularisation standard ne peut pas éliminer le routage spurieux dans les représentations composites lorsque la confusion en contexte existe.
Métrique de Diagnostic : Introduire le CSR comme un diagnostic robuste basé sur les perturbations, qui quantifie le comportement de routage même lorsque les partitions causales sont latentes.
Solution Agnostique au Modèle : Proposer l'augmentation par S-swap, une intervention au niveau du contexte qui force efficacement les modèles d'ICL à ignorer les signaux spurieux et à se fier aux signaux causaux sans nécessifier de réentraînement du modèle, de changements architecturaux ou d'accès à la partition causale.
Paradoxe de l'Expressivité : Souligner que si les modèles plus expressifs (comme TabPFN) sont plus vulnérables au routage spurieux dans les régimes à forte composante spurieuse, leur capacité leur permet également de répondre plus dramatiquement aux signaux d'invariance (comme le S-swap), menant à une récupération supérieure par rapport aux bases linéaires.

Les auteurs positionnent ce travail comme une correction nécessaire pour le déploiement de l'ICL dans les domaines scientifiques et biomédicaux, où l'hétérogénéité des données est la norme et où les échecs silencieux dus au changement de distribution (dataset shift) constituent des risques critiques.