💬 NLP

Evidence-Type Competition: When Can Interventional Data Teach Language Models Causal Direction?

Cet article démontre que dans des environnements synthétiques où les preuves observationnelles et interventionnelles sont en conflit, la capacité d'un modèle de langage à inférer la direction causale n'est pas déterminée par le mélange des données d'entraînement, mais est au contraire activée ou désactivée dynamiquement par le type de preuve présent dans le contexte d'inférence, les indices observationnels supprimant activement les capacités de raisonnement causal latent du modèle.

Auteurs originaux : Xining Xun

Publié 2026-08-03

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xining Xun

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Détective, l'Indice et la Voix Forte

Imaginez que vous essayiez d'enseigner à un robot super intelligent comment comprendre la cause et l'effet. Vous voulez qu'il sache que si vous appuyez sur un bouton, une lumière s'allume, et pas seulement que le bouton et la lumière apparaissent généralement ensemble. Dans le monde de l'intelligence artificielle, il existe une idée célèbre appelée l'« Échelle de la Causalité ». Elle suggère que pour vraiment comprendre pourquoi les choses arrivent, il ne suffit pas de regarder le monde défiler (l'observation) ; il faut réellement intervenir et changer les choses (l'intervention). Pendant longtemps, les chercheurs ont pensé que la meilleure façon d'enseigner cette compétence à une IA était de lui offrir un régime riche en « données d'intervention » — des histoires où l'IA voyait quelqu'un appuyer réellement sur le bouton et la lumière s'allumer.

La grande question était simple : si nous mélangeons plus de ces histoires d'« action » dans l'entraînement du robot, deviendra-t-il meilleur pour identifier la cause et l'effet ? Ce document explore cette question en utilisant un monde fictif très contrôlé où les réponses sont mathématiquement connues. Le chercheur a mis en place un scénario complexe appelé « paradoxe de Simpson », un puzzle statistique où deux choses semblent évoluer dans des directions opposées quand on se contente de les observer, alors qu'elles évoluent en réalité ensemble lorsqu'on regarde la véritable cause. C'est comme voir que les personnes qui portent des parapluies sont plus mouillées que celles qui n'en portent pas, et en conclure que les parapluies causent la pluie, alors qu'en réalité, la pluie cause à la fois les parapluies et l'état de mouillé. Le document teste si donner au robot un entraînement par « intervention » supplémentaire peut l'aider à ignorer les indices d'« observation » trompeurs pour trouver la véritable cause.

L'Expérience : Nourrir le Robot avec un Régime Mixte

L'auteur a construit un terrain de jeu numérique composé de 50 « mondes » différents. Dans chaque monde, il a créé un piège caché : l'observation naturelle montrait une relation négative (comme l'exemple du parapluie), mais l'effet causal réel était positif. Il a ensuite entraîné des modèles de langage sur ces mondes, en mélangeant différentes quantités de données d'« intervention » (où le modèle voyait quelqu'un forcer un changement) par rapport aux données d'« observation » (où le modèle se contentait de regarder).

Le cherchenaire est parti d'une croyance commune, qu'il a appelée Hypothèse 1 : « Si nous augmentons la quantité de données d'intervention dans le mélange d'entraînement, le modèle sera meilleur pour trouver la cause réelle. » Il a testé cela en augmentant progressivement le pourcentage de données d'intervention de 0 % jusqu'à 100 %.

Voici le retournement de situation surprenant : l'hypothèse était fausse.

Même lorsqu'ils nourrissaient le modèle de 100 % de données d'intervention pendant l'entraînement, le modèle se trompait toujours de direction de la cause s'il était confronté à des indices d'observation au moment de répondre à une question. Le modèle apprenait la taille de l'effet grâce aux données d'intervention (il savait que la lumière deviendrait plus brillante), mais il copiait la direction (positive ou négative) à partir des indices d'observation qu'il voyait dans le contexte. C'était comme un étudiant qui aurait mémorisé parfaitement les formules mathématiques mais qui, lors d'un examen, ignorerait les formules pour simplement deviner en se basant sur le schéma des questions précédentes.

Le Vrai Coupable : Le Changement de Contexte

Alors, si le mélange d'entraînement n'avait pas d'importance, qu'est-ce qui en avait ? Le document a découvert que le facteur décisif était le type de preuves présentes dans le contexte au moment où le modèle répondait à la question.

Le chercheur a mené une « comparaison en quatre points » pour voir comment différents types d'indices affectaient le modèle :

Observation Pure : Lorsque le contexte ne contenait que des enregistrements d'observation, le modèle se trompait de direction 29 fois sur 50.
Preuves Mixtes : Lorsque le contexte contenait un mélange d'observation et d'intervention, il se trompait 19 fois sur 50.
Intervention Pure (Sondes) : Lorsque le contexte ne contenait que des enregistrements d'intervention (sondes), le modèle avait raison 41 fois sur 50.

Le résultat le plus passionnant est venu d'un « tour de magie » réalisé pendant le test. Le chercheur a pris un modèle entraîné sur un mélange de données et qui échouait à cause des indices d'observation dans son contexte. Il a ensuite effacé les indices d'observation du contexte juste avant que le modèle ne réponde. Instantanément, la capacité du modèle à trouver la cause réelle s'est « activée ». Sa précision est passée d'un score négatif à un score positif, correspondant à la performance d'un modèle qui n'avait vu que des données d'intervention.

Cela prouvait que le modèle avait appris le raisonnement causal depuis le début ; c'était simplement que la capacité était « éteinte » par la présence de preuves d'observation. La capacité était présente dans le cerveau du modèle (ses poids), mais le contexte agissait comme une télécommande qui coupait le son de la bonne réponse.

Comment le Basculement Fonctionne : Un Curseur Gradué

Le document explore également comment ce basculement fonctionne. Il ne s'agit pas d'un simple bouton on/off ; c'est plutôt comme un curseur de volume.

Un enregistrement d'observation : Supprimait à peine le modèle.
Deux enregistrements : Diluaient le signal, rendant le modèle confus.
Quatre enregistrements : Capturaient complètement l'attention du modèle, le forçant à suivre la mauvaise direction d'observation.

Plus intéressant encore, le contenu de l'observation importait. Si les enregistrements d'observation n'étaient que des nombres aléatoires ne correspondant pas au monde actuel, la suppression était plus faible. Mais si les enregistrements étaient cohérents et correspondaient aux corrélations spécifiques du monde actuel, la suppression était la plus forte. Cela suggère que le modèle écoute activement l'« histoire » dans le contexte et laisse le récit le plus cohérent l'emporter sur les règles apprises.

Mise à l'Échelle et le « Biais Positif »

Le chercheur a également vérifié si ce problème s'améliorait ou s'aggravait à mesure que les modèles devenaient plus grands. Il a testé un modèle de près de 1 milliard de paramètres (bien plus grand que les 25 millions initiaux). Le problème persistait : le modèle au contexte mixte inversait toujours la direction de la cause environ 32 % du temps, tandis que le modèle d'intervention pure ne l'inversait que 6 % du temps.

Enfin, ils ont examiné un autre ensemble de données (CLadder) pour voir si le modèle avait appris une règle générale du type « les causes sont toujours positives ». Ils ont découvert que le modèle avait effectivement appris un « biais positif » car tous les exemples d'entraînement utilisés avaient des effets positifs. Lorsqu'ils ont tenté de corriger cela en réentraînant le modèle avec des exemples positifs et négatifs, le modèle s'est amélioré pour lire les signes à l'intérieur du monde d'entraînement, mais il revenait toujours à une réponse positive face à des données extérieures confuses. Cela suggère que le modèle possède un « filet de sécurité » qui se déclenche lorsqu'il est incertain, et que ce filet de sécurité est difficile à retirer.

L'Essentiel à Retenir

Ce document nous enseigne une leçon vitale sur l'enseignement de l'IA : le simple fait de lui fournir les bonnes données ne suffit pas. Le modèle peut apprendre la compétence, mais si l'environnement dans lequel il opère (le contexte) est rempli d'indices trompeurs, il ignorera ce qu'il a appris et suivra les indices à la place. Le « commutateur » qui active la véritable capacité de raisonnement du modèle ne se trouve pas dans les données d'entraînement ; c'est dans le contexte que nous lui fournissons au moment du test. Pour obtenir les meilleurs résultats, nous devons concevoir le contexte de manière à mettre en évidence le bon type de preuves, plutôt que d'espérer simplement que les données d'entraînement feront le travail à elles seules.

Résumé technique : Compétition des types de preuves dans les modèles de langage

Énoncé du problème

L'article remet en question l'hypothèse prédominante (notée H1) selon laquelle l'augmentation de la proportion de données interventionnelles lors du préentraînement améliore automatiquement les capacités de raisonnement causal d'un modèle de langage (LM). Bien que les données interventionnelles soient théoriquement le « standard d'excellence » pour apprendre la direction causale (Pearl, 2009), cette étude examine si un LLM peut utiliser efficacement ces données lorsqu'elles entrent en conflit avec la corrélation observationnelle.

L'auteur se concentre sur des scénarios de paradoxe de Simpson, spécifiquement des « mondes de piège de Simpson » où la corrélation observationnelle entre les variables $X$ et $Y$ est négative ( $Cor_{obs}(X, Y) < 0$ ), mais où le véritable effet causal est positif ( $eff(X \to Y) > 0$ ). La question centrale est de savoir si un LM entraîné sur un mélange de données observationnelles et interventionnelles peut inférer correctement la direction causale, ou s'il adopte par défaut la corrélation observationnelle présente dans le contexte d'inférence.

Méthodologie

L'étude utilise un environnement synthétique entièrement contrôlé pour isoler le raisonnement causal de la confusion liée au langage naturel.

Générateur de mondes synthétiques : L'auteur génère des modèles structurels causaux (SCM) paramétriques avec des facteurs de confusion cachés ( $Z$ ). La famille d'évaluation consiste en 50 mondes où $Cor_{obs}(X, Y)$ et $eff(X \to Y)$ ont des signes opposés.
Protocole d'entraînement : Un décodeur de type GPT de 25,7 millions de paramètres est entraîné sur un mélange de données observationnelles (OBS) et interventionnelles (INT/PROBE). La fraction interventionnelle $\alpha$ $α$ varie de 0,0 à 1,0.
- OBS : Échantillons observationnels $(v_1, \dots, v_n) \sim P(V)$ .
- PROBE : Enregistrements interventionnels sur le nœud de requête $X$ ( $do(X=v) \to$ réponses).
Métriques d'évaluation :
- Critère de succès (Hit) : Une prédiction est un « succès » si la pente de régression sur une grille $do(X)$ est non nulle ($|slope| > 0,05$) et possède le bon signe.
- Ratio vrai (Ratio True) : Le rapport entre la pente prédite par le modèle et la pente de l'oracle.
- Contrôle du plancher de bruit : L'auteur quantifie que même un interpolateur parfait commet des erreurs de signe (26 %) en raison du bruit d'échantillonnage lors des évaluations de sondage en un seul passage (single-shot). Il implémente une moyenne de preuves ( $n_{rep}=8$ ) pour réduire ce plancher à 9 %, garantissant que les inversions observées sont des phénomènes mécanistes plutôt que des artefacts statistiques.
Interventions au moment de l'inférence : Pour distinguer une capacité manquante d'une suppression induite par le contexte, l'auteur réalise des interventions à coût d'entraînement nul lors de l'inférence, telles que l'effacement des preuves observationnelles ou la manipulation de la « dose » de types de preuves.

Principales contributions

Falsification de H1 (Dualité Magnitude–Direction) : L'étude démontre qu'augmenter la fraction de données interventionnelles dans le préentraînement ( $\alpha$ ) n'améliore pas la précision de la direction causale. Au lieu de cela, une dualité magnitude–direction émerge : le modèle apprend la magnitude de l'effet causal à partir des données interventionnelles (qui croît de manière monotone avec $\alpha$ ), mais copie le signe (la direction) de l'observation contextuelle.
Le facteur du type de preuve : Le principal déterminant de la performance du raisonnement causal n'est pas le ratio du mélange d'entraînement, mais le type de preuve présent dans le contexte d'inférence.
- Contexte purement observationnel : Induit une inversion systématique du signe dans 29/50 mondes.
- Contexte mixte : Induit une inversion dans 19/50 mondes.
- Contexte de sonde pur (Pure Probe) : Produit la direction correcte dans 41/50 mondes (avec des inversions uniquement au niveau du bruit de mesure).
Localisation du mécanisme : La suppression de la capacité causale est un phénomène d'inférence, et non un déficit d'entraînement.
- L'effacement des preuves observationnelles du contexte libère immédiatement la capacité d'interpolation supprimée du modèle (le ratio vrai passe de -0,09 à +0,56).
- Doubler la dose de sondage sans supprimer les preuves observationnelles ne parvient pas à lever la suppression.
- Patching d'activation (Activation Patching) : Localise l'« interrupteur » dans les lignes d'enregistrements observationnels des couches intermédiaires (couches 2–3) du transformer.
Robustesse et mise à l'échelle : L'effet de suppression persiste à grande échelle (0,93 milliard de paramètres), bien que les gains interventionnels absols diminuent. Le phénomène est stable à travers les graines d'entraînement (seeds), mais se manifeste comme une élévation diffuse du taux plutôt que par un ensemble fixe de mondes inversés à plus grande échelle.
Découverte d'un double niveau de priorité (Prior) : Un audit externe sur le benchmark CLadder révèle un prior d'effet positif appris.
- Niveau 1 (In-Distribution) : Un biais vers les effets positifs qui peut être supprimé par un réentraînement avec randomisation de signe.
- Niveau 2 (Out-of-Distribution) : Un « défaut positif » persistant qui demeure même après la randomisation de signe, suggérant un mécanisme de repli lorsque la machinerie de preuve ne parvient pas à s'engager.

Résultats

Inefficacité du mélange d'entraînement : Dans les mondes du paradoxe de Simpson, faire varier $\alpha$ de 0 à 1,0 ne produit aucune amélioration monotone de la précision du signe (la précision fluctue entre 0,2 et 0,5).
Gradient de dose contextuelle : Une comparaison à quatre bras (Baseline : OBS pur ; C1 : OBS + Sondes ; C2 : Sondes pures) montre un gradient clair. À mesure que les preuves observationnelles dans le contexte diminuent, le ratio vrai moyen augmente de manière monotone (-0,288 $\to$ -0,092 $\to$ +0,418).
Interrupteur médié par le contenu : La suppression est graduée et médiée par le contenu. Supprimer le contenu observationnel (même si les jetons de format restent) libère la suppression, tandis que simplement diluer la dose ne suffit pas. Les données observationnelles cohérentes et correspondant au monde exercent l'effet de suppression le plus fort.
Audit CLadder : Les modèles entraînés sur des données interventionnelles présentent un comportement de « lecture unidirectionnelle » sur CLadder, faisant s'effondrer les mondes à ATE (effet de traitement moyen) négatifs vers un défaut positif. Cela confirme l'existence d'un fort prior positif qui supplante les preuves lorsque le modèle est hors distribution (out-of-distribution).

Signification et affirmations

L'article prétend fournir un résultat négatif motivant qui redéfinit la compréhension de la compétence causale dans les LLM. L'auteur soutient que :

Capacité vs Activation : La capacité à effectuer une interpolation causale existe dans les poids du modèle (prouvé par le succès des contextes de sondage pur), mais elle est désactivée par la présence de preuves observationnelles conflictuelles dans le contexte.
Écologie des preuves : Le goulot d'étranglement pour le raisonnement causal n'est pas la rareté des données interventionnelles lors du préentraînement, mais l'écologie des preuves du contexte d'inférence. Les priors observationnels peuvent dominer et supprimer les signaux interventionnels.
Rigueur méthodologique : L'étude souligne la nécessité de contrôler les planchers de bruit d'échantillonnage dans l'évaluation causale et démontre que les « camps d'attracteurs » dans la précision du signe peuvent être des artefacts du bruit si elles ne sont pas correctement moyennées.
Implication pratique : L'optimisation des mélanges de données de préentraînement seule est insuffisante. Un raisonnement causal efficace nécessite une ingénierie de contexte ou un filtrage des types de preuves lors du déploiement pour empêcher les priors observationnels de supplanter les mécanismes causaux appris.

L'auteur reste modeste, notant que le micro-mécanisme spécifique du défaut positif hors distribution reste non identifié et que les résultats sont actuellement limités aux domaines synthétiques et de manuels scolaires, et non au langage naturel.