🤖 AI

Why LLMs Fail at Causal Discovery and How Interventional Agents Escape

Ce papier démontre que les méthodes d'apprentissage supervisé et basées sur les préférences échouent fondamentalement à la découverte causale en raison d'un théorème d'obstruction par noyau, et propose l'optimisation bayésienne causale agentique (A-CBO) comme alternative prouvée convergente qui utilise un modèle de langage figé comme oracle interventionnel au sein d'une boucle bayésienne externe pour surpasser les références existantes.

Auteurs originaux : Amartya Roy, Sonali Parbhoo

Publié 2026-05-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Amartya Roy, Sonali Parbhoo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Pourquoi l'IA reste bloquée sur des énigmes « causales »

Imaginez que vous essayez de comprendre comment fonctionne une machine simplement en l'observant en action. Vous voyez qu'une lumière rouge qui clignote fait sonner une cloche. Vous voyez aussi qu'une lumière bleue qui clignote fait sonner la même cloche.

Maintenant, vous devez deviner le câblage interne :

Scénario A : La lumière rouge active un interrupteur qui frappe la cloche.
Scénario B : La lumière bleue active un interrupteur qui frappe la cloche.

Si vous ne faites qu'observer la machine (données observationnelles), les deux scénarios semblent exactement identiques. La cloche sonne à chaque fois qu'une lumière clignote. C'est ce que le document appelle un problème de « quasi-échec ». Deux structures internes totalement différentes (graphes causaux) peuvent produire exactement le même comportement extérieur.

La Découverte Principale du Document :
Les auteurs prouvent que les grands modèles de langage (LLM) — les cerveaux derrière des outils comme ChatGPT — ont un angle mort mathématique fondamental ici. Même si vous les entraînez sur des millions d'exemples (Ajustement Fin) ou si vous leur demandez de réfléchir très fort (Prompting), ils ne peuvent pas faire la différence de manière fiable entre ces scénarios de « quasi-échec ».

L'Analogie : La Limite de la « Photo Floue »
Imaginez un LLM comme un photographe prenant une photo d'une machine complexe.

Le Problème : Plus la machine devient grande et complexe (plus de variables), plus les scénarios de « quasi-échec » semblent identiques à 99,9 % sur la photo. La minuscule différence qui vous indique quel fil est quel fil est si petite qu'elle se perd dans le flou.
Les Mathématiques : Le document prouve que pour qu'un LLM voie cette minuscule différence, il devrait « étirer » sa mémoire interne à l'infini. Puisqu'il ne peut pas le faire, il se contente de deviner. À mesure que les énigmes deviennent plus difficiles, les performances de l'IA s'effondrent, chutant souvent au niveau d'une simple devinette aléatoire.

La Solution : L'« Agent » et l'« Oracle »

Puisque l'IA ne peut pas résoudre l'énigme entière d'un coup, les auteurs ont créé un nouveau système appelé A-CBO (Optimisation Bayésienne Causale Agentic).

Au lieu de demander à l'IA : « Laquelle de ces deux machines complexes est la vraie ? » (ce qu'elle échoue à faire), ils changent la donne. Ils utilisent l'IA comme un aide spécialisé et un détective mathématique comme décideur.

Voici comment cela fonctionne, étape par étape :

1. L'Oracle Gelé (L'IA)

L'IA est « gelée », ce qui signifie qu'elle n'est pas réentraînée ni forcée d'apprendre de nouvelles règles. Elle agit comme un oracle qui dit la vérité.

La Question : Au lieu de demander à l'IA de résoudre tout le mystère, le système lui pose des questions simples et binaires : « Si j'appuie sur ce bouton rouge spécifique, la cloche sonne-t-elle ? »
Pourquoi ça marche : Même si l'IA ne peut pas faire la différence entre les deux machines complexes, elle est très bonne pour répondre à des questions simples de cause à effet. Appuyer sur un bouton et voir le résultat est facile pour l'IA de prédire.

2. La Boucle Bayésienne (Le Détective)

C'est la partie qui fait le gros du travail. C'est une boucle mathématique qui tourne en dehors de l'IA.

La Stratégie : Le détective commence avec une liste de tous les designs de machines possibles.
L'Action : Il choisit la question qui éliminera le plus de mauvaises réponses. Il demande à l'IA : « Si j'appuie sur le Bouton A, la cloche sonne-t-elle ? »
La Mise à Jour :
- Si l'IA dit « Oui », le détective barre tous les designs de machines où le Bouton A ne ferait pas sonner la cloche.
- Si l'IA dit « Non », il barre les designs où elle ferait sonner la cloche.
Le Résultat : À chaque question simple, la liste des possibilités rétrécit. Le détective n'a pas besoin que l'IA soit parfaite ; il a juste besoin que l'IA soit légèrement meilleure que le hasard.

Pourquoi C'est un Changement de Jeu

Le document montre que cette méthode fonctionne là où tout le reste échoue.

Aucun Entraînement Nécessaire : L'IA n'a pas besoin d'être réentraînée sur des millions de nouveaux exemples. Elle utilise ses connaissances existantes pour répondre à des questions simples.
Évolutivité : À mesure que les énigmes deviennent plus difficiles (plus de variables, machines plus complexes), les anciennes méthodes (Ajustement Fin) s'effondrent. Mais le système A-CBO continue de s'améliorer. Il peut résoudre des énigmes avec 24 variables qui laissent même les modèles ajustés les plus avancés sans voix.
L'Avantage de la « Paresse » : Le système maintient l'IA dans son état « paresseux » (où elle prédit simplement le mot suivant), mais déplace la prise de décision vers un endroit où les limitations mathématiques de l'IA ne s'appliquent pas.

Résumé en Une Phrase

Le document prouve que l'IA est mathématiquement incapable de distinguer, par elle-même, des causes complexes qui se ressemblent, mais qu'en transformant l'IA en un simple questionneur de « oui/non » et en laissant une boucle mathématique faire le véritable travail d'enquête, nous pouvons résoudre ces énigmes parfaitement sans jamais avoir besoin de réentraîner l'IA.

Résumé technique : Pourquoi les LLM échouent en découverte causale et comment les agents interventionnels s'en affranchissent

Énoncé du problème
La découverte causale — la reconstruction de structures de graphes causaux à partir de données statistiques — est fondamentale pour le raisonnement scientifique, mais reste un défi ouvert pour les grands modèles de langage (LLM). Bien que les LLM excellent dans les tâches de langage naturel, des récents benchmarks (par exemple, Corr2Cause) indiquent qu'ils échouent à distinguer de manière fiable les graphes causaux générant des données observationnelles similaires. Plus précisément, les modèles peinent avec les hypothèses « quasi-échouées » : des graphes acycliques dirigés (DAG) appartenant à des classes d'équivalence de Markov différentes mais produisant des énoncés d'indépendance conditionnelle presque identiques. Les approches existantes, y compris les stratégies d'incitation (prompting), l'affinement supervisé (SFT), l'optimisation directe des préférences (DPO) et l'apprentissage en contexte (ICL), montrent une dégradation empirique à mesure que la complexité du graphe augmente, pourtant la raison théorique de cet échec n'a pas été établie.

Méthodologie et cadre théorique
Les auteurs formalisent l'échec des LLM en découverte causale comme un Théorème d'Obstruction par noyau.

Théorème d'Obstruction par noyau (Théorème 1) : L'article démontre que le SFT, le DPO et l'ICL produisent tous des prédicteurs opérant dans un Espace de Hilbert à noyau reproduisant (RKHS) avec des normes bornées (le régime « paresseux » ou NTK). Pour des paires d'hypothèses causales « quasi-échouées » (par exemple, une chaîne $V_1 \to V_2 \to V_3$ contre une fourche $V_1 \leftarrow V_2 \to V_3$ ), les jetons de données observationnelles sont presque identiques, conduisant à une similarité de noyau approchant 1 ( $\delta \to 0$ ).
- Le théorème démontre que pour séparer ces hypothèses avec une marge de score $\gamma$ , la norme du vecteur de poids du prédicteur ( $B$ ) doit croître selon $B \geq \gamma / (\kappa\sqrt{2\delta})$ .
- À mesure que la complexité du graphe ( $d$ ) augmente, $\delta$ évolue en $O(1/d^2)$ . Par conséquent, la norme requise $B$ diverge vers l'infini. Étant donné que les méthodes d'entraînement comme le SFT et le DPO opèrent sous la contrainte de normes bornées (entraînement paresseux), elles sont géométriquement incapables de distinguer les hypothèses quasi-échouées à mesure que la complexité croît.
Optimisation Bayésienne Causale Agentique (A-CBO) : Pour échapper à cette obstruction, les auteurs proposent un cadre qui déplace le processus de prise de décision discrète hors du RKHS du LLM.
- Oracle Interventionnel : Un LLM figé agit uniquement comme un oracle répondant à des requêtes interventionnelles binaires (par exemple, « $V_j$ change-t-il sous $do(V_i=v)$ ? »). La Lemme 2 prouve que si les données observationnelles peuvent être quasi-échouées, les réponses interventionnelles sont séparées par un noyau avec une marge constante $\rho$ indépendante de $\delta$ .
- Boucle Bayésienne Externe : Un agent externe maintient une distribution de probabilité sur les graphes candidats dans le simplexe de probabilité $\Delta^{n-1}$ . Il utilise un score informationnel (Gain d'Information) pour sélectionner l'intervention la plus discriminante, interroge le LLM, et met à jour la distribution de croyance via la règle de Bayes.
- Convergence : Parce que la logique de décision opère dans le simplexe plutôt que dans le RKHS, le taux de convergence est indépendant du paramètre quasi-échoué $\delta$ . Le Théorème 2 prouve que l'A-CBO converge vers le graphe correct en $O(\log n)$ tours, à condition que le graphe véritable soit interventionnellement distinguable.

Contributions clés

Preuve théorique de l'échec : L'article établit que l'incapacité des LLM à séparer les hypothèses causales quasi-échouées est une obstruction géométrique fondamentale inhérente aux prédicteurs de type noyau (SFT, DPO, ICL) dans le régime paresseux, et non une limitation de l'échelle du modèle ou du volume de données.
Cadre A-CBO : L'introduction de l'Optimisation Bayésienne Causale Agentique, qui découple le rôle du LLM (répondre à des requêtes binaires locales) de la décision causale (sélection d'hypothèse globale), contournant ainsi l'obstruction par noyau.
Benchmark étendu : La création de Corr2Cause Étendu, un nouveau benchmark passant de 7 à 24 variables avec 18 000 échantillons de test, conçu pour tester la discrimination causale à grande échelle là où les écarts quasi-échoués rétrécissent à $O(1/d^2)$ .

Résultats expérimentaux

Corr2Cause (Original) : L'A-CBO égale ou dépasse les performances des bases de référence affinées (par exemple, LLaMA-7B FT) sans aucune mise à jour de gradient. Par exemple, un modèle A-CBO haut de gamme (GLM-5.1) a atteint un F1 de 93,2, surpassant le LLaMA-7B affiné (92,0).
Corr2Cause Étendu (d=7–24) :
- Évolutivité : Les modèles affinés (SFT et DPO) se dégradent de manière catastrophique à mesure que la taille du graphe augmente, chutant vers une précision proche du hasard (35,1 % pour le SFT à $d=21-24$ ). En revanche, l'A-CBO maintient des performances robustes (83,2 % de précision pour les modèles haut de gamme) sur toutes les tailles de graphes.
- Croissance de l'avantage : L'écart de performance entre l'A-CBO et les bases de référence affinées croît de manière monotone avec la complexité du graphe. Sur les graphes les plus difficiles ( $d=21-24$ ), l'A-CBO dépasse le SFT de +44,7 points de pourcentage.
- Ablation : La boucle agentique elle-même est à l'origine de la performance. L'application de l'A-CBO à des modèles zero-shot produit des gains massifs (par exemple, +59,3 pp pour Qwen3-30B), confirmant que l'amélioration provient du changement architectural plutôt que de la capacité brute du modèle.

Signification et revendications
L'article revendique que l'interrogation interventionnelle n'est pas simplement une heuristique mais une évasion prouvée nécessaire et suffisante de l'obstruction par RKHS. En restreignant le LLM à un rôle d'oracle non décisionnel et en déléguant la discrimination d'hypothèses à une boucle bayésienne externe, l'A-CBO réalise une découverte causale fiable à grande échelle sans exiger que le modèle apprenne de nouvelles représentations ou quitte le régime d'entraînement paresseux. Ce travail fournit une fondation principielle pour les agents LLM en science et en politique, arguant que l'intelligence causale véritable nécessite de dépasser la supervision corrélative pour adopter des structures de raisonnement interventionnel respectant les limites géométriques des paradigmes d'apprentissage actuels.