🤖 machine learning

The Predictive-Causal Gap: An Impossibility Theorem and Large-Scale Neural Evidence

Ce papier établit un « écart prédictif-causal » structurel comme un théorème d'impossibilité démontrant que la minimisation de l'erreur de prédiction dans les réseaux de neurones provoque systématiquement l'encodage par les modèles des dynamiques environnementales plutôt que de la structure causale du système cible, conduisant à un échec catastrophique dans la généralisation hors distribution.

Auteurs originaux : Kejun Liu

Publié 2026-05-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kejun Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot à comprendre une machine complexe, comme un moteur de voiture. La machine possède deux parties : le moteur (le « système » qui vous intéresse) et la météo extérieure (l'« environnement »).

L'objectif du robot est de prédire ce qui va se passer ensuite. L'article soutient que si vous dites simplement au robot : « Minimisez vos erreurs de prédiction », il échouera à apprendre des choses sur le moteur. Au lieu de cela, il deviendra obsédé par la météo.

Voici la décomposition des conclusions de l'article en termes simples :

1. Le problème de la « Cible Facile »

Imaginez que le moteur est une chose sauvage et nerveuse qui change d'avis chaque seconde. La météo extérieure, en revanche, est lente et régulière ; il faut beaucoup de temps pour qu'elle change.

Si vous demandez à un élève de prédire l'avenir, il se concentrera naturellement sur la chose la plus facile à deviner. La météo est prévisible ; le moteur est chaotique. Ainsi, l'élève (l'IA) apprend un modèle parfait de la météo mais ignore totalement le moteur.

L'article appelle cela l'Écart Prédictif-Causal. L'IA fait exactement ce que vous lui avez demandé (prédire l'avenir avec précision), mais elle répond à la mauvaise question. Elle suit l'environnement, et non le système que vous vouliez réellement qu'elle comprenne.

2. La « Mauvaise Réponse » est en fait la « Bonne Réponse »

Vous pourriez penser : « Peut-être que l'IA a juste besoin de plus de puissance cérébrale ou d'un meilleur entraînement. » L'article dit non.

Les auteurs ont prouvé mathématiquement qu'il ne s'agit pas d'une erreur ou d'un bug. C'est la solution correcte au problème que vous avez donné à l'IA. Si l'environnement est plus lent ou moins bruyant que le système, la manière mathématiquement parfaite de prédire l'avenir est d'ignorer le système et de se concentrer sur l'environnement.

Analogie : Si vous demandez à un détective de résoudre un crime en cherchant les indices les plus évidents, il ignorera les preuves subtiles à l'intérieur de la maison et se concentrera sur la circulation extérieure parce que les schémas de circulation sont plus clairs. Le détective n'est pas « mauvais » ; il suit simplement les instructions trop bien.

3. Les Modèles Plus Grands Aggravent le Problème

Habituellement, en IA, nous croyons que des modèles plus grands (plus de données, plus de puissance de calcul) conduisent à une meilleure compréhension. Cet article a trouvé le contraire.

Lorsqu'ils ont rendu les modèles d'IA plus grands et leur ont donné des tâches plus complexes :

Les modèles sont devenus meilleurs pour prédire l'avenir (taux d'erreur plus faibles).
Mais ils sont devenus moins bons pour comprendre le système (ils sont devenus « aveugles causalement »).

Dans des tests à haute dimension (où l'environnement est immense), les meilleurs modèles d'IA sont devenus si concentrés sur l'environnement qu'ils avaient essentiellement une sensibilité nulle au système qu'ils étaient censés modéliser. Ils étaient parfaits pour prédire la météo, mais ils ne savaient rien du moteur.

4. La Correction par « Ancrage »

Les chercheurs ont essayé une astuce appelée Ancrage Opérationnel. Au lieu de laisser l'IA prédire tout, ils l'ont forcée à prédire uniquement les parties spécifiques du système qui l'intéressent (le moteur).

Résultat : Cela a aidé. L'IA a moins ignoré le moteur.
Limitation : Cela n'a pas résolu complètement le problème. Tant que l'environnement influence le système, l'IA a toujours un intérêt à regarder l'environnement. Pour vraiment le corriger, vous devez dire explicitement à l'IA : « Voici le système, et voici l'environnement. Ne les mélangez pas. » Vous devez tracer une ligne dure dans le sable.

5. Pourquoi cela compte pour les « Modèles du Monde »

De nombreux systèmes d'IA modernes (comme les grands modèles de langage ou les « Modèles du Monde ») sont construits sur l'idée que si vous prévoyez simplement le mot suivant ou la prochaine image d'une vidéo parfaitement, l'IA apprendra magiquement la « structure causale » du monde (comment les choses fonctionnent réellement).

Cet article dit : Cette prémisse est fausse.

Si vous minimisez simplement l'erreur de prédiction, l'IA apprendra à suivre tout ce qui est le plus facile à prédire, et non tout ce qui est causalement important. Elle deviendra une maîtresse de la corrélation (ce qui se produit ensemble) mais un échec en matière de causalité (ce qui cause quoi).

Résumé

Le Problème : Une IA entraînée uniquement à prédire l'avenir ignorera les choses complexes qui vous intéressent s'il existe des choses plus simples et plus lentes (comme l'environnement) qu'elle peut prédire à la place.
La Cause : Ce n'est pas un bug ; c'est une loi fondamentale du fonctionnement de la prédiction. Le chemin le plus « facile » n'est pas le chemin « causal ».
L'Échelle : Rendre l'IA plus grande ne résout pas cela ; cela rend simplement l'IA meilleure pour ignorer les bonnes choses.
La Solution : Vous ne pouvez pas simplement « prédire votre chemin » vers la compréhension. Vous devez définir explicitement ce qu'est le « système » et restreindre l'attention de l'IA à celui-ci.

L'article conclut que nous sommes actuellement en train d'« aiguiser la réponse à la mauvaise question ». Nous construisons une IA incroyablement bonne pour prédire le bruit, mais aveugle au signal.

Résumé Technique : Le Fossé Prédictif-Causal

Énoncé du Problème

L'article traite d'un mode de défaillance fondamental dans l'apprentissage de représentations prédictives, un paradigme dominant dans des domaines allant des modèles du monde et des modèles à espace d'état neuronal aux grands modèles de langage (LLM) entraînés par prédiction du token suivant. La prémisse prévalente est que la minimisation de l'erreur de prédiction sur les observations conduira naturellement la représentation apprise à capturer la structure causale du système sous-jacent.

Les auteurs remettent en cause cette prémisse en définissant un « système » ( $s$ ) comme les degrés de liberté qui intéressent le modélisateur, et un « environnement » ( $e$ ) comme toutes les autres variables. Ils démontrent que lorsque les modes de l'environnement sont plus lents ou moins bruyants que les modes du système, la représentation prédictive optimale ne suit pas le système. Au lieu de cela, elle suit l'environnement. Ce phénomène est appelé le fossé prédictif-causal : la dégradation de la fidélité causale (la fraction de la sensibilité de l'encodeur allouée aux degrés de liberté du système) qui se produit lors de l'optimisation d'un objectif prédictif plutôt que d'un objectif causal.

Méthodologie

Les auteurs emploient une approche analytique à trois niveaux pour caractériser ce fossé :

Preuve Théorique (Théorème d'Impossibilité) :
- Les auteurs prouvent le Théorème 1, établissant que pour toute classe de modèles contenant tous les encodeurs linéaires, il existe des dynamiques linéaires-gaussiennes stables où chaque minimiseur du risque prédictif de la population est strictement désaligné par rapport au sous-espace du système.
- Ils démontrent que l'ensemble des dynamiques présentant cette propriété est ouvert et de mesure positive dans l'espace des paramètres, ce qui signifie qu'il ne s'agit pas d'un cas limite rare mais d'une propriété générique.
- Le Corollaire 2 prouve que l'augmentation de la capacité du modèle (élargissement de la classe de modèles) ne peut pas résoudre ce problème ; elle ne peut que réduire davantage le risque, renforçant ainsi l'engagement envers l'encodeur non causal (dominé par l'environnement).
Expériences à Grande Échelle sur des Dynamiques Linéaires-Gaussiennes :
- Une exploration de paramètres a été menée sur 539 configurations de dynamiques linéaires-gaussiennes, aboutissant à 2 695 runs d'entraînement indépendants utilisant des encodeurs MLP à deux couches.
- Les expériences ont mesuré la fidélité causale ( $|\partial \phi / \partial s| / (|\partial \phi / \partial s| + |\partial \phi / \partial e|)$ ) et l'erreur de prédiction.
- Des extensions de haute dimension ( $N=10, 50, 100$ modes d'environnement) ont été analysées pour tester les effets de mise à l'échelle.
Validation sur des Dynamiques Non Linéaires :
- Des prédicteurs GRU à couche unique ont été entraînés sur un oscillateur de Duffing couplé à un environnement caché d'Ornstein–Uhlenbeck.
- Deux conditions d'entraînement ont été comparées : non contrainte (prédiction de l'état complet) et ancrage opérationnel (restriction de la perte aux observables du système uniquement).
- La robustesse a été testée via une évaluation hors distribution (OOD) sous des décalages de distribution de l'environnement.

Résultats Clés

1. Échec Systématique dans les Systèmes Linéaires

Dans une exploration de 160 configurations linéaires déterministes, l'encodeur optimal aligné sur le système (encodeur Nouvelle-Zélande/NZ) n'a été trouvé que dans 25 % des cas (les cas diagonaux, découplés).
Dans 75 % des cas (tout couplage hors-diagonale non nul), l'encodeur optimal s'est éloigné de l'axe du système.
La régularisation par le Goulot d'Étranglement de l'Information (IB) a été testée mais s'est révélée inefficace ; la direction optimale de compression s'est alignée sur la direction optimale de prédiction, renforçant le biais environnemental plutôt que de le corriger.

2. Preuves par Réseaux de Neurones

Sur 2 695 runs d'entraînement, la fidélité causale moyenne de l'encodeur neuronal optimal était de 0,49, avec seulement 2,5 % des configurations dépassant 0,70.
Le réseau de neurones a atteint une erreur de prédiction 99,3 % plus faible que l'encodeur linéaire optimal, pourtant cette amélioration des performances prédictives correspondait à une représentation plus éloignée du codage causal.
Effondrement en Haute Dimension : À mesure que le nombre de dimensions de l'environnement ( $N$ ) augmentait jusqu'à 100, la fidélité causale s'est effondrée à $\sim 10^{-8}$ (effectivement zéro), tandis que l'écart d'erreur de prédiction atteignait 92 %. L'encodeur optimal est devenu « aveugle causalement ».

3. Confirmation Non Linéaire et Ancrage Opérationnel

Dans les tâches non linéaires Duffing–GRU, les prédicteurs non contraints ont appris des représentations dominées par l'environnement dans 55 % des tâches, contre 24 % sous ancrage opérationnel.
Robustesse OOD : Sous des décalages de distribution de l'environnement, les modèles non contraints ont subi une inflation médiane de l'Erreur Quadratique Moyenne (MSE) de 1,82 $\times$ , tandis que les modèles ancrés sont restés stables à 1,00 $\times$ .
L'article note que l'ancrage opérationnel (restriction de la perte aux observables du système) supprime partiellement le fossé mais ne peut pas récupérer entièrement la fidélité causale sans une frontière explicite système-environnement dans l'architecture.

Importance et Revendications

L'article prétend identifier le fossé prédictif-causal comme une limite structurelle de l'apprentissage, et non comme un artefact d'optimisation, un problème de données finies ou un problème soluble par la mise à l'échelle.

Lois de Mise à l'Échelle : Les auteurs soutiennent que les lois de mise à l'échelle empiriques (décroissance en loi de puissance lisse de la perte avec les paramètres/données) quantifient la « mauvaise quantité ». Elles mesurent la réduction du risque prédictif, qui peut accompagner un mouvement éloigné de la structure causale. La mise à l'échelle « affine la réponse à la mauvaise question ».
Objectifs Auto-supervisés : L'échec est inhérent à tout objectif qui calcule une perte sur un espace d'observation non partitionné. Que ce soit en utilisant l'auto-encodage masqué, les architectures prédictives d'embedding conjoint (JEPA) ou l'apprentissage contrastif, l'absence d'une distinction explicite système-environnement dans la fonction de perte permet l'existence de minimiseurs dominés par l'environnement.
Interface Opérationnelle : L'article postule que la récupération de la structure causale nécessite une « interface opérationnelle » — une spécification des degrés de liberté qui appartiennent au système et sont autorisés comme entrées de l'encodeur. Des techniques comme le RLHF, le réglage par instructions et l'entraînement postérieur à récompense vérifiable sont présentés non pas comme des superpositions d'alignement, mais comme les interfaces opérationnelles nécessaires qui transforment des problèmes prédictifs mal posés en problèmes d'identification bien posés.

En conclusion, l'article affirme qu'un modèle entraîné à prédire l'étape suivante d'un système composite apprendra à suivre ce qui est le plus facile à prédire (souvent l'environnement), et non ce qui est causalement pertinent. Cela est décrit comme « la bonne réponse au mauvais problème ».