💬 NLP

Causal Tongue-Tie: LLMs Can Encode Causal Direction, But Their Yes/No Outputs Fail to Express

Ce papier révèle un phénomène de « langue-causale entravée » dans les grands modèles de langage, où les états cachés encodent avec précision les preuves causales (environ 97 % de précision) malgré le fait que les réponses verbales Oui/Non des modèles échouent à exprimer cette connaissance (environ 50 % de précision), ce qui suggère que les benchmarks standards fondés uniquement sur les réponses finales pourraient dépeindre de manière erronée les véritables capacités de raisonnement causal d'un modèle.

Auteurs originaux : Ziyi Ding, Xiao-Ping Zhang

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ziyi Ding, Xiao-Ping Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (LLM) comme un élève brillant mais timide assis dans une salle de classe. Cet élève a passé un test sur la causalité (comme « Le tabagisme provoque-t-il le cancer du poumon ? »).

L'article découvre un phénomène étrange que les auteurs appellent « l'entrave causale ». Voici ce qui se passe, décomposé en parties simples :

1. Les deux voix : le « cerveau » contre la « bouche »

Habituellement, nous supposons que si le « cerveau » d'un ordinateur (ses mathématiques internes et ses calculs cachés) connaît la réponse, sa « bouche » (le texte qu'il tape) dira la même chose.

Cet article a révélé que, pour ces modèles, le cerveau et la bouche racontent des histoires différentes.

Le cerveau (état caché) : Lorsque vous jetez un coup d'œil aux mathématiques du modèle pendant qu'il réfléchit, il a clairement déterminé la bonne réponse sur la base des preuves fournies dans la question. C'est comme si l'élève levait la main et chuchotait la bonne réponse à l'enseignant.
La bouche (la sortie) : Lorsque le modèle parle réellement (écrit « Oui » ou « Non »), il ignore son propre cerveau et revient à ce qu'il pense être du bon sens, même si les preuves indiquent le contraire. C'est comme si l'élève chuchotait la bonne réponse mais criait ensuite la mauvaise à haute voix parce qu'il a peur de se tromper.

2. Le test « anti-bon sens »

Pour le prouver, les chercheurs ont utilisé une astuce. Ils ont posé aux modèles des questions où les preuves étaient inversées.

Le scénario : Ils ont dit au modèle : « Dans cette histoire, le tabagisme prévient le cancer du poumon. » (Dans le monde réel, le tabagisme le provoque).
Le résultat :
- La bouche du modèle : A répondu « Non, le tabagisme ne prévient pas le cancer du poumon ». Elle a refusé d'accepter la nouvelle règle et s'est accrochée aux habitudes du monde réel.
- Le cerveau du modèle : Un outil spécial (une « sonde ») a examiné les mathématiques internes du modèle et a constaté qu'il avait parfaitement compris la nouvelle règle. Il savait que la réponse était « Oui » sur la base de l'histoire fournie.

L'écart entre le cerveau qui connaît la vérité (97 % de précision) et la bouche qui dit la mauvaise chose (50 % de précision) est l'« entrave causale ».

3. La métaphore de l'« entrave »

Pensez-y comme à une personne qui est entravée.

Elle sait exactement ce qu'elle veut dire.
Elle a les bons mots dans sa tête.
Mais quand elle essaie de parler, sa langue reste bloquée, et elle dit accidentellement le contraire ou quelque chose de générique.

L'article soutient que lorsqu'un modèle répond « mal » à une question causale, cela ne signifie pas toujours que le modèle est stupide ou qu'il ne comprend pas. Parfois, cela signifie que le modèle comprend parfaitement mais ne peut pas l'exprimer via le format standard « Oui/Non ».

4. Pourquoi « Oui/Non » est le problème

Les chercheurs ont essayé différentes façons de poser la question pour voir s'ils pouvaient « délier » la langue.

Demander « Oui/Non » : Le modèle échoue. Il reste coincé sur ses vieilles habitudes.
Demander « A ou B » : Lorsqu'ils ont forcé le modèle à choisir entre deux options spécifiques (par exemple, « Est-ce que A cause B, ou est-ce que B cause A ? »), le modèle a soudainement eu raison presque 100 % du temps.

Cela suggère que le problème n'est pas que le modèle manque de connaissances. Le problème est l'interface. Le simple bouton « Oui/Non » agit comme un piège qui force le modèle à se rabattre sur ses données d'entraînement (le bon sens) plutôt que sur les preuves spécifiques de l'invite.

5. Ce que cela signifie pour le « raisonnement »

L'article fait un point crucial sur la façon dont nous jugeons l'IA :

Si un modèle donne la bonne réponse : Il pourrait simplement deviner ou suivre un motif, sans nécessairement « raisonner ».
Si un modèle donne la mauvaise réponse : Cela ne signifie pas qu'il ne peut pas raisonner. Il pourrait raisonner correctement dans son « cerveau » mais échouer à le dire à voix haute.

L'essentiel :
Nous ne pouvons pas nous fier uniquement au « Oui » ou au « Non » final pour décider si une IA comprend la causalité. Parfois, l'IA connaît la vérité mais est trop « entravée » pour le dire de la manière que nous attendons. L'article suggère que nous avons besoin de meilleures façons d'écouter ce que le modèle pense réellement, et pas seulement de ce qu'il dit.

Résumé Technique : Langue Liée Causale

Énoncé du Problème

L'article traite d'un décalage critique entre les capacités de raisonnement causal interne des Grands Modèles de Langage (LLM) et leurs productions textuelles explicites. Alors que les benchmarks standards évaluent le raisonnement causal sur la base de l'exactitude des réponses « Oui/Non » d'un modèle, ce travail examine si les LLM possèdent la direction causale correcte dans leurs états cachés, même lorsque leur production verbale échoue à l'exprimer. Plus précisément, les auteurs se concentrent sur des requêtes causales anti-sens commun (par exemple, des invites stipulant que « le tabagisme prévient le cancer du poumon »), où les modèles ont tendance à revenir à des priors de sens commun dans leur production, malgré des preuves dans l'invite suggérant le contraire.

Le problème central est qu'une métrique d'exactitude unique sur des benchmarks basés uniquement sur la production confond deux modes d'échec distincts :

Perroquets Causaux : Le modèle ne possède aucun signal causal interne et repose sur des heuristiques de surface.
Langue Liée Causale : Le modèle encode la direction causale soutenue par les preuves dans ses états internes mais échoue à la verbaliser dans le format de production standard.

Méthodologie

Les auteurs proposent un protocole de mesure comparant deux canaux de lecture issus de la même passe avant unique d'un décodeur de transformateur instructé et figé :

Lecture Interne (Sonde) : Une sonde linéaire (régression logistique figée) ou une direction d'espace contrefactuel ( $V_{cs}$ ) dérivée des activations d'état caché ( $h^{(\ell)}$ ) au dernier jeton de l'invite.
Production Externe : Les probabilités du modèle pour le jeton suivant ( $lm\_head$ ) pour la réponse standard « Oui/Non ».

Configuration Expérimentale

Ensembles de Données : L'étude utilise CLADDER (Jin et al., 2023) et CounterBench (Chen et al., 2025), en se concentrant sur les éléments anti-sens commun (anti-CS) où les preuves de l'invite contredisent les priors du monde réel.
Paires Minimales Contrefactuelles : Pour chaque invite $x_i$ , une paire contrefactuelle $x_i^{cf}$ est générée en échangeant des mots causaux (par exemple, « cause » vs « prévient ») pour inverser la réponse or tout en maintenant une forme de surface identique. La différence dans les états cachés ( $\Delta h$ ) définit le signal de direction causale.
Modèles : Le protocole est appliqué à huit modèles instructés, notamment Qwen2.5 (de 0,5B à 72B), Mistral-7B et DeepSeek-7B.
Contrôles : L'étude emploie des contrôles rigoureux pour écarter la mémorisation de mots de surface, notamment :
- Espaces Sham : Sondes entraînées sur des invites d'entités sans signification.
- Contrôles de Direction Aléatoire : Vecteurs aléatoires de Haar de même rang.
- Variation des Mots Causaux : Suppression ou altération du vocabulaire causal tout en maintenant la structure.
- Variations d'Interface : Test de différents formats de réponse (Oui/Non, choix forcé A/B, Vrai/Faux, Chinois, etc.).

Contributions Clés

L'article introduit le concept de Langue Liée Causale, défini comme le phénomène empirique où :
$\Delta = Acc_{sonde} - Acc_{prod} \approx +0,5$
Sur les éléments anti-sens commun, la sonde linéaire récupère la réponse soutenue par les preuves avec une haute précision ( $\approx 0,97$ ), tandis que la production verbale Oui/Non revient au prior de sens commun ( $\approx 0,5$ ).

Les auteurs formalisent un cadre 2×2 pour les échecs des benchmarks causaux :

(a) Correct Aligné : La sonde et la production sont toutes deux correctes.
(b) Langue Liée Causale (Ce Travail) : La sonde est correcte ; la production est erronée (l'objet de l'article).
(c) Perroquet Causal : La sonde ne trouve rien ; la production est correcte par heuristique de surface.
(d) Échec Authentique : Les deux sont erronés.

Résultats Empiriques

Évolutivité de l'Écart : L'écart ( $\Delta \approx +0,5$ ) persiste à travers les tailles de modèles, de 0,5B à 72B paramètres. À mesure que la taille du modèle augmente, la précision de la sonde interne augmente (atteignant 1,0 sur 72B), tandis que la précision de la production reste stagnante près du hasard (0,35–0,53).
Validité du Signal Interne :
- La direction de la sonde n'est pas aléatoire ; elle suit les preuves causales, pas seulement les mots de surface.
- Lésion : Projeter la direction causale ( $V_{cs}$ ) hors de l'état caché effondre la capacité interne du modèle à distinguer les paires contrefactuelles (chute de KL de -96,3 %), confirmant que la direction est fonctionnellement utilisée pour la comparaison interne.
- Patching d'Activation : Remplacer l'état caché d'un élément anti-CS erroné par celui d'un élément de sens commun apparié fait basculer la précision de la production de 0 à 0,57, démontrant que l'état interne contient suffisamment d'informations pour corriger la production, bien qu'un simple échange scalaire du vecteur de direction soit insuffisant.
Dépendance à l'Interface : L'échec est localisé à l'interface de réponse verbale.
- Lorsque le format de production est changé en un choix forcé A/B structuré (par exemple, « Quelle option est la plus plausible : A. c cause e, ou B. c ne le fait pas ? »), la précision grimpe à presque parfaite (1,0), tandis que le format standard Oui/Non reste au niveau du hasard.
- L'écart persiste à travers différentes formes de surface (Oui/Non, Vrai/Faux, Chinois « Shi/Fou »), indiquant que le problème n'est pas spécifique aux jetons « Oui/Non » mais plutôt à l'étape d'engagement dans l'interface verbale.
Analyse de l'Entropie : Le modèle présente une faible entropie (forte confiance) pour la mauvaise réponse dans le format Oui/Non, indiquant un « engagement confiant erroné » piloté par des priors de sens commun, alors que le format A/B permet au signal interne de s'exprimer avec une entropie proche de zéro.

Signification et Revendications

L'article affirme que les conclusions générales sur la capacité des LLM à effectuer un raisonnement causal basées sur un seul chiffre d'exactitude de production sont erronées.

Réévaluation des Benchmarks : Un verdict « erroné » d'un benchmark ne signifie pas nécessairement que le modèle manque de connaissances causales ; cela peut simplement signifier que le modèle ne peut pas exprimer ces connaissances via l'interface verbale spécifique utilisée. Inversement, un verdict « correct » ne garantit pas que le modèle a compris le mécanisme causal (il pourrait s'agir d'un Perroquet Causal).
Nature de l'Échec : Les auteurs caractérisent la Langue Liée Causale comme un échec de l'interface verbale, et non comme un manque de représentation interne. Le modèle « sait » la réponse dans ses états cachés mais est « lié » dans sa capacité à la dire lorsqu'il est contraint de s'engager dans un format verbal biaisé par le sens commun.
Limites : Les auteurs déclarent explicitement que « l'encodage » dans ce contexte fait référence à la récupérabilité d'une direction linéaire dans l'état caché, et non à une compréhension de type humain ou à un circuit causal complet. La direction interne est causalement suffisante pour corriger la production dans plus de 50 % des cas, mais pas tous, et la direction récupérée est sensible à la formulation des modèles.

En résumé, l'article plaide pour une évaluation à double canal des LLM (état interne + production externe) afin de distinguer les échecs de raisonnement authentiques des limitations expressives, en urging la prudence dans l'interprétation des benchmarks causaux basés uniquement sur la production.