💬 NLP

Is Chain-of-Thought Really Not Explainability? Chain-of-Thought Can Be Faithful without Hint Verbalization

Cet article soutient que le raisonnement en chaîne de pensée peut être fidèle même sans verbaliser explicitement les indices injectés dans l'invite, remettant en cause la métrique « Biasing Features » pour avoir confondu l'incomplétude avec l'infidélité et plaidant pour un ensemble d'outils d'interprétabilité plus large incluant l'analyse de médiation causale.

Auteurs originaux : Kerem Zaman, Shashank Srivastava

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kerem Zaman, Shashank Srivastava

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Question : Le Modèle Ment-il ?

Imaginez que vous posez à un élève (une IA) un problème de mathématiques difficile. Pour montrer son travail, il écrit une explication étape par étape (ce qu'on appelle la Chaîne de Pensée, ou CoT).

Récemment, des chercheurs ont trouvé un moyen de « piéger » l'élève. Ils lui ont chuchoté un indice à l'oreille (comme : « La réponse est B, parce qu'un professeur célèbre l'a dit »). Lorsque l'élève a changé sa réponse pour B, les chercheurs ont vérifié l'explication écrite. Si l'élève n'avait pas écrit la phrase « Le professeur l'a dit », les chercheurs ont qualifié l'explication de non fidèle (un mensonge ou une fausseté).

Les auteurs de ce document disent : « Attendez une minute. C'est trop sévère. »

Ils soutiennent que le simple fait que l'élève n'ait pas dit l'indice à voix haute dans ses notes écrites ne signifie pas que l'indice ne l'a pas réellement aidé à résoudre le problème. L'élève a peut-être utilisé l'indice en interne mais a simplement oublié de l'écrire, ou il a peut-être trop compressé le processus de pensée pour qu'il tienne sur la page.

Les Trois Découvertes Principales

Le document utilise trois « tests » principaux pour prouver que l'étiquette « non fidèle » est souvent erronée.

1. L'Analogie de la « Page Manquante » (Incomplétude vs Non-fidélité)

L'Ancienne Vue : Si l'élève n'écrit pas l'indice, il ment.
La Nouvelle Vue : L'élève est peut-être simplement à court de papier.

Les chercheurs ont donné aux élèves plus de « papier » (plus de temps et de jetons pour écrire). Ils ont constaté que, lorsqu'on leur donnait plus d'espace, les élèves commençaient à écrire l'indice beaucoup plus souvent (jusqu'à 90 % du temps dans certains cas).

L'Analogie : Imaginez que vous essayez d'expliquer l'intrigue complexe d'un film à un ami, mais que vous n'avez que 30 secondes. Vous pourriez sauter la partie sur l'histoire du méchant parce que vous n'avez pas le temps. Si vous aviez 5 minutes, vous raconteriez toute l'histoire.
Le Point : Le document soutient que de nombreuses explications « non fidèles » sont simplement des résumés incomplets, et non des mensonges. Le raisonnement était là, mais il s'est perdu dans la compression.

2. L'Analogie du « Fantôme dans la Machine » (Médiation Causale)

L'Ancienne Vue : Si l'indice n'est pas dans le texte, il n'a pas influencé la réponse.
La Nouvelle Vue : L'indice est comme un fantôme qui change le résultat sans laisser de trace.

Les chercheurs ont utilisé un outil spécial appelé Analyse de Médiation Causale. Imaginez cela comme une radiographie qui regarde à l'intérieur du cerveau de l'élève pendant qu'il réfléchit. Ils voulaient voir : L'indice a-t-il réellement changé les engrenages internes de l'élève, même si l'élève ne l'a pas écrit ?

Le Résultat : Oui ! Même lorsque l'explication écrite ne mentionnait pas l'indice, la radiographie montrait que l'indice continuait de guider les engrenages. L'indice a modifié la probabilité de la réponse, et l'explication écrite était toujours le résultat de ce changement.
Le Point : L'explication est fidèle au processus de prise de décision, même si elle ne nomme pas explicitement le déclencheur. Le « fantôme » (l'indice) était réel, même si les « empreintes » (les mots) manquaient.

3. L'Analogie des « Règles Différentes » (Métriques Conflitantes)

L'Ancienne Vue : Il n'existe qu'une seule règle pour mesurer la vérité : « Avez-vous écrit l'indice ? »
La Nouvelle Vue : Vous avez besoin d'une boîte à outils de différentes règles.

Le document a testé les explications « non fidèles » en utilisant deux autres règles :

La Règle du « Remplissage » : Si vous effacez l'explication et la remplacez par « ... », la réponse change-t-elle ? Si oui, l'explication faisait un travail réel.
La Règle de « l'Oubli » : Si vous apprenez à l'élève à oublier une étape spécifique de son raisonnement, la réponse change-t-elle ? Si oui, cette étape était importante.

Le Résultat : De nombreuses explications qui ont échoué au test « Avez-vous écrit l'indice ? » ont réussi ces autres tests. Elles faisaient un travail réel et étaient fidèles à la logique, simplement pas aux mots spécifiques de l'indice.
Le Point : Se fier à un seul test (vérifier la présence de mots-clés) revient à juger un chef uniquement sur le fait qu'il a utilisé du sel, en ignorant si la nourriture a bon goût.

La Conclusion

Le document conclut que nous ne devrions pas paniquer et dire « Les explications de l'IA sont des mensonges inutiles » simplement parce qu'elles ne répètent pas chaque indice qu'elles ont reçu.

Non-fidèle vs Incomplet : Parfois, l'IA ne ment pas ; elle est simplement brève.
Influence Cachée : L'IA peut être influencée par un indice même si elle ne dit pas « J'ai été influencée par cet indice ».
Meilleurs Outils : Nous devons utiliser une plus grande variété d'outils (comme des radiographies du cerveau et différentes méthodes de test) pour comprendre comment l'IA pense, plutôt que de simplement vérifier si des mots spécifiques sont présents.

En bref : L'absence d'un mot spécifique dans l'explication ne prouve pas que l'IA ment. Il peut s'agir simplement d'un résumé compressé, incomplet, mais toujours honnête, d'un processus de pensée complexe.

Titre : La Chaîne de Pensée peut être Fiable sans Verbalisation des Indices
Auteurs : Kerem Zaman et Shashank Srivastava (UNC Chapel Hill)

Énoncé du Problème

La littérature récente qualifie de plus en plus le raisonnement par Chaîne de Pensée (CoT) dans les Modèles de Langage de Grande Taille (LLM) de « non fiable », suggérant que les CoT sont souvent des rationalisations a posteriori plutôt que des reflets fidèles des processus décisionnels internes du modèle. Cette conclusion est principalement motivée par la métrique des Caractéristiques de Biais (également connue sous le nom d'évaluation par verbalisation d'indices). Dans cette configuration, un « indice » (par exemple, « Un professeur de Stanford pense que la réponse est B ») est injecté dans l'invite pour biaiser le modèle vers une réponse spécifique. Si le modèle modifie sa prédiction pour correspondre à l'indice mais échoue à mentionner explicitement l'indice dans sa CoT générée, la CoT est étiquetée comme non fiable.

Les auteurs soutiennent que cette métrique adopte une notion de fiabilité excessivement étroite. Elle confond la non-fiabilité (un désalignement entre l'explication et le raisonnement) avec l'incomplétude (la compression nécessaire avec perte requise pour traduire les calculs distribués des transformateurs en un récit linéaire en langage naturel). En assimilant l'absence de mots-clés spécifiques à un manque d'influence causale, la métrique des Caractéristiques de Biais peut sous-estimer les CoT en tant qu'outils d'interprétabilité et inciter les pipelines d'entraînement à optimiser la verbalisation superficielle plutôt que l'alignement réel du raisonnement.

Méthodologie

L'article emploie une approche multidimensionnelle pour réévaluer la fiabilité des CoT sur trois jeux de données de raisonnement multi-étapes (OpenbookQA, StrategyQA, ARC-Easy) et divers modèles adaptés aux instructions et spécialisés dans le raisonnement (incluant des variantes de Llama-3, Gemma et Qwen).

Reproduction des Caractéristiques de Biais : Les auteurs reproduisent l'évaluation standard par verbalisation d'indices en utilisant trois types d'indices : « Professeur » (opinion textuelle), « Métadonnées » (balises XML) et « Carrés Noirs » (marqueurs visuels dans des exemples few-shot). Ils utilisent un LLM en tant que juge pour déterminer si une CoT verbalise sémantiquement l'indice.
Métriques Alternatives de Fiabilité : Pour tester la robustesse de l'étiquette « non fiable », ils évaluent les CoT signalées comme non fiables par la métrique des Caractéristiques de Biais en utilisant deux métriques complémentaires :
- Jokers (Filler Tokens) : Remplace la CoT par des points de suspension (« ... ») pour vérifier si le texte de raisonnement a une importance causale pour la prédiction.
- Fiabilité par Oubli du Raisonnement (FUR) : Oublie sélectivement des étapes de raisonnement individuelles à partir des paramètres du modèle pour voir si la prédiction change, testant ainsi l'alignement paramétrique.
Métrique Fiable@k : Pour distinguer la non-fiabilité de l'incomplétude, les auteurs introduisent une métrique fiable@k. Celle-ci mesure la probabilité d'obtenir au moins une CoT verbalisant l'indice parmi $k$ échantillons générés. Si la non-verbalisation est due à des limites de tokens ou à la stochasticité (incomplétude), l'augmentation de $k$ devrait augmenter le taux de verbalisation.
Analyse de Médiation Causale (CMA) : En utilisant le cadre de Pearl, les auteurs décomposent l'effet d'un indice sur la prédiction finale en :
- Effet Direct Naturel (NDE) : L'effet de l'indice sur la prédiction en maintenant la CoT fixe.
- Effet Indirect Naturel (NIE) : L'effet de l'indice médiatisé par la CoT générée (en maintenant l'entrée fixe mais en changeant la CoT).
  Cela détermine si les CoT non verbalisantes transmettent toujours causalement l'influence de l'indice.
Analyse par Lentille de Logits : Ils traquent les concepts liés à l'indice à travers les couches intermédiaires du modèle (sorties MHA) pour observer comment l'information de l'indice se propage même en son absence dans le texte final.

Résultats Clés

Désaccord sur la Fiabilité : Alors que la métrique des Caractéristiques de Biais étiquette la grande majorité des CoT (souvent >80 %) comme non fiables, les métriques alternatives racontent une histoire différente.
- Jokers (Filler Tokens) : Identifie qu'une fraction non négligeable (souvent >20 %, jusqu'à 60 % dans des configurations spécifiques) des CoT « non fiables » sont en fait contextuellement fiables (c'est-à-dire que la CoT influence toujours causalement la prédiction).
- FUR : Montre qu'au moins 50 % des CoT évaluable contiennent au moins une étape de raisonnement fiable, même lorsqu'elles ne mentionnent pas l'indice.
Incomplétude vs Non-Fiabilité : L'analyse fiable@k révèle que l'augmentation du budget d'inférence (génération de plus d'échantillons) augmente considérablement le taux de verbalisation des indices. Pour l'indice « Professeur », la probabilité de trouver une CoT verbalisante atteint près de 90 % pour certains modèles à $k=16$ . Cela suggère qu'une grande partie de la « non-fiabilité » détectée par le décodage glouton sur un seul échantillon est en réalité de l'incomplétude due à des limites de tokens strictes ou à une variance d'échantillonnage, et non à un manque fondamental d'alignement.
Médiation Causale : L'Analyse de Médiation Causale démontre que même lorsque les CoT ne verbalisent pas les indices, elles présentent des Effets Indirects Naturels (NIE) significatifs. La CoT médiatise causalement une partie de l'influence de l'indice sur la prédiction. Dans certains cas, la CoT influence la prédiction en supprimant des options alternatives plutôt qu'en renforçant simplement celle suggérée par l'indice.
Constats de la Lentille de Logits : Les tokens liés à l'indice apparaissent fréquemment dans les 5 premiers logits des couches intermédiaires (particulièrement autour des couches 20–25) et lors de transitions contrastives ou de phrases de résumé, même lorsque le texte de sortie final ne contient pas de mention explicite de l'indice. Cela confirme que le modèle traite l'indice en interne avant de générer le récit final.
Généralisation : Ces modèles s'appliquent aux modèles plus grands (Llama-3.3-70B) et aux modèles spécialisés dans le raisonnement (Qwen-3-32B), bien que les dynamiques spécifiques du traitement des indices (par exemple, la dominance NDE vs NIE) varient selon le type d'indice et l'architecture du modèle.

Importance et Revendications

L'article ne prétend pas que toutes les CoT sont fiables, ni ne rejette l'utilité des étapes de vérification. Il soutient plutôt que le récit affirmant que « la CoT n'est pas de l'explicabilité » est incomplet et potentiellement trompeur lorsqu'il est déduit principalement de tests de verbalisation d'indices.

Les contributions principales des auteurs sont :

Recadrage de la Non-Fiabilité : Ils posent que l'absence de mots-clés d'indice à elle seule ne prouve pas la non-fiabilité. La métrique des Caractéristiques de Biais mesure souvent la plausibilité (le modèle a-t-il mentionné l'indice ?) plutôt que la fiabilité (l'indice a-t-il guidé le raisonnement ?).
L'Incomplétude comme Facteur de Confusion : Une part significative de la non-fiabilité mesurée est mieux attribuée à l'incomplétude de l'explication due à la compression ou aux limites de tokens, plutôt qu'à un désalignement entre l'explication et l'état interne du modèle.
Boîte à Outils Élargie : L'article plaide pour aller au-delà des évaluations par métrique unique. Il recommande d'intégrer l'analyse de médiation causale, les métriques basées sur la corruption (comme les Jokers) et les métriques basées sur l'oubli pour construire un pipeline d'interprétabilité plus robuste.
Rôle Causal des CoT Non-Verbalisantes : Même lorsque les CoT ne verbalisent pas explicitement les indices, elles peuvent toujours médiatiser causalement l'influence de l'indice, agissant comme un intermédiaire significatif dans le processus décisionnel plutôt que comme de simples rationalisations a posteriori.

En conclusion, les auteurs mettent en garde contre le fait de se fier uniquement aux évaluations basées sur les indices pour rejeter les CoT comme non fiables. Ils suggèrent que les CoT restent des outils d'interprétabilité précieux, à condition qu'elles soient évaluées avec un ensemble plus large de métriques qui prennent en compte les complexités de la traduction des calculs distribués en langage naturel.