💬 NLP

Mechanistic Evidence for Faithfulness Decay in Chain-of-Thought Reasoning

Cet article introduit la Décroissance de la Différence de Logit Normalisée (NLDD), une métrique qui révèle un « horizon de raisonnement » constant dans les modèles de Chaîne de Pensée (Chain-of-Thought) où les étapes dépassant 70 à 85 % de la longueur de la chaîne perdent en fidélité, démontrant que l'exactitude seule ne garantit pas un raisonnement authentique.

Auteurs originaux : Donald Ye, Max Loffgren, Om Kotadia, Linus Wong, Jonas Rohweder

Publié 2026-06-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Donald Ye, Max Loffgren, Om Kotadia, Linus Wong, Jonas Rohweder

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un magicien exécuter un tour complexe. Il sort un lapin d'un chapeau, mais avant cela, il vous fait un long discours détaillé sur la façon dont il va le faire. Il explique les étapes, la physique et les mots magiques.

Maintenant, voici la grande question : le lapin est-il réellement sorti grâce aux mots magiques qu'il vient de prononcer, ou le magicien avait-il déjà le lapin dans sa poche tout ce temps, et le discours n'était-il qu'une distraction sophistiquée pour vous faire croire qu'il faisait de la vraie magie ?

Ce document pose exactement cette question à propos des modèles d'Intelligence Artificielle (IA). Lorsqu'une IA résout un problème de mathématiques ou de logique difficile, elle écrit souvent une « Chaîne de Pensée » (Chain of Thought ou CoT) — une explication étape par étape de son travail. Les auteurs veulent savoir : l'IA utilise-t-elle réellement ces étapes pour trouver la réponse, ou est-elle simplement en train d'inventer une histoire après avoir déjà deviné la réponse ?

Le nouvel outil : le test du « Chute de Confiance » (NLDD)

Pour trouver la réponse, les auteurs ont inventé un nouveau test appelé NLDD (Normalized Logit Difference Decay).

Voyez cela comme ceci : imaginez que vous conduisez une voiture et que votre GPS vous donne des instructions étape par étape.

Conduite Fidèle : Si le GPS dit « Tournez à gauche » et que vous tournez à gauche, vous arrivez à destination. Si vous ignorez le GPS et tournez à droite, vous vous perdez. Les directions comptaient.
Conduite Infidèle : Si le GPS dit « Tournez à gauche », mais que vous alliez déjà tourner à gauche parce que vous connaissiez le chemin, les directions n'ont pas réellement changé votre trajectoire. Ou pire, si le GPS dit « Tournez à gauche » et que vous tournez quand même à gauche, alors que le GPS essayait en fait de vous tromper pour que vous tourniez à droite, alors les directions étaient une distraction.

Le test des auteurs fonctionne en sabotant l'explication de l'IA. Ils prennent une explication parfaite, changent une étape pour qu'elle soit fausse (comme dire à l'IA « Ajoute 2 + 2 = 5 »), et observent ensuite ce qui arrive à la confiance de l'IA dans sa réponse finale.

Si l'IA est « Fidèle » : Lorsqu'ils cassent l'explication, l'IA est confuse et perd confiance. Cela prouve que l'IA utilisait réellement les étapes pour réfléchir.
Si l'IA est « Infidèle » (ou « Anti-fidèle ») : Lorsqu'ils cassent l'explication, la confiance de l'IA ne chute pas, ou pourrait même augmenter ! Cela prouve que l'IA n'avait pas besoin des étapes ; elle connaissait déjà la réponse (ou l'avait devinée) avant de commencer à écrire.

La grande découverte : l'« Horizon de Raisonnement »

Les auteurs ont testé trois types différents de modèles d'IA (DeepSeek, Llama et Gemma) sur trois types d'énigmes (mathématiques, logique et règles de langage). Ils ont découvert quelque chose de surprenant : le raisonnement de l'IA possède un « horizon ».

Imaginez une longue corde. Les premiers 70 % à 85 % de la corde sont solides et utiles. Mais les derniers 15 % à 30 % ? Ce n'est qu'un fil lâche et pendant.

La zone idéale : Pour tous les modèles, l'IA a réellement besoin de la première partie de son explication pour résoudre le problème.
L'horizon : Une fois que l'IA a dépassé un certain point (environ 70 à 85 % du chemin), écrire plus d'étapes ne sert à rien. En fait, pour certains modèles, écrire plus d'étapes nuit même à leurs performances. C'est comme si l'IA commençait à parler juste pour combler le silence, même si elle a déjà résolu le problème.

Le problème du « Clever Hans »

Le document met en lumière un phénomène effrayant appelé l'effet « Clever Hans ». Dans les années 1900, il y avait un cheval nommé Hans qui semblait savoir faire des mathématiques. Il frappait du sabot le bon nombre de fois. Mais il s'est avéré qu'il ne faisait pas de mathématiques ; il lisait le langage corporel de la personne qui posait la question.

Les auteurs ont découvert que certains modèles d'IA (spécifiquement le modèle Gemma) agissent comme Clever Hans.

Ils peuvent obtenir 99 % des bonnes réponses.
Mais quand les auteurs ont cassé les « étapes de raisonnement », l'IA n'en a rien eu à faire.
Cela signifie que l'IA ne raisonne pas réellement à travers les étapes ; elle se contente de mémoriser des motifs ou de deviner la réponse, et l'« explication » n'est qu'une histoire a posteriori qu'elle raconte pour paraître intelligente.

La « Carte Cachée » vs le « Conducteur »

Le document a également trouvé un décalage étrange appelé le « Mapping Gap » (Écart de Cartographie).

Imaginez un conducteur qui a une carte parfaite de la ville dans sa tête (le cerveau interne de l'IA), mais qui conduit les yeux fermés, en suivant un chemin aléatoire.

L'IA possède l'information correcte à l'intérieur de son « cerveau » (la carte est là).
Mais elle n'utilise pas cette information pour prendre la décision finale.

Les auteurs ont montré que même lorsqu'une IA échoue complètement à une tâche, elle peut encore posséder la « carte » correcte dans ses couches internes. Inversement, une IA peut donner la bonne réponse mais avoir une carte interne désordonnée et confuse. Cela prouve que le fait qu'une IA puisse vous montrer son raisonnement ne signifie pas qu'elle l'a réellement effectué.

Résumé

En termes simples, ce document affirme que :

Ne faites pas confiance à l'explication simplement parce qu'elle semble intelligente. Parfois, l'IA invente simplement une histoire après avoir déjà trouvé la réponse.
Il existe un « point de bascule ». Les modèles d'IA n'ont réellement besoin que des 70 à 85 % premiers de leur explication pour résoudre un problème. Le reste n'est souvent que du bruit.
La précision n'est pas tout. Une IA peut obtenir la bonne réponse 100 % du temps, mais tout en « mentant » sur la façon dont elle y est parvenue.

Les auteurs ont créé un nouvel outil (NLDD) pour mesurer cela, nous aidant à comprendre quand une IA réfléchit véritablement et quand elle ne fait que simuler la pensée.

Résumé Technique : Preuves Mécanistes de la Déchéance de la Fidélité dans le Raisonnement par Chaîne de Pensée (Chain-of-Thought)

Énoncé du Problème
Le prompting par Chaîne de Pensée (CoT - Chain-of-Thought) est devenu le paradigme standard pour solliciter un raisonnement complexe chez les Grands Modèles de Langage (LLM). Cependant, une ambiguïté critique subsiste : ces explications étape par étape reflètent-elles fidèlement le processus de décision interne du modèle, ou ne sont-elles que des rationalisations post-hoc plausibles ? Les évaluations existantes traitent souvent la fidélité comme une propriété binaire de la réponse finale ou reposent sur des métriques de sensibilité brute qui ne sont pas comparables entre différentes architectures de modèles en raison des variations d'échelle de sortie et de confiance de base. De plus, il n'est pas clair si les modèles utilisent réellement les jetons de raisonnement générés pour calculer les réponses ou s'ils s'appuient sur des priors pré-calculés, rendant la chaîne de raisonnement causalement non pertinente.

Méthodologie
Les auteurs proposent un cadre de diagnostic centré sur la Déchéance de la Différence de Logit Normalisée (NLDD - Normalized Logit Difference Decay), une métrique conçue pour quantifier la fidélité au niveau de chaque étape. La méthodologie comprend trois composantes clés :

Interventions Contrefactuelles : Le cadre corrompt les étapes de raisonnement individuelles au sein d'une chaîne CoT (par exemple, en introduisant des erreurs arithmétiques, des substitutions d'entités ou des erreurs de profondeur) et tronque les étapes suivantes. Cela isole l'impact causal de jetons spécifiques sur la prédiction finale.
Métrique NLDD : Contra-irement à la précision binaire, la NLDD mesure la dégradation de la confiance du modèle (marge de logit) lorsqu'une étape de raisonnement est corrompue. Crucialement, elle normalise cette dégradation par rapport à la variabilité intrinsèque de la sortie du modèle (écart-type des logits) pour permettre une comparaison inter-modèles indépendante de l'architecture.
- NLDD Positive : Indique une dépendance causale ; la corruption réduit la confiance.
- NLDD Négative : Indique une « anti-fidélité » ; la corruption augmente paradoxalement la confiance, suggérant que le modèle ignore ou est entravé par la chaîne de raisonnement.
Diagnostics Structurels : Pour compléter les métriques comportementales, les auteurs emploient :
- Analyse de Similitude de Représentation (RSA) : Mesure l'alignement entre les motifs d'états cachés des chaînes propres et corrompues pour évaluer la stabilité de la représentation interne.
- Score d'Alignement de Trajectoire (TAS) : Quantifie l'efficacité géométrique du chemin de raisonnement dans l'espace latent.
- Sondage Linéaire (Linear Probing) : Teste si les informations pertinentes pour la tâche (par exemple, la profondeur de pile, les valeurs de vérité) sont explicitement encodées dans les états cachés, indépendamment de leur utilisation par le modèle pour la prédiction.

Le cadre est évalué à travers trois familles de modèles (DeepSeek-Coder-6.7B, Llama-3.1-8B, et Gemma-2-9B) et trois tâches présentant des niveaux d'ambiguïté variables : Dyck-n (syntaxique), PrOntoQA (logique), et GSM8K (arithmétique).

Résultats Clés
L'étude identifie des régimes comportementaux distincts et un phénomène structurel cohérent à travers les modèles :

Régimes Fidèle vs Anti-Fidèle :
- Régime Fidèle : Des modèles comme Llama et DeepSeek présentent une NLDD positive élevée, indiquant que leurs prédictions sont ancrées causalement dans la chaîne de raisonnement.
- Régime Anti-Fidèle : Gemma-2 démontre une précision élevée (ex: 99 % sur PrOntoQA) malgré une NLDD significativement négative (-52,5 %). Dans ce régime, la corruption de la chaîne de raisonnement améliore en fait la confiance du modèle dans la réponse correcte, suggérant que les jetons de raisonnement agissent comme des distracteurs plutôt que comme des moteurs.
Le Fossé de Cartographie (Mapping Gap) : Une dissociation a été observée où les modèles encodent des structures pertinentes pour la tâche en interne (haute précision de sondage linéaire) mais échouent à les utiliser pour la sortie finale. Par exemple, Gemma a atteint 82 % de précision de sondage sur la profondeur de pile Dyck-n mais 0 % de précision de tâche, indiquant que l'information est présente mais n'est pas utilisée causalement.
L'Horizon de Raisonnement ( $k^*$ ) : Les auteurs identifient un « Horizon de Raisonnement », défini comme la position de l'étape où l'influence causale (NLDD) culmine. Au-delà de ce point (survenant à 70–85 % de la longueur de la chaîne à travers les tâches), les jetons de raisonnement supplémentaires contribuent de manière négligeable ou négative à l'influence causale.
- Crucialement, bien que la NLDD chute brutalement au-delà de $k^*$ , la RSA et la TAS restent stables. Cela suggère que les modèles continuent de générer des représentations internes cohérentes et des trajectoires géométriques même lorsque ces étapes n'influencent plus la prédiction finale.

Signification et Contributions
L'article apporte trois contributions primaires à la compréhension mécaniste du raisonnement des LLM :

La NLDD comme Métrique de Fidélité : Il introduit une métrique standardisée et indépendante de l'architecture qui révèle si le raisonnement d'un modèle est causal ou décoratif. Il démontre qu'une précision élevée seule est insuffisante pour vérifier le raisonnement, car les modèles peuvent obtenir des scores parfaits tout en étant complètement déconnectés de leurs explications CoT.
Identification de l'Horizon de Raisonnement ( $k^*$ ) : La découverte d'un point de transition cohérent (70–85 % de la longueur de la chaîne) où l'influence causale décroît suggère que les chaînes CoT contiennent souvent une « zone de l'élagage théorique ». Au-delà de cet horizon, les jetons de raisonnement peuvent être du formatage post-hoc ou, dans les modèles anti-fidèles, une interférence active.
Preuve du Fossé de Cartographie : Les conclusions remettent en question les hypothèses de la recherche en interprétabilité en montrant que les modèles peuvent maintenir des représentations internes correctes de la logique de la tâche sans les utiliser causalement pour le décodage. Cela implique que la cohérence de surface du CoT ne garantit pas la fidélité causale.

Les auteurs concluent que leur approche multi-métrique fournit un moyen rigoureux de mesurer quand le CoT importe, distinguant une véritable rupture de raisonnement d'un changement superficiel de sortie, et souligne que pour certaines architectures, un raisonnement étendu peut être contre-productif.