🤖 machine learning

Local Causal Attribution of Chain-of-Thought Reasoning

Cet article présente AttriCoT, un algorithme de boîte noire qui construit un modèle causal structurel pour effectuer une attribution causale locale sur les composants individuels du raisonnement par chaîne de pensée, démontrant une fidélité supérieure au comportement du modèle et révélant des structures de pensée distinctes à travers différents modèles et domaines.

Auteurs originaux : Dennis Wei, Yannis Belkhiter, Erik Miehling, Radu Marinescu

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dennis Wei, Yannis Belkhiter, Erik Miehling, Radu Marinescu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (comme une IA super intelligente) résolvant un problème mathématique difficile ou une énigme logique. Au lieu de simplement vous donner la réponse, il rédige d'abord un long « processus de pensée », étape par étape. C'est ce qu'on appelle une Chaîne de Pensée (Chain-of-Thought ou CoT).

Considérez cette chaîne de pensée comme le carnet de notes d'un détective. Le détective note des indices, des théories et des calculs avant de résoudre l'affaire. Mais voici le problème : il arrive que le détective écrive des choses qui semblent logiques mais qui, en réalité, ne l'ont pas aidé à résoudre l'affaire. Peut-être a-t-il écrit une longue histoire sur une fausse piste, ou peut-être a-t-il ignoré un indice crucial. Nous voulons savoir : quelles notes spécifiques dans le carnet ont réellement causé la solution finale ?

Cette publication présente un nouvel outil appelé AttriCoT pour répondre à cette question.

Le Problème : Le raisonnement « faux »

Actuellement, nous ne savons pas vraiment si le texte que l'IA écrit est la réelle raison pour laquelle elle a trouvé la bonne réponse. Parfois, l'IA trouve la bonne réponse par chance, puis rédige une histoire élaborée et fausse pour la justifier. D'autres fois, elle saute une étape dans sa tête mais l'écrit quand même.

Les scientifiques ont essayé de comprendre cela en :

Demandant à l'IA : « Hé, quelle partie de ton processus de pensée était la plus importante ? » (C'est comme demander à un élève de noter son propre devoir ; il pourrait mentir ou être confus).
Effaçant des parties et en observant les conséquences : Si vous supprimez une phrase du processus de pensée, l'IA se trompe-t-elle de réponse ? C'est une bonne idée, mais le faire pour chaque phrase demande une puissance de calcul massive, comme essayer de reconstruire une maison brique par brique pour voir quelle brique soutient le toit.

La Solution : AttriCoT (Le « Détective de la Causalité »)

Les auteurs ont créé AttriCoT, une méthode qui agit comme un expert-comptable médico-légal pour les pensées de l'IA.

L'analogie : Le test de la recette
Imaginez que vous essayez de découvrir quels ingrédients dans une recette de gâteau complexe font réellement que le gâteau est bon.

L'ancienne méthode : Vous cuisinez un nouveau gâteau pour chaque ingrédient que vous voulez tester. Si la recette contient 50 ingrédients, vous cuisinez 50 gâteaux. C'est lent et coûteux.
La méthode d'AttriCoT : Vous cuisinez le gâteau une seule fois. Ensuite, vous utilisez un tour mathématique spécial pour simuler ce qui se passerait si vous retiriez le sucre, ou la farine, ou les œufs, sans réellement cuisiner un nouveau gâteau à chaque fois. Vous mesurez à quel point le « score de goût » (la confiance de l'IA) chute lorsque vous faites semblant qu'un ingrédient est absent.

Comment fonctionne AttriCoT (les 3 étapes) :

Le jeu du « Et si ? » : Il prend une chaîne de pensée spécifique (le carnet de notes de l'IA) et la divise en petits morceaux appelés « unités » (phrases ou segments). Il crée ensuite une liste de scénarios « et si » : « Et si nous supprimions l'Unité 1 ? » « Et si nous supprimions l'Unité 2 ? »
La vérification rapide : Au lieu de « recuisiner tout le gâteau » (relancer toute l'IA), il effectue une vérification très rapide et légère pour voir à quel point la confiance de l'IA dans l'étape suivante chute lorsqu'une unité est manquante.
La carte mathématique : Il utilise une formule mathématique simple (un modèle linéaire) pour relier les points. Il calcule un score pour chaque paire d'étapes. Par exemple, il pourrait dire : « L'étape 3 était responsable à 80 % de l'étape 7, mais l'étape 2 n'a eu presque aucun effet sur l'étape 7. »

Ce qu'ils ont découvert

Les chercheurs ont testé cela sur 5 types différents d'énigmes (mathématiques, logique, sciences) et sur 4 modèles d'IA différents.

C'est plus précis : AttriCoT était bien meilleur pour trouver les étapes réellement importantes que les autres méthodes. Lorsqu'ils ont vérifié si la suppression d'une étape « clé » brisait réellement la réponse de l'IA, les prédictions d'AttriCoT étaient les plus fiables.
C'est efficace : Il n'a pas eu besoin de lancer l'IA des milliers de fois. Il n'a eu besoin de l'exécuter qu'un nombre de fois égal au nombre d'étapes dans le processus de pensée. Cela le rend assez rapide pour être utilisé sur des chaînes de raisonnement longues et complexes.
De nouvelles perspectives : En examinant les « scores » générés par AttriCoT, ils ont découvert des schémas intéressants :
- Le début et la fin comptent le plus : Les toutes premières pensées (où l'IA lit la question) et les toutes dernières pensées (où elle vérifie la réponse) ont tendance à avoir l'impact le plus important.
- Regarder en arrière : Au milieu de la résolution d'un problème difficile, l'IA retourne souvent lire la question d'origine pour s'assurer qu'elle n'a pas oublié un détail.
- Différents modèles, différentes habitudes : Certains modèles s'appuient fortement sur la question d'origine tout au long du processus, tandis que d'autres s'appuient davantage sur leurs propres étapes précédentes.

L'essentiel

Ce document ne prétend pas réparer l'IA ou la rendre plus intelligente. Au lieu de cela, il nous offre une lampe de poche pour voir à l'intérieur de la « boîte noire » du raisonnement de l'IA. Cela nous permet de voir, étape par étape, quelles parties de la pensée de l'IA ont réellement conduit à la réponse et quelles parties n'étaient que du bruit. Cela nous aide à comprendre si l'IA raisonne véritablement ou si elle invente des choses au fur et à mesure qu'elle avance.

Résumé technique : Attribution causale locale du raisonnement par chaîne de pensée (Chain-of-Thought)

Énoncé du problème

Le succès des modèles de raisonnement de grande taille (LRM) repose largement sur le raisonnement par chaîne de pensée (CoT - Chain-of-Thought), où les modèles génèrent de longues séquences d'étapes intermédiaires. Cependant, la fidélité de ces chaînes de pensée verbalisées par rapport au processus de raisonnement latent sous-jacent du modèle demeure une préoccupation critique. La recherche indique que le texte de la CoT peut parfois ignorer les manipulations d'entrée ou construire des justifications élaborées mais fausses, notamment lorsque les modèles sont confrontés à des indices erronés. Bien que des travaux antérieurs aient exploré les structures causales au niveau des représentations internes (boîte blanche) ou des distributions sur les trajectoires de raisonnement (via le rééchantillonnage), il existe un besoin pour des méthodes locales et efficaces afin d'analyser les relations causales au sein d'une trace de CoT spécifique. Les méthodes existantes de type boîte noire se concentrent souvent sur l'attribution au niveau de la réponse ou ne parviennent pas à rendre compte de l'impact des étapes intermédiaires sur les étapes de raisonnement suivantes.

Méthodologie : AttriCoT

Les auteurs proposent AttriCoT, une méthode de boîte noire pour estimer les attributions causales locales au sein d'une trace de CoT spécifique. L'approche est fondée sur un modèle de causalité structurelle (SCM) et opère avec une complexité computationnelle linéaire par rapport au nombre d'unités de raisonnement.

1. Formulation du modèle de causalité structurelle

La méthode traite une trace de CoT et son entrée comme une séquence d'« unités » ( $x_1, \dots, x_S$ pour l'entrée ; $y_1, \dots, y_T$ pour les étapes de sortie et la réponse finale). L'hypothèse centrale est une propriété auto-régressive où la probabilité logarithmique de générer une unité $y_t$ dépend de la présence ou de l'absence d'unités antérieures.

Scalarisation : L'unité $y_t$ est scalarisée à l'aide de sa probabilité logarithmique conditionnelle : $S_t(y_t) = \log P(y_t | x, y_{<t})$ .
Équation structurelle linéaire : L'influence des unités antérieures est modélisée via une équation linéaire :
$S_t(y_t) = \sum_{s=1}^S \alpha_{s,t} I(x_s) + \sum_{\tau=1}^{t-1} \beta_{\tau,t} I(y_\tau) + \gamma_t + u_t$
Ici, $I(\cdot)$ sont des fonctions indicatrices (1 si présente, 0 si supprimée), et les coefficients $\alpha_{s,t}$ et $\beta_{\tau,t}$ représentent respectivement l'importance causale de l'entrée et des unités de sortie antérieures.

2. L'algorithme AttriCoT

L'algorithme estime ces coefficients à travers trois étapes :

Intervention : La méthode effectue des interventions en supprimant des unités spécifiques de la séquence. La stratégie par défaut est le « Leave-One-Out » (LOO - laisser un élément dehors), qui consiste à supprimer une unité à la fois ( $N = S + T$ interventions). Une variante améliorée (« AttriCoT-2x ») inclut des interventions de type « Leave-Two-Out ».
Mesure : Pour chaque séquence perturbée, le modèle effectue une passe avant (forward pass) pour calculer les probabilités logarithmiques des unités de sortie restantes. Le changement de probabilité logarithmique pour une unité cible $y_t$ sert de valeur cible pour la régression.
Régression : Une régression linéaire (avec régularisation L1 optionnelle) est ajustée pour estimer les coefficients $\alpha$ et $\beta$ . Ce processus nécessite $O(N)$ passes avant, maintenant une complexité linéaire par rapport au nombre d'unités.

3. Métrique d'évaluation

La qualité de l'attribution est évaluée par la fidélité comportementale, mesurée par l'aire sous la courbe de perturbation (AUPC).

Procédure : Les unités antérieures sont classées par leurs scores d'attribution. Les $k$ premières unités sont supprimées, et la diminution résultante de la probabilité logarithmique de l'unité cible est mesurée.
Métrique : L'AUPC agrège ces diminutions à mesure que $k$ varie de 0 à 20 % des unités antérieures. Un AUPC plus élevé indique que la méthode d'attribution identifie correctement les unités qui sont causalement critiques pour la génération des étapes suivantes.

Contributions clés

Cadre AttriCoT : La proposition d'une méthode d'explication de boîte noire, locale, qui attribue les étapes de CoT aux unités antérieures en utilisant un modèle de causalité structurelle, nécessitant seulement un nombre linéaire de passes avant ( $O(S+T)$ ).
Fidélité supérieure : Des preuves empiriques démontrant qu'AttriCoT produit des attributions plus fidèles au comportement du modèle que les méthodes alternatives, incluant le masquage phrase par phrase (Thought Anchors) et les bases de référence par prompting.
Métriques analytiques : L'introduction de métriques dérivées des matrices d'attribution (par exemple, densité de score, influence moyenne, ratio d'entrée) pour révéler les différences structurelles de raisonnement à travers les modèles et les domaines.

Résultats expérimentaux

La méthode a été évaluée sur 5 jeux de données (GSM8K, MATH500, GPQA-Diamond, MMLU-Pro, ZebraLogic) et 4 modèles de raisonnement (DS-Llama-8B, DS-Qwen-14B, DS-Qwen3-8B, Qwen3-8B).

Performance : AttriCoT a systématiquement obtenu les scores AUPC les plus élevés sur tous les modèles et jeux de données. Sur GSM8K, il a montré des améliorations de 15 à 30 % par rapport à Thought Anchors et de 70 à 165 % par rapport aux bases de référence par prompting.
Efficacité : Contrairement aux méthodes basées sur le rééchantillonnage, AttriCoT évite le coût computationnel élevé de la génération de nouvelles trajectoires de CoT, en s'appuyant plutôt sur des passes avant non génératives.
Analyse comparative :
- Thought Anchors : Bien que compétitif, Thought Anchors (qui utilise la divergence KL sur les distributions de tokens) est généralement moins performant qu'AttriCoT, probablement parce qu'il ne mesure pas l'impact direct sur la probabilité logarithmique de l'unité générée de la même manière locale.
- Prompting : Demander à des LLM de classer les unités (même avec l'apprentissage en contexte/In-Context Learning) a donné des scores de fidélité nettement inférieurs.
- Attention (Boîte blanche) : Une méthode exploratoire de boîte blanche intervenant sur les poids d'attention a montré un potentiel mais n'a pas surpassé les méthodes d'intervention causale.

Analyse des structures de raisonnement

En analysant les matrices d'attribution, les auteurs ont observé des motifs distincts :

Déclin de l'influence : L'importance diminue généralement rapidement avec la distance entre les étapes, mais s'aplatit en une longue traîne.
Dépendance à l'entrée : La métrique du « Ratio d'entrée » révèle que les modèles dépendent fortement des unités d'entrée au début d'une trace. Curieusement, cette dépendance augmente souvent à nouveau dans les phases médianes à tardives (autour de 50–80 % de la trace), suggérant que les modèles se réfèrent à nouveau au contexte d'entrée pour vérifier ou finaliser les réponses.
Différences entre modèles : Les modèles plus grands ou distillés (par exemple, DS-Llama-8B) ont présenté des densités de score plus élevées et des motifs d'influence différents par rapport à leurs homologues non distillés, indiquant des variations structurelles dans leur manière de traiter le raisonnement.

Signification et affirmations

L'article affirme que traiter les traces de CoT comme des objets causaux fournit un cadre vital pour la transparence et la sécurité. En décomposant une trace en unités définies par l'utilisateur et en ajustant des équations structurelles, AttriCoT offre un moyen efficace sur le plan computationnel de comprendre pourquoi des étapes de raisonnement spécifiques sont produites et si le raisonnement intermédiaire est conséquent.

Les auteurs soulignent que leur travail traite du niveau « local » de la causalité (traces spécifiques) plutôt que des mécanismes internes ou des distributions de trajectoires. Ils concluent que les matrices d'attribution résultantes révèlent des motifs suggestifs, tels que l'influence spéciale des étapes initiales et finales et la tendance des modèles à revisiter les entrées lors de la vérification. Les auteurs reconnaissent des limites, notamment l'expressivité des équations structurelles linéaires et la simplicité de l'intervention LOO par défaut, positionnant les travaux futurs vers le développement de méthodes de boîte blanche peu coûteuses et l'étude de la dépendance des structures de raisonnement vis-à-vis des familles de modèles et de la difficulté des problèmes.