Résumé technique : Détection de la chaîne de pensée non fidèle via une divergence interne-externe guidée par les circuits

1. Définition du problème

Le raisonnement en chaîne de pensée (CoT) permet aux grands modèles de langage (LLM) de générer des étapes textuelles intermédiaires avant de produire une réponse finale, améliorant considérablement les performances sur des tâches complexes. Cependant, un problème critique survient lorsque ces traces de raisonnement générées ne reflètent pas fidèlement le processus de décision interne réel du modèle. Alors que les méthodes de détection existantes se concentrent sur des signaux externes — tels que la plausibilité textuelle, la cohérence des réponses ou les interventions contrefactuelles — elles négligent souvent les preuves issues du calcul interne du modèle.

Ce papier aborde deux défis principaux :

1. Défi 1 : Comment détecter le manque de fidélité du CoT en utilisant des preuves issues du processus de décision interne du modèle plutôt que de se fier uniquement à la qualité du raisonnement de surface.
2. Défi 2 : Comment exploiter les signaux d'interprétabilité interne pour la détection sans engendrer le coût computationnel prohibitif de la construction de circuits de raisonnement complets pour des traces CoT longues.

L'objectif est la détection au niveau de l'instance : déterminer si une trajectoire CoT générée spécifique $C$ reflète fidèlement le processus de raisonnement interne du modèle $R_M(q)$ pour une requête donnée $q$.

2. Méthodologie : CIE-SCORER

Les auteurs proposent le CIE-SCORER (Scoring de la divergence interne-externe guidé par les circuits), un cadre qui quantifie le manque de fidélité en mesurant l'écart entre la trace de raisonnement affichée et la trajectoire computationnelle interne du modèle.

2.1 Construction de circuits à étapes sélectionnées par token

Pour répondre au défi de l'évolutivité du traçage complet des circuits, CIE-SCORER opère au niveau de la phrase plutôt qu'au niveau du token pour l'ensemble de la trace.

• Sélection de tokens : Au lieu de tracer tous les tokens d'une phrase de raisonnement, la méthode sélectionne un ensemble compact de tokens informatifs. Cela est réalisé en combinant :
  • Sélection basée sur l'entropie : Identification des tokens à forte incertitude (entropie élevée), susceptibles de porter des informations pertinentes pour le raisonnement.
  • Nécessité contrefactuelle : Mesure de l'impact causal d'un token en intervenant dessus (en le remplaçant) et en observant les changements tant dans le contenu sémantique de la phrase que dans la distribution prédictive en aval.
• Graphes de circuits compressés : En utilisant les tokens sélectionnés comme ancres, la méthode construit des circuits d'attribution au niveau de la phrase via un modèle de remplacement basé sur un transcodeur. Cela produit une séquence de graphes compacts $G^{circ} = (G^{circ}_1, \dots, G^{circ}_T)$ représentant le calcul interne pour chaque étape de raisonnement.

2.2 Représentations internes et externes

Le cadre construit deux représentations parallèles pour la trace de raisonnement :

• Représentation interne : La séquence de graphes de circuits au niveau de la phrase est encodée en plongements latents ($X^{int}$) à l'aide d'un réseau de neurones à graphes (GNN). Ces plongements capturent la trajectoire computationnelle en boîte blanche du modèle.
• Représentation externe : Les phrases de raisonnement affichées sont encodées en plongements ($X^{ext}$) en moyennant les états cachés d'une couche intermédiaire du LLM. Un adaptateur MLP léger projette ces plongements dans la même dimensionnalité que les plongements internes.

2.3 Score de divergence de graphes

Les deux représentations sont converties en graphes de phrases au niveau de la trace ($G^{int}$ et $G^{ext}$) en utilisant une règle de construction partagée. Les nœuds représentent les phrases de raisonnement et les arêtes encodent la progression temporelle et les dépendances sémantiques.

• Distance Fused Gromov–Wasserstein (FGW) : Le score de manque de fidélité est calculé comme la distance FGW entre les graphes internes et externes. Cette métrique considère conjointement :
  • Discrépance des caractéristiques : Si le contenu d'une étape affichée correspond à sa preuve computationnelle interne.
  • Discrépance structurelle : Si les dépendances entre les étapes affichées correspondent à la structure du flux d'information interne.
• Objectif d'entraînement : Le modèle est entraîné avec une perte basée sur la marge pour minimiser la distance FGW pour les traces fidèles et la maximiser (au-delà d'une marge $m$) pour les traces non fidèles.

3. Contributions clés

1. Nouvelle perspective : Ce travail formule la détection du manque de fidélité du CoT sous l'angle d'une divergence interne-externe guidée par les circuits, représentant la première intégration du calcul interne du modèle avec les traces de raisonnement externes pour une analyse au niveau de l'instance.
2. Cadre efficace (CIE-SCORER) : Les auteurs proposent une méthode qui effectue un traçage de circuits à tokens sélectionnés, comprime les circuits au niveau de la phrase en plongements et les compare aux représentations externes en utilisant la distance FGW. Cette approche évite le coût de la construction de circuits complets tout en préservant les signaux internes clés.
3. Performances de pointe : Les expériences sur quatre ensembles de données du FaithCoT-Bench démontrent que CIE-SCORER surpasse les références existantes, y compris les méthodes basées sur le contrefactuel, les méthodes basées sur les logits, les approches LLM-as-Judge et les méthodes basées sur les circuits précédentes (CRV).

4. Résultats expérimentaux

L'évaluation a été menée sur quatre ensembles de données couvrant le raisonnement logique, factuel, mathématique et biomédical : LogicQA, TruthfulQA, AQuA et HLE-Bio.

• Performance : CIE-SCORER a obtenu les scores de précision (Accuracy) et de F1 les plus élevés sur tous les ensembles de données. Par exemple, sur l'ensemble de données LogicQA, il a amélioré la précision de 11,5 points et le F1 de 1,4 point par rapport à la référence précédente la plus forte.
• Efficacité : Par rapport à la référence CRV, CIE-SCORER a réduit l'utilisation maximale de la mémoire de 48,3 % à 55,2 % et les tokens tracés de 62,4 % à 68,6 %. Il a également obtenu des réductions significatives du temps d'exécution (par exemple, 67,6 % sur TruthfulQA) tout en améliorant les scores F1.
• Études d'ablation : Le retrait de la stratégie de sélection de tokens (en utilisant uniquement l'entropie ou uniquement les scores contrefactuels) ou le retrait de l'encodeur GNN interne a entraîné des baisses de performance significatives, confirmant la nécessité de l'intégration des deux signaux et de la modélisation de la structure du graphe.
• Transfert inter-domaine : Le modèle a démontré des capacités de transfert significatives, en particulier entre TruthfulQA et LogicQA, suggérant que les représentations de graphes internes apprises capturent des signaux de fidélité généralisables.

5. Signification et affirmations

Le papier affirme que CIE-SCORER répond efficacement à l'« illusion de transparence » du raisonnement CoT en combinant explicitement les signaux d'interprétabilité mécaniste avec les traces externes.

• Différenciation des types de manque de fidélité : L'analyse révèle que différents types de manque de fidélité présentent des motifs de mismatch distincts. Le raisonnement post-hoc (rationaliser une réponse prédéterminée) induit principalement des discrépances au niveau des caractéristiques (inadéquation du contenu), tandis que les chaînes de raisonnement fallacieuses (étapes localement cohérentes mais causalement brisées) induisent principalement des discrépances au niveau de la structure (inadéquation des dépendances).
• Évolutivité : En concentrant le traçage des circuits sur les tokens informatifs plutôt que sur tous les tokens, la méthode rend l'interprétabilité mécaniste réalisable pour les traces de raisonnement longues, surmontant ainsi un goulot d'étranglement majeur des approches précédentes.
• Fiabilité : Le cadre fournit un signal plus robuste pour l'audit du comportement du modèle que les métriques de surface, car il compare directement l'« histoire » que le modèle raconte (trace externe) avec le « calcul » qu'il effectue (circuit interne).

Les auteurs notent que la méthode nécessite un accès aux internals du modèle (boîte blanche), limitant son application immédiate aux modèles open-source ou accessibles, et laisse l'évaluation sur des domaines divers et des paramètres multimodaux pour un travail futur.