Résumé technique : Interprétabilité et fidélité de la chaîne de pensée en cas de conflit de connaissances

Énoncé du problème

Lorsque les grands modèles de langage (LLM) rencontrent un document contredisant leurs connaissances paramétriques issues de l'entraînement, ils doivent choisir entre suivre le document ou faire confiance à leurs connaissances internes. Des recherches antérieures ont établi que cette décision est pilotée par la « notoriété » de l'entité (nombre de vues de la page Wikipédia), les faits célèbres étant résistés tandis que les faits obscurs sont suivis. Cependant, les praticiens s'appuient de plus en plus sur le raisonnement par chaîne de pensée (CoT) pour comprendre pourquoi un modèle a pris une décision spécifique.

Le problème central abordé est la fidélité introspective : le raisonnement CoT énoncé reflète-t-il avec précision le mécanisme réel de prise de décision ? Plus précisément, lorsqu'un modèle inverse sa décision sur la même question (par exemple, passer du suivi d'un leurre à sa résistance), le texte de raisonnement change-t-il pour refléter cette nouvelle décision, ou s'agit-il d'une « démonstration de connaissances » statique qui se contente d'être enveloppée dans différentes phrases d'attribution ? Si le CoT n'est qu'une rationalisation a posteriori plutôt qu'un rapport causal, les systèmes de surveillance reposant sur des arguments logiques peuvent offrir une fausse confiance.

Méthodologie

L'étude emploie une sonde comportementale sur 200 questions factuelles (issues du jeu de données PopQA) et 8 modèles (incluant GPT-4o, Claude Sonnet 4.6, Gemini 2.5, des variantes de DeepSeek et Llama 4 Maverick).

Conception expérimentale

• Paradigme de conflit de connaissances : Les éléments ont été répartis en niveaux de haute certitude (entités célèbres) et de faible certitude (entités obscures). Chaque élément comprenait un leurre plausible mais incorrect.
• Conditions de prompt :
  • C1/C2 (Conflit multi-tours) : Le modèle répond à une question, reçoit un document contradictoire, puis doit raisonner étape par étape, évaluer sa confiance (1–5) et fournir une réponse finale.
  • C3 (Document uniquement) : Le modèle répond uniquement sur la base du document (servant d'ancre de conformité).
  • C4 (Propres connaissances) : Le modèle est instruit de prioriser ses propres connaissances par rapport au document.
• Variantes de modèles : L'étude inclut des modèles à « raisonnement natif » (exposant les tokens de pensée internes) et leurs homologues « standards » (sortie destinée uniquement à l'utilisateur) afin d'isoler l'effet de la fonctionnalité de raisonnement.
• Contrôles : Des ablations de température appariées (par exemple, GPT-4o à $T=1$) ont été utilisées pour écarter la température en tant que facteur confondant des anomalies observées.

Mesures analytiques

1. Cohérence du raisonnement : La similarité cosinus (utilisant all-MiniLM-L6-v2) et les scores ROUGE-L ont été calculés entre les textes CoT de « paires d'inversion » (où le modèle donne des réponses opposées sur le même élément) par rapport aux « paires de même réponse ». Les phrases d'attribution (par exemple, « le document dit ») ont été retirées pour isoler le contenu substantif.
2. Calibration de la confiance : Des corrélations ont été testées entre la confiance auto-évaluée et (a) la saillance de l'entité ($spop$) et (b) la justesse de base (si le modèle connaissait le fait avant le conflit).
3. Cohérence comportementale : Une régression logistique par équations d'estimation généralisées (GEE) a testé si la confiance prédit indépendamment la décision de suivre ou de résister, en contrôlant la notoriété de l'entité.
4. Attribution de source : Analyse des réponses « SUIVRE » pour détecter la confabulation (invention de faits pour justifier le suivi d'un leurre).

Résultats clés

1. Cohérence du raisonnement : le phénomène d'« inversion »

Lorsque les modèles arrivaient à des conclusions opposées sur la même question, leur raisonnement étape par étape restait très similaire.

• Similarité : Les paires d'inversion conservaient 96 % de la similarité trouvée dans les paires de même réponse (similarité cosinus 0,784 contre 0,817 ; $d=0,34$).
• Implication : La majeure partie du CoT est une « démonstration de connaissances » statique (récitation de faits sur l'entité) qui ne change pas avec la décision. Seule l'attribution finale ou le cadrage change.
• Exception : GPT-4o était le seul modèle montrant un delta négatif statistiquement fiable ($\Delta = -0,132$), ce qui signifie que son raisonnement changeait véritablement lorsque sa décision s'inversait. Pour les autres modèles, l'argument logique est effectivement invariant par rapport à la décision.

2. La confiance comme signal authentique

Alors que le récit logique restait stable, la confiance auto-évaluée montrait un signal introspectif faible mais authentique.

• Connaissance au niveau de l'élément : Dans le niveau de faible certitude, la notoriété de l'entité ($spop$) ne prédisait pas la confiance ($\rho = -0,005$). Cependant, la justesse de base (si le modèle connaissait réellement le fait) prédisait faiblement la confiance ($r = 0,134, p < 0,001$).
• Prédiction de la décision : Une confiance plus faible prédisait une probabilité plus élevée de suivre le leurre ($coef = -0,475, p < 0,001$). Cela établit une voie au niveau de l'élément : connaît le fait $\rightarrow$ confiance plus élevée $\rightarrow$ résiste au leurre.
• Spécificité du modèle :
  • GPT-4o : Montrait un couplage statistiquement fiable entre le raisonnement et la décision.
  • Claude Sonnet 4.6 : Présente une « anomalie Claude ». Sa corrélation globale confiance-décision était proche de zéro ($r \approx 0$) car la relation s'inversait selon les conditions. Dans le cadrage « propres connaissances », il suivait les leurre avec une haute confiance, annulant ainsi la corrélation négative observée dans les conditions de conflit. Cela suggère que Claude suit le cadrage des instructions plutôt que son état de connaissance interne.

3. Raisonnement interne vs raisonnement énoncé

Pour les modèles à raisonnement natif, les tokens de pensée internes montraient une plus grande sensibilité à la décision que le CoT destiné à l'utilisateur.

• Les tokens internes sur les paires d'inversion étaient moins similaires ($0,709$) que les sorties énoncées ($0,787$), un écart significatif ($p=0,033$).
• Cela suggère que la sortie destinée à l'utilisateur « lisse » les différences préservées dans le processus interne, probablement pour présenter un récit cohérent.

4. Confabulation

Parmi les modèles qui suivaient les leurre, Llama 4 Maverick était un cas aberrant clair, présentant 15,2 % de confabulation (fabrication de faits spécifiques, par exemple un village inexistant, pour valider le leurre). Les autres modèles affichaient des taux inférieurs à 6,3 %.

Signification et affirmations

L'article prétend fournir le premier test direct de savoir si le raisonnement énoncé suit le moteur empirique des décisions en cas de conflit de connaissances. Ses contributions principales sont :

1. Décomposition du CoT : L'étude décompose le CoT en deux fonctions distinctes :
   • Fonction 1 (Démonstration de connaissances) : Une récitation stable des connaissances paramétriques qui reste presque identique quelle que soit la décision finale.
   • Fonction 2 (Justification de la décision) : Une fine couche d'attribution et de scores de confiance qui s'ajuste à la décision.
2. Implications pour la surveillance : Les auteurs soutiennent que, pour la surveillance de la sécurité et l'audit, les arguments logiques sont la mauvaise métrique à lire car ils sont souvent invariants par rapport à la décision. À la place, la confiance exprimée (et les atténuations) est l'endroit où réside le signal authentique de la connaissance de soi, bien qu'il soit faible et sujet à des problèmes de calibration spécifiques au modèle (comme l'anomalie Claude).
3. Limites de l'introspection : L'article conclut modestement que les modèles ne possèdent qu'une métacognition « modeste » au niveau de l'élément. Bien qu'ils puissent distinguer les faits connus des inconnus légèrement mieux que par hasard, leurs scores de confiance sont fortement influencés par la notoriété de l'entité et le cadrage des instructions plutôt que par un état interne précis.

L'étude ne revendique pas une fidélité causale mais établit une cohérence corrélative entre les signaux comportementaux et un prédicteur validé ($spop$ et justesse de base), suggérant que les sorties CoT actuelles servent souvent de rationalisations a posteriori plutôt que de rapports transparents du mécanisme de décision.