Résumé Technique : Décodable mais Non Corrigé par un Guidage Linéaire Fixe du Flux Résiduel

Énoncé du Problème

Ce papier examine un écart critique dans l'interprétabilité et le contrôle des Grands Modèles de Langage (LLM) : l'écart classification-correction. Alors que des travaux antérieurs ont démontré que des états comportementaux spécifiques (par exemple, le refus, le sentiment) peuvent être linéairement décodés à partir des états cachés et corrigés par un guidage d'activation, il reste à déterminer si cela s'applique aux échecs complexes de raisonnement multi-étapes. Les auteurs se concentrent sur un régime d'échec spécifique dans le domaine des questions-réponses médicales (MedQA) appelé Surpenser (OT), où les modèles produisent fréquemment des réponses correctes lors de l'échantillonnage mais échouent lors de la génération de traces étendues de chaîne de pensée (CoT). La question centrale est : Si un mode d'échec est linéairement décodable dans les états cachés, peut-on utiliser des vecteurs de guidage linéaire fixes pour le corriger ?

Méthodologie

1. Identification du Régime Comportemental (Surpenser)

Les auteurs définissent le Surpenser (OT) comme un construit comportemental où :

• Le modèle répond correctement dans $\ge$60 % des traces échantillonnées (indiquant que la connaissance est présente).
• Le modèle produit une réponse incorrecte dans des traces de raisonnement long (>200 tokens).
• Ce régime est distinct du Déficit de Connaissances (KD) (erreurs factuelles) et de la Rupture de Chaîne de Raisonnement (RCB) (faits valides, logique invalide).
• L'OT est identifié avec une grande stabilité (Jaccard $\ge$0,81 sous perturbation de seuil, 94 % d'accord inter-annotateurs).

2. Analyse Géométrique

En utilisant Llama-3.1-8B-Instruct et Qwen2.5-7B-Instruct, les auteurs ont extrait des états cachés de 12 000 traces (2 000 par mode d'échec + 6 000 traces correctes appariées).

• Vecteurs Contrastifs : Calculés comme la différence normalisée entre les états cachés moyens des traces correctes et des modes d'échec spécifiques ($v = \bar{h}_{correct} - \bar{h}_{mode}$).
• Classification : Des sondes linéaires ont été entraînées pour distinguer les traces OT des traces non-OT.
• Décomposition de la Spécificité : Les auteurs ont calculé le ratio de spécificité pour déterminer quelle part du vecteur contrastif est unique au mode d'échec par rapport aux directions générales "incorrect-vs-correct".
• Validation Trans-Architecture et Trans-Domaine : Une validation a été effectuée sur Qwen2.5-7B et le domaine MMLU-STEM pour tester la généralisabilité.

3. Expériences de Guidage d'Activation

Les auteurs ont testé cinq familles d'interventions de guidage linéaire fixe sur l'ensemble de test Llama-3.1-8B ($n=1\,273$) et Qwen2.5-7B ($n=1\,273$) :

1. Guidage Contrastif : Ajout de $\alpha \cdot v$ aux couches de pic.
2. Guidage Guidé par Sonde : Utilisation des vecteurs de poids de la sonde plutôt que des vecteurs contrastifs.
3. Guidage Multi-couches : Application des vecteurs sur 1, 3 ou 5 couches.
4. Guidage par Sous-espace de Rang-k : Guidage au sein de sous-espaces engendrés par les vecteurs singuliers principaux.
5. Guidage en Fin de Prompt : Utilisation de vecteurs dérivés du prompt (pré-génération) pour éviter la contamination de la réponse.

• Effacement de Concept : Une intervention complémentaire projetant la direction d'échec pour tester l'entanglement causal.
• Contrôles : Un contrôle de guidage de refus a vérifié l'infrastructure ; des balayages de température et des évaluations à température identique ont exclu les décalages distributionnels comme cause principale de l'échec.

4. Fiabilité Post-Génération

Les auteurs ont évalué si la structure décodable pouvait soutenir une abstention sélective (refus de répondre lorsque la sonde prédit une faible confiance) comme alternative à la correction.

Résultats Clés

1. L'Écart Classification-Correction

• Décodabilité : L'OT est linéairement décodable avec une précision équilibrée de 71,6 % ($p \approx 10^{-16}$) sur Llama-3.1-8B. Ce signal est robuste à la régression de longueur et aux perturbations de seuil.
• Échec du Guidage : Malgré une haute décodabilité, toutes les 29 configurations de guidage linéaire fixe à travers les cinq familles de méthodes ont produit un $\Delta \approx 0$ (aucune amélioration significative de la précision).
  • Guidage spécifique au mode : $\Delta = -0,2$ pp.
  • Guidage multi-couches : $\Delta \approx 0$.
  • Guidage en fin de prompt : $\Delta \approx 0$.
• Cohérence Trans-Architecture : Le résultat nul s'est maintenu pour Qwen2.5-7B (9 configurations) et MMLU-STEM (4 configurations).

2. Preuve d'Entanglement Représentationnel

L'échec du guidage est attribué à un entanglement représentationnel entre le signal d'échec et le calcul critique de la tâche :

• Faible Spécificité : Le ratio de spécificité spécifique à l'OT est seulement de 0,119 (Llama) et 0,152 (Qwen). Cela signifie que ~88 % du signal contrastif s'aligne avec la direction partagée "incorrect-vs-correct".
• Dommage Causal :
  • Le guidage de direction partagée (appliquer la direction incorrecte partagée) a gravement endommagé la précision ($\Delta = -12,1$ pp).
  • Effacement de Concept : La suppression de la direction OT via une projection par différence de moyennes a endommagé la précision ($\Delta = -3,6$ pp, $p=0,01$), alors que 10 directions aléatoires n'ont produit aucun dommage ($\Delta = +0,3$ pp). Cela confirme que la direction OT est causalement entanglée avec le raisonnement correct, et non seulement corrélée.
• Non-Corrélation par Instance : La corrélation entre la confiance de la sonde et l'effet du guidage est de $r = -0,002$ ($p=0,97$), indiquant que savoir quand un modèle surpense ne prédit pas comment le guider.

3. Résultat Positif : Abstention Sélective

Bien que le guidage ait échoué, la structure décodable a permis une estimation de fiabilité post-génération :

• Une sonde de correction a atteint un AUROC de 0,610 sur l'ensemble de test retenu, surpassant significativement cinq baselines d'incertitude à passage unique (meilleure baseline AUROC = 0,569, $\Delta = 0,041$, $p=0,009$).
• Abstention Sélective : En s'abstenant sur les prédictions de faible confiance, le modèle a atteint un gain de précision de +5,5 pp à 60 % de couverture.
• Comparaison avec la Cohérence de Soi : Bien que le vote majoritaire (Cohérence de Soi) corrige 100 % des erreurs OT, il nécessite un coût de génération 10 fois supérieur. La sonde offre une alternative à passage unique et rentable pour l'estimation de fiabilité.

4. Interventions Non-Linéaires

Une expérience préliminaire utilisant un MLP non-linéaire appris (adaptateur résiduel) a permis une amélioration modeste mais significative ($\Delta = +2,8$ pp, $p=0,025$). Cela suggère que l'écart n'est pas absolu mais spécifique aux interventions linéaires fixes ; des transformations non-linéaires peuvent partiellement désintriquer le sous-espace partagé.

Signification et Revendications

Le papier revendique fournir des preuves mécanistiques de l'échec du guidage d'activation dans les régimes de raisonnement multi-étapes, allant au-delà de la simple documentation du phénomène.

1. Explication Géométrique : Les auteurs soutiennent que l'écart classification-correction découle du fait que les signaux d'échec dans les tâches de raisonnement sont entangled avec le calcul pertinent pour la tâche. Contrairement au refus (qui a un ratio de spécificité de 0,999 et est guidable), le signal OT partage ~88 % de sa direction avec le chemin de raisonnement correct.
2. Asymétrie Observation-Intervention : L'étude démontre que la décodabilité n'implique pas la guidabilité. Un signal peut être statistiquement lisible par une sonde (observation) sans être causalement actionnable par une perturbation additive (intervention) car la perturbation perturbe inévitablement le calcul de tâche partagé.
3. Valeur Opérationnelle du Sondage : Même lorsque le guidage échoue, la structure décodable a une utilité pour l'estimation de fiabilité (abstention sélective), offrant un outil pratique pour le déploiement là où la correction est impossible.
4. Cadre Diagnostique : Les auteurs proposent un Profil d'Accessibilité Linéaire (LAP) et un ratio de spécificité comme diagnostics pré-intervention. Ils suggèrent que si une direction a une faible spécificité (<0,21) et un fort chevauchement avec le calcul de tâche, le guidage linéaire fixe a peu de chances de réussir.

Le papier conclut que si l'écart "classification-correction" est un phénomène empirique robuste dans le raisonnement médical, il pourrait être partiellement comblé par des interventions non-linéaires apprises capables de désintriquer les directions partagées, une piste pour les travaux futurs.