Résumé technique : Détection parfaite, contrôle défaillant

Énoncé du problème

L'article étudie une aspiration centrale de l'interprétabilité mécaniste : la croyance selon laquelle si un comportement peut être détecté dans les activations d'un modèle, il peut être contrôlé en modifiant ces mêmes activations. Ce paradigme repose sur une prémisse géométrique cachée — à savoir que la direction dans le flux résiduel qui détecte le mieux un comportement est la même (ou très proche) que la direction qui le contrôle (dirige) le mieux.

Les auteurs contestent cette prémisse en posant une question géométrique précise : quel est l'angle entre la direction qui discrimine le mieux un comportement et la direction qui le cause le mieux ? Si la détection implique le contrôle, l'angle devrait être proche de $0^\circ$ (cosinus $\approx 1$). Si ce n'est pas le cas, l'angle quantifie un « écart de détection-intervention ». L'article teste cette hypothèse sur deux comportements contrastés : le format de sortie (un choix de rendu) et l'hallucination (la fabrication de faits sur des entités inexistantes).

Méthodologie

L'étude emploie une analyse au moment de l'inférence sur Gemma 2-2B-it (26 couches, flux résiduel de 2304 dimensions) et reproduit les résultats sur trois autres modèles (Llama-3.2-1B, Qwen-2.5-1.5B, Gemma 2-9B). Aucun ajustement fin (fine-tuning) n'est effectué ; toutes les interventions sont des manipulations causales par ajout d'activation.

Mesures centrales

1. Construction de la direction :
   • Direction de détection ($d_{det}$) : Construite de deux manières :
     • Pilotée par les données : Différence de moyennes (DiM) des activations résiduelles entre les prompts d'entités « fausses » et « réelles ».
     • Choisie manuellement : Contraste des lignes de la matrice de désincorporation ($W_{lm\_head}$) entre les jetons typiques de l'incertitude (ex: « Malheureusement ») et les jetons typiques de la fabrication (ex: « Le », « Paris »).
   • Direction d'intervention ($d_{ref}$) : Choisie manuellement dans $W_{lm\_head}$ en contrastant les jetons de refus (ex: « Non », « ne peut pas ») contre les jetons de conformité.
2. Métrique géométrique : La similitude cosinus ($\cos$) entre $d_{det}$ et $d_{ref}$.
3. Validation causale : Les directions sont ajoutées au flux résiduel à des couches spécifiques ($\alpha \cdot d$) pour mesurer le changement de comportement (ex: taux de refus).
4. Décomposition du signal : Le flux résiduel est décomposé en contributions d'attention et de MLP pour localiser où réside le signal de détection.
5. Replication inter-modèles : Le fossé géométrique est mesuré sur quatre modèles de différentes échelles et familles pour tester la généralité.

Résultats clés

1. Le cas aligné : Format de sortie

Pour la tâche consistant à basculer entre le balisage markdown et un JSON propre, la détection et le contrôle s'effondrent sur un axe unique.

• La direction dérivée de $W_{lm\_head}$ qui sépare le balisage du contenu propre est identique à la direction qui, lorsqu'elle est ajoutée, élimine le balisage.
• Résultat : $\cos \approx 1$. La détection implique le contrôle. Cela sert de base de référence « superposition » où le comportement est un choix de rendu séparable.

2. Le cas divergent : Hallucination

Pour l'hallucination (fabrication de faits sur des entités inexistantes), la prémisse échoue complètement.

• Détection parfaite : Le modèle détecte les entités fausses avec une séparabilité linéaire parfaite ($AUC = 1.000$) à partir de la couche 5 en utilisant plusieurs méthodes (sondes linéaires, têtes d'attention, caractéristiques SAE).
• Contrôle défaillant : La direction qui détecte le mieux l'hallucination est presque orthogonale à la direction qui provoque le refus.
  • Cosinus : $\cos(d_{det}, d_{ref}) \approx 0.12$ (angle $\approx 83^\circ$).
  • Écart inter-méthodes : Même une direction de détection construite uniquement à partir des activations (DiM, sans jetons choisis manuellement) présente un $\cos \approx -0.06$ par rapport à la direction d'intervention.
• Conséquence : Ajouter la direction de détection parfaite au flux résiduel n'induit pas le refus ; dans certains cas, cela augmente la fabrication. Le signal existe mais ne route pas vers l'action de sortie.

3. Causes structurelles de l'écart

• Dominance de la copie d'entité : Dans la cartographie de sortie, la composante du flux résiduel orthogonale à la direction de détection est dominée par un mécanisme de « copie d'entité » (amplifiant le nom de l'entité saillante). Cette composante est environ $12\times$ plus grande que le signal de détection, noyant ainsi efficacement le signal d'incertitude épistémique.
• MLP vs Attention : Le signal de détection est porté presque exclusivement par les couches MLP ($5.66\times$ plus que l'attention) dans les couches tardives (L18–L25). Les couches d'attention à L17+ sont dispensables pour ce signal ; les supprimer améliore en fait l'honnêteté.
• Ajustement d'instructions (Instruction Tuning) : L'écart géométrique ($\cos \approx 0.12$) est présent dans le modèle de base et reste inchangé après l'ajustement d'instructions. L'ajustement déplace la position des activations le long de l'axe de détection fixe (faisant en sorte que les faux se projettent comme étant plus incertains) mais ne modifie pas l'angle entre les directions de détection et d'intervention.

4. Atténuation partielle via la rotation

Parce que les directions sont presque orthogonales, les auteurs ont tenté de combler l'écart en faisant pivoter le vecteur d'intervention.

• Méthode : Une rotation de $15^\circ$ de la direction de détection vers la direction d'intervention ($d_{rot} = \cos(15^\circ)d_{det} + \sin(15^\circ)d_{ref}^\perp$).
• Résultat : Sur un test de stress sur données non vues, cette rotation a augmenté les taux de refus pour les hallucinations subtiles (Type 2) de 13 % à 60 %, avec un taux de faux positifs de seulement 1,8 %. Cela confirme que l'écart possède une structure géométrique qui peut être partiellement comblée, bien qu'il ne s'agisse pas d'une solution complète.

5. Généralité inter-modèles

L'écart géométrique est robuste à travers quatre modèles (Gemma 2-2B, Gemma 2-9B, Llama-3.2-1B, Qwen-2.5-1.5B) :

• Plage de cosinus : $\cos \in [0.12, 0.20]$ (angles $78^\circ$–$83^\circ$).
• Invariant : L'écart existe indépendamment du tokenizer (SentencePiece vs BPE) ou de l'échelle du modèle (1B–9B).
• Spectre comportemental : Malgré une géométrie identique, les résultats comportementaux varient :
  • Gemma : Détecte parfaitement mais fabrique.
  • Llama : Détecte parfaitement et refuse (l'action se produit via un chemin séparé, non mesuré).
  • Qwen : Comportement mixte.
  • Conclusion : La géométrie décrit la dissociation entre savoir et diriger, mais ne prédit pas le comportement par défaut du modèle.

Signification et affirmations

L'article établit une dissociation fonctionnelle entre « savoir » (détection) et « diriger » (contrôle) dans les modèles de langage.

1. La détection n'est pas le contrôle : La séparabilité linéaire parfaite d'un comportement (ex: savoir qu'une entité est fausse) ne garantit pas que la direction de détection puisse être utilisée pour contrôler ce comportement. Les deux facultés occupent des sous-espaces presque orthogonaux dans le flux résiduel.
2. Le cosinus est une signature, pas un oracle : Le cosinus entre les directions de détection et d'intervention est une signature robuste et calculable par les poids de cette dissociation. Cependant, les auteurs rejettent explicitement l'idée que ce cosinus serve de prédicteur a priori de la capacité de pilotage. Un cosinus élevé (comme pour le format) est un cas exceptionnel où un seul vecteur remplit les deux rôles ; un cosinus faible indique un écart structurel, mais l'existence de cet écart n'implique pas que le comportement est impossible à piloter (comme le montre l'expérience de rotation).
3. Origine structurelle : L'écart est établi lors du pré-entraînement et est invariant à l'ajustement d'instructions. Il provient du fait que la cartographie de sortie est dominée par des mécanismes (comme la copie d'entité) qui sont orthogonaux au signal épistémique.
4. Limites du pilotage linéaire : Les résultats suggèrent que pour des comportements complexes comme l'hallucination, l'ajout simple d'activation le long d'un seul vecteur de « détection » est insuffisant. Un pilotage efficace peut nécessiter de naviguer dans le sous-espace de haute dimension de la détection ou de pivoter vers la direction d'intervention, en reconnaissant que la détection est une classe de directions, et non un vecteur unique.

L'article conclut que si l'interprétabilité mécaniste peut parfaitement lire les états internes, écrire dans ces états pour altérer le comportement nécessite de comprendre le routage géométrique spécifique entre les signaux épistémiques et les actions de sortie, qui sont souvent structurellement découplés.