Résumé Technique : Faithful-Patchscopes

1. Énoncé du Problème

Les grands modèles de langage (LLM) ont démontré leur capacité à interpréter leurs propres représentations cachées internes via le cadre Patchscopes (Ghandeharioun et al., 2024). Ce cadre décode les états cachés en explications lisibles par l'humain en « patchant » une représentation source dans un prompt cible. Cependant, cet article identifie une limitation critique : une infidélité systématique dans ces explications.

Les auteurs observent que les LLM s'appuient souvent sur des motifs linguistiques inhérents (priors empiriques) plutôt que sur les informations contextuelles encodées dans les représentations cachées lors du processus de décodage. Par exemple, si une représentation cachée encode l'attribut « violet » pour « brocoli » (contrairement à l'association courante du brocoli avec le « vert »), le modèle ignore fréquemment l'attribut « violet » encodé et génère « vert » dans son explication. Ce comportement est induit par un biais du modèle provoqué par des motifs linguistiques déséquilibrés dans les données d'entraînement, où les associations à haute fréquence l'emportent sur les attributs contextuels à faible fréquence.

L'article soutient que les méthodes de débaisage existantes sont mal adaptées à Patchscopes :

• Le Fine-Tuning Supervisé (SFT) nécessite des ensembles de données annotés coûteux et modifie globalement les paramètres du modèle, changeant ainsi les représentations cachées originales que Patchscopes vise à expliquer.
• Les méthodes basées sur le prompt sont instables et très sensibles à la conception du prompt.
• Les interventions par vecteurs de pilotage (steering vectors) supposent que le biais existe dans des directions bien définies et linéairement séparables, ce qui est difficile à estimer de manière fiable.

2. Méthodologie

2.1. Jeu de Données et Analyse

Pour étudier systématiquement ce problème, les auteurs ont construit un jeu de données couvrant quatre tâches : Couleur, Genre, Culture et Âge.

• Sous-ensemble Biaisé : Contient des paires nom-attribut où le modèle présente une forte préférence pour un attribut primaire ($a_{pri}$) basé sur la fréquence linguistique (ex: brocoli $\rightarrow$ vert), tandis qu'un attribut secondaire ($a_{sec}$) est fourni contextuellement (ex: brocoli $\rightarrow$ violet).
• Sous-ensemble Non-biaisé : Contient des paires où aucune préférence linguistique forte n'existe.

Résultats :

• Lien Causal : Une analyse de régression logistique confirme que les motifs linguistiques déséquilibrés (écarts de fréquence entre les attributs) sont un déterminant significatif du biais du modèle. Une augmentation d'un écart-type de la différence de fréquence augmente les chances de biais d'un facteur d'environ 9,3.
• Chute de la Fidélité : Sur le sous-ensemble biaisé, la fidélité de Vanilla Patchscopes (mesurée par le Show Rate, le ratio de génération correcte de l'attribut) diminue en moyenne de 18,84 % par rapport au sous-ensemble non biaisé.

2.2. Localisation des Couches Sensibles au Biais

Les auteurs proposent une méthode pour identifier les couches spécifiques où le biais est encodé et commence à influencer le calcul en aval. Ils introduisent deux métriques :

1. Différence de Logit (LD) : Mesure la différence de logits entre l'attribut aligné sur le contexte et l'attribut biaisé à chaque couche en utilisant une approche de type « logit-lens ».
2. Alignement de Similitude de Gradient (GSA) : Mesure l'alignement entre le gradient de sortie et la direction de l'attribut pour déterminer si le modèle s'appuie sur des informations biaisées ou contextuelles.

Ces métriques sont combinées en un score de sélection de couche ($l^*$) pour identifier la couche optimale pour l'intervention. Les auteurs ont constaté que le biais n'est pas uniformément distribué mais émerge dans les couches intermédiaires.

2.3. Solution Proposée : BALOR

L'article introduit BALOR (Bias Alignment through Logit Recalibration), une intervention au moment du décodage qui atténue le biais sans modifier les paramètres du modèle.

Mécanisme Central :
BALOR utilise une paire de prompts contrastifs :

• Prompt Cible ($T$) : Contient la représentation cachée patchée (encodant l'attribut contextuel).
• Prompt Contrastif ($T^*$) : Remplace le jeton (token) par place par le jeton original, ne contenant aucune information contextuelle, reflétant ainsi uniquement le biais/priors empiriques du modèle.

Recalibrage des Logits :
La méthode soustrait les logits scalés du prompt contrastif des logits du prompt cible avant d'appliquer la fonction softmax :
$$p_{balor}(y | T) = \sigma \left[ (1 + \alpha) l_\theta(y | T) - \alpha l_\theta(y | T^*) \right]$$
Où :

• $l_\theta(y | T)$ et $l_\theta(y | T^*)$ sont les logits pré-softmax.
• $\alpha$ est un hyperparamètre contrôlant le niveau d'amplification.

Garantie Théorique :
Le Théorème 4.1 prouve que dans l'espace des log-odds, si un jeton est davantage soutenu par l'évidence patchée que par le prior contrastif, BALOR augmente de manière monotone sa préférence relative à mesure que $\alpha$ augmente. Cela isole efficacement la composante de biais et amplifie l'information contextuelle.

Modes :

• Partagé (Mode S) : La distribution recalibrée est utilisée pour échantillonner les jetons pour les deux prompts, maintenant la synchronisation des séquences.
• Divisé (Mode D) : Le recalibrage est appliqué uniquement au prompt cible ; le prompt contrastif décode avec les logits originaux.

3. Contributions Clés

1. Jeu de Données et Analyse : Conception d'un jeu de données pour évaluer Patchscopes sous des conditions de biais, démontrant que le biais du modèle limite fondamentalement la fidélité des explications des représentations cachées (provoquant une baisse de performance de 11,84 % à 28,47 %).
2. BALOR : Introduction d'une méthode de décodage par recalibrage de logits qui atténue le biais lors de l'inférence en contrastant les représentations patchées avec les priors empiriques.
3. Validation Empirique : Réalisation d'expériences approfondies sur quatre LLM modernes (Llama2-7b, Llama3.2-1b, Llama3-8b, Qwen3-4b), montrant que BALOR surpasse systématiquement les bases de référence.

4. Résultats Expérimentaux

Les expériences ont été menées en configurations zero-shot et few-shot à travers les quatre tâches.

• Performance : BALOR (particulièrement le Mode S) a systématiquement surpassé toutes les bases de référence, y compris Vanilla Patchscopes, les méthodes de guidage par prompt (Closed-Book, Internal-Evidence, Data-Bound), le SFT et FairSteer.
• Amélioration : BALOR a obtenu jusqu'à 33 % d'amélioration relative de la performance en Show Rate (SR) par rapport à la base de référence vanilla.
• Stabilité : Le Mode S a démontré une grande stabilité à travers différents hyperparamètres ($\alpha$) et températures d'échantillonnage. Le Mode D a montré plus de variabilité et une instabilité occasionnelle due à la divergence de séquence entre les prompts.
• Comparaison :
  • Les bases de référence basées sur le prompt étaient instables et ont souvent sous-performé la base de référence vanilla.
  • Les méthodes SFT se sont considérablement dégradées lorsque les données de fine-tuning entraient en conflit avec les données d'évaluation.
  • FairSteer a mal performé lorsque la direction de débaisage était inexacte.

5. Signification et Revendications

L'article affirme que les motifs linguistiques déséquilibrés induisent un biais du modèle qui distord la fidélité des explications des représentations cachées. En proposant BALOR, les auteurs fournissent un mécanisme pour récupérer la véritable information encodée dans les représentations cachées sans modifier les paramètres ou les représentations internes du modèle.

Les auteurs soulignent que leur travail améliore la fiabilité de l'interprétabilité des LLM. Ils précisent que, bien que leur méthode améliore la fidélité, les explications résultantes ne doivent pas être traitées comme des preuves définitives du raisonnement du modèle, mais doivent être utilisées aux côtés de techniques d'évaluation complémentaires. Le travail vise à aider les chercheurs à mieux comprendre comment les LLM encodent et utilisent l'information contextuelle, ce qui est crucial pour le déploiement de confiance de ces modèles. Les auteurs ne prévoient pas de conséquences sociétales négatives découlant directement de ce travail.