💬 NLP

FishBack: Pullback Fisher Geometry for Optimal Activation Steering in Transformers

L'article introduit FishBack, une nouvelle méthode de pilotage d'activation qui remplace l'hypothèse euclidienne défaillante par la métrique d'information de Fisher afin de dériver une direction de pilotage optimale, réduisant ainsi de manière significative les distorsions hors cible dans les modèles transformer à travers diverses tailles et couches.

Auteurs originaux : Sihan Wang, Jiayi Zhao, Qingyan Cao, Hongbo Yao, Lin Shu

Publié 2026-08-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sihan Wang, Jiayi Zhao, Qingyan Cao, Hongbo Yao, Lin Shu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les modèles de langage de grande taille sont de vastes réseaux de neurones artificiels qui ont appris à prédire le mot suivant dans une phrase en lisant des trillions d'exemples. Une fois entraînés, ces modèles peuvent être incroyablement utiles, mais ils peuvent aussi se montrer obstinés ou dangereux, générant un texte biaisé, malhonnête ou simplement différent de ce que l'utilisateur souhaitait. Pendant des années, les chercheurs ont tenté de corriger ces comportements en ajoutant une légère impulsion aux calculs internes du modèle pendant qu'il fonctionne. Cette technique, connue sous le nom de pilotage par activation (activation steering), consiste à trouver une direction spécifique dans les couches cachées du modèle et à pousser les données le long de ce chemin pour encourager un trait souhaité, comme la véracité ou un temps grammatical spécifique. Il s'agit d'une alternative légère au réentraînement de l'ensemble du modèle, qui est coûteux et chronophage. Cependant, ces impulsions ont été notoirement peu fiables. Une impulsion qui fonctionne parfaitement dans une partie du réseau échoue souvent dans une autre, ou pire, elle corrige un problème tout en cassant accidentellement quelque chose d'autre, provoquant la production de charabia ou la perte de la personnalité originale du modèle.

La raison fondamentale de cette instabilité, selon une nouvelle étude menée par des chercheurs de l'Université de technologie de Chine du Sud, est une incompréhension fondamentale de l'espace dans lequel ces modèles opèrent. La plupart des méthodes existantes traitent l'état interne du modèle comme s'il s'agissait d'une grille plate et ordinaire, où parcourir une certaine distance dans n'importe quelle direction coûte la même quantité d'effort. Les chercheurs soutiennent que cette vision est incorrecte. En réalité, l'espace à l'intérieur d'un modèle de langage est courbe et inégal, un peu comme la surface de la Terre comparée à une carte plate. Parcourir une courte distance dans une direction peut modifier radicalement la sortie du modèle, tandis que parcourir la même distance dans une direction voisine peut n'avoir presque aucun effet. Les anciennes méthodes, en supposant une surface plane, essayaient essentiellement de conduire une voiture en ligne droite à travers une chaîne de montagnes, ignorant les pentes raides et les vallées qui déterminent réellement le chemin.

Pour résoudre cela, l'équipe a développé une nouvelle approche appelée FishBack. Au lieu de deviner la bonne direction, ils ont calculé la véritable forme du paysage que le modèle parcourt. Ils ont découvert que les règles régissant la manière dont un petit changement au milieu du réseau affecte la sortie finale sont déterminées par une propriété mathématique spécifique appelée métrique d'information de Fisher. Cette métrique agit comme une carte topographique, montrant exactement comment le terrain est « escarpé » ou « plat » dans chaque direction. En ramenant cette carte de la couche de sortie finale du modèle vers les couches intermédiaires où le pilotage a lieu, les chercheurs ont pu voir la véritable géométrie du problème. Ils ont ensuite utilisé cette carte pour trouver le meilleur chemin possible pour déplacer l'état du modèle. Ce chemin n'est pas une ligne droite ; c'est un itinéraire courbe qui atteint le changement de comportement souhaité tout en consommant le moins d'« énergie » possible et en perturbant le moins possible les connaissances originales du modèle.

Les chercheurs ont testé cette méthode sur trois modèles de langage de tailles différentes, allant d'un modèle plus petit avec 768 dimensions internes à de vastes modèles dépassant les quatre mille dimensions. Ils se sont concentrés sur trois tâches spécifiques : changer un verbe à la troisième personne du singulier, le transformer au mode progressif, ou le passer au passé. Dans chaque cas, ils ont comparé leur nouvelle méthode géométrique aux techniques standards en espace plat. Les résultats étaient frappants. Sur le petit modèle, la nouvelle méthode a réduit les effets secondaires indésirables — ce que les chercheurs appellent la distorsion hors cible — d'un facteur allant jusqu'à six fois et demi par rapport aux meilleures méthodes existantes. Sur les modèles plus grands et plus complexes, l'amélioration était encore plus constante, réduisant les changements indésirables d'un facteur de près de quatre dans les couches précoces et moyennes du réseau.

Crucialement, l'étude a également montré que les anciennes méthodes n'étaient pas seulement légèrement moins efficaces ; elles étaient fondamentalement erronées dans leur approche. Lorsque les chercheurs ont remplacé la carte géométrique complexe par une simple hypothèse de planéité dans leur propre système, les performances ont chuté de manière significative, prouvant que la courbure de l'espace était la clé du succès. La nouvelle méthode fonctionne en calculant une direction précise et optimale pour chaque situation spécifique, plutôt qu'en utilisant un seul vecteur fixe pour toutes les entrées. Cela permet au modèle de s'adapter à la forme unique de son état interne à cet instant précis. Les chercheurs ont également développé un moyen de calculer cette direction complexe sans avoir besoin de construire l'intégralité de la carte explicitement, ce qui aurait été trop lent pour les modèles les plus vastes. Au lieu de cela, ils ont utilisé une approximation astucieuse qui capture la forme essentielle du paysage avec seulement quelques centaines de calculs, rendant la technique pratique pour une utilisation réelle.

Les conclusions suggèrent que l'instabilité qui frappe les méthodes actuelles de pilotage par activation n'est pas un bug des modèles eux-mêmes, mais une conséquence de l'utilisation d'une géométrie inappropriée pour les naviguer. En reconnaissant que le monde interne d'un modèle de langage est courbe et que le coût du mouvement varie considérablement selon la direction, la méthode FishBack offre un moyen stable et efficace de guider ces systèmes. Les chercheurs ont démontré que cette correction géométrique est la plus précieuse dans les couches précoces et moyennes du réseau, là où le paysage est le plus inégal. À mesure que les données se dirigent vers la sortie finale, le paysage s'aplanit, et l'avantage de la méthode complexe diminue, ce qui correspond parfaitement à la théorie. Ce travail offre une voie claire pour rendre les modèles de langage plus fiables et contrôlables, transformant un processus fragile et empirique en un outil précis et mathématiquement fondé.

Résumé technique : FishBack – Géométrie de Fisher par rétro-projection pour un pilotage optimal des activations dans les Transformers

1. Énoncé du problème

Le pilotage d'activations (activation steering) est apparu comme une méthode légère pour modifier le comportement des grands modèles de langage (LLM) sans mise à jour des paramètres. En déplaçant les états cachés le long de directions linéaires spécifiques lors de l'inférence, les chercheurs peuvent amplifier ou supprimer des concepts (ex. : véracité, sentiment, refus). Cependant, les méthodes existantes (telles que CAA, ActAdd et ITI) présentent une fragilité significative : elles sont instables selon les couches, nécessitent un réglage étroit des coefficients et déforment souvent des comportements sans rapport avec le concept cible.

Les auteurs attribuent ces échecs à une hypothèse fondamentale, souvent non formulée, partagée par les méthodes actuelles : l'espace des activations intermédiaires est euclidien. Ces méthodes appliquent des mises à jour de la forme $h \leftarrow h + \alpha v$ , traitant l'espace comme plat, où un pas coûte la même chose dans toutes les directions. L'article soutient que cette hypothèse est erronée. Bien que la couche softmax finale soit connue pour posséder une géométrie non euclidienne (la métrique de Fisher-Rao), la géométrie régissant les interventions dans les couches intermédiaires — là où le pilotage est réellement appliqué — est restée inexplorée. Par conséquent, les méthodes actuelles pilotent selon des « lignes droites » qui sont sous-optimales et coûteuses en termes de distorsion hors cible.

2. Méthodologie : Le cadre FishBack

Le papier propose FishBack, un cadre qui dérive la géométrie correcte pour le pilotage des couches intermédiaires directement de la computation du modèle, plutôt que de l'ajuster aux données.

2.1 La métrique de Fisher par rétro-projection (Pullback Fisher Metric)

L'idée centrale est que le coût d'une intervention n'est pas sa longueur euclidienne, mais l'ampleur de son impact sur la distribution de jetons prédite par le modèle.

Métrique de sortie : À la couche finale, le changement de prédiction est régi par la métrique d'information de Fisher $H$ de la tête softmax.
Rétro-projection (Pullback) : Pour déterminer le coût d'une perturbation $\delta h$ à une couche intermédiaire $\ell$ , les auteurs effectuent une rétro-projection de cette métrique à travers la jacobienne $J$ (la dérivée de la fonction allant de la couche $\ell$ vers la sortie).
La métrique : La métrique résultante à la couche $\ell$ est $G = J^\top H J$ . Cette matrice $G$ est la métrique de Fisher par rétro-projection. Elle est symétrique, semi-définie positive et correspond à la matrice de Gauss-Newton généralisée de la log-vraisemblance négative du modèle par rapport à l'activation $h$ .

2.2 Direction de pilotage optimale

En utilisant $G$ , le problème de la recherche d'une direction de pilotage devient un problème d'optimisation sous contrainte : induire un changement de concept cible tout en minimisant le mouvement du reste de la distribution (distorsion hors cible).

Covecteur de concept : La direction du concept est représentée par un covecteur $q = J^\top \beta_W$ , où $\beta_W$ est la sonde (probe) du concept cible.
Solution en forme fermée : Le déplacement optimal $\delta h^\star$ qui réalise un changement de concept $\rho$ avec un minimum de distorsion hors cible (mesurée par la divergence KL) est donné par :
$\delta h^\star = \frac{\rho}{q^\top G^\dagger q} G^\dagger q$
où $G^\dagger$ est la pseudo-inverse de Moore-Penrose.
Optimalité hors cible : Sous une condition de séparabilité (où les facteurs de concept et de contenu de la distribution sont indépendants), minimiser la divergence KL totale équivaut à minimiser la divergence KL hors cible. Ainsi, cette direction est optimale pour préserver les comportements non liés.

2.3 Scalabilité aux modèles de 8B

La formation explicite de $G$ (de taille $d \times d$ ) est informatiquement irréalisable pour les grands modèles (ex. : Llama-3-8B, Qwen3-8B avec $d=4096$ ). Les auteurs développent une approximation sans matrice (matrix-free) :

Évaluation de l'action : L'action de $G$ sur un vecteur est calculée via des produits jacobienne-vecteur par différences finies et des passages en arrière (backward passes), évitant la formation explicite de la matrice.
Spectre à faible rang : Le spectre de $G$ est hautement concentré. Une décomposition aléatoire (rang 50) est utilisée pour trouver le sous-espace de faible dimension où l'inverse est calculé.
Jacobienne gelée : Pour économiser le calcul, la jacobienne est calculée une seule fois au point initial et maintenue fixe à travers les étapes de pilotage, ne mettant à jour que l'information de Fisher et le covecteur.

3. Contributions clés

Identification de la géométrie correcte : Le papier établit que la métrique régissant le pilotage des couches intermédiaires est la métrique de Fisher par rétro-projection ( $G = J^\top H J$ ), dérivée en forme fermée à partir du modèle. Cela contraste avec la métrique plate (euclidienne) supposée par les méthodes additives.
Direction optimale en forme fermée : Les auteurs dérivent une expression en forme fermée pour la direction de pilotage qui minimise la divergence KL hors cible pour un changement de concept donné. Cette direction fait pivoter le covecteur de concept brut vers les directions « peu coûteuses » de la géométrie de sortie.
Approximation scalable : Un algorithme sans matrice est développé qui permet de récupérer la direction optimale pour des modèles de l'échelle 8B en quelques centaines de passages avant partiels par cas, rendant la méthode pratique pour les LLM modernes.
Validation empirique : Le cadre est évalué sur trois concepts de morphologie verbale (troisième personne du singulier, progressif, passé) à travers GPT-2 Small, Llama-3-8B et Qwen3-8B.

4. Résultats expérimentaux

L'évaluation utilise un protocole contre-factuel où les méthodes sont comparées à changement de concept égalisé (garantissant un effet sur la cible identique) pour mesurer la distorsion hors cible (divergence KL sur les jetons non liés au concept).

GPT-2 Small : FishBack réduit la divergence KL hors cible par des facteurs médians de 1,4x à 6,5x par rapport aux bases individuelles (CAA, ActAdd, ITI, ReFT, RepSurgery). Contre l'oracle « Meilleur-par-cas » (qui sélectionne la base ayant la plus petite divergence hors cible pour chaque cas spécifique), FishBack obtient toujours une divergence hors cible plus faible avec un ratio médian de 1,25 (favorisant FishBack), bien que la marge soit plus mince que contre les bases fixes.
Modèles 8B (Llama-3-8B, Qwen3-8B) : Dans les couches précoces et moyennes, FishBack réduit la divergence KL hors cible par des facteurs médians de 1,8x à 3,6x par rapport aux bases de référence.
Ablation géométrique : Remplacer la métrique de rétro-projection $G$ par la matrice identité (ablation euclidienne) tout en gardant le reste du pipeline identique entraîne une distorsion hors cible nettement plus élevée (ratios de 1,3x à 2,45x), confirmant que le gain est attribuable à la correction géométrique elle-même.
Dépendance à la couche : L'avantage géométrique est plus prononcé dans les couches précoces et moyennes où la métrique est fortement anisotrope (nombres de condition $\sim 10^7$ ). Dans les couches plus profondes, la géométrie s'aplatit et l'avantage diminue, ce qui concorde avec les prédictions théoriques.

5. Signification et affirmations

L'article affirme que l'instabilité et la distorsion hors cible des méthodes actuelles de pilotage d'activation proviennent de l'ignorance de la géométrie non euclidienne intrinsèque de l'espace de représentation du modèle. En modélisant explicitement cette géométrie via la métrique de Fisher par rétro-projection, FishBack fournit une direction d'intervention théoriquement fondée et optimale.

Rigueur théorique : La méthode ne repose pas sur l'ajustement de variétés aux données, mais dérive la métrique directement de la jacobienne du modèle et de la tête softmax, garantissant une direction optimale sous l'approximation du second ordre.
Impact pratique : Le cadre démontre que la correction géométrique conserve son avantage même dans des modèles plus grands et plus complexes (8 milliards de paramètres), améliorant considérablement la fidélité de la modification de comportement.
Limites : Les auteurs notent que l'avantage de la méthode est contingent sur l'anisotropie de la métrique de rétro-projection. Dans les couches très profondes où la géométrie devient presque euclidienne (plate), le bénéfice de la correction se réduit, ce qui est cohérent avec les limites théoriques dérivées dans l'article.

En résumé, FishBack recadre le pilotage d'activation comme un problème de navigation sur une variété courbe définie par la propre géométrie de l'information du modèle, offrant une solution robuste à la fragilité des vecteurs de pilotage linéaires.