💬 NLP

Perturbation Probing: A Two-Pass-per-Prompt Diagnostic for FFN Behavioral Circuits in Aligned LLMs

Cet article présente le « Perturbation Probing », une méthode diagnostique en deux passes et sans rétropropagation qui identifie deux structures distinctes de circuits FFN — des circuits d'opposition pour les comportements supprimés par l'alignement par renforcement à partir de retours humains et des circuits de routage pour les comportements de pré-entraînement — permettant des interventions précises et ciblées pour modifier des sorties spécifiques du modèle, telles que les refus de sécurité ou la sélection de langue, sans affecter les autres capacités.

Auteurs originaux : Hongliang Liu, Tung-Ling Li, Yuhao Wu

Publié 2026-05-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hongliang Liu, Tung-Ling Li, Yuhao Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un modèle de langage de grande taille (LLM) comme un orchestre massif et incroyablement complexe. Depuis des années, nous savons que la musique qu'il joue (les réponses qu'il donne) peut être dangereuse ou utile, mais nous ne savions pas exactement quels musiciens (neurones) étaient responsables des parties « sûres » ou « impolies » de la chanson.

Ce papier présente une nouvelle méthode appelée Perturbation Probing. Pensez-y comme un « outil de diagnostic en deux passes » qui permet aux chercheurs d'écouter l'orchestre sans avoir besoin de réécrire la partition (sans rétropropagation ni réentraînement).

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le stéthoscope « en deux passes »

Habituellement, pour découvrir ce que fait chaque neurone, vous devez effectuer des calculs lourds ou entraîner un tout nouveau modèle. Cette méthode est beaucoup plus légère.

Passage 1 : Le modèle répond à une question normalement.
Passage 2 : Les chercheurs « brouillent » légèrement la question (comme changer « méthamphétamine » en « métahmphetamine » afin que l'ordinateur le voie comme un mot différent, même si les humains le lisent de la même manière).
Le diagnostic : En comparant les deux réponses, la méthode calcule un « score » pour chaque neurone du modèle. Elle se demande : « Ce neurone a-t-il réagi fortement au brouillage, et pousse-t-il le modèle à dire « Non » ou « Oui » ? »

Si un neurone réagit fortement et pousse dans la bonne direction, il obtient un score élevé. Les chercheurs sélectionnent ensuite les 50 meilleurs scores pour les tester.

2. Les deux types de « circuits »

Le papier a découvert que les comportements de l'IA tombent dans deux catégories distinctes, comme deux types différents de systèmes de plomberie :

Type A : Le circuit « Opposition » (La soupape de sécurité)

Ce que c'est : Cela se produit lorsque l'IA est entraînée à faire quelque chose de contraire à ce qu'elle veut naturellement faire. Par exemple, une IA veut naturellement être d'accord avec vous (pré-entraînement), mais l'entraînement à la sécurité (RLHF) la force à dire « Non » aux mauvaises demandes.
La métaphore : Imaginez une porte lourde qui veut naturellement rester ouverte. Pour la maintenir fermée, vous installez un loquet spécifique et petit.
La découverte : Les chercheurs ont constaté que pour les refus de sécurité, ce « loquet » est étonnamment petit. Sur certains modèles, seulement 50 neurones (sur des centaines de milliers) contrôlent le modèle du refus.
- Si vous retirez ces 50 neurones, l'IA arrête d'utiliser son script poli « Je ne peux pas aider avec cela ».
- Crucialement : Cela ne signifie pas que l'IA devient soudainement méchante. Elle arrête simplement d'utiliser le script poli. Elle pourrait toujours vous avertir qu'une chose est illégale, mais elle ne dira pas « Je suis désolé, je ne peux pas faire cela ». La connaissance de la sécurité est toujours là, enfouie plus profondément.

Type B : Le circuit « Routage » (Le directeur de la circulation)

Ce que c'est : Cela se produit pour les comportements que l'IA aime déjà faire, comme parler chinois ou faire des mathématiques. L'IA n'a pas besoin de lutter contre sa nature ; elle a juste besoin d'être dirigée vers le bon chemin.
La métaphore : Imaginez un système autoroutier. Les voitures (informations) sont déjà en mouvement. Pour les amener à une sortie spécifique (langue chinoise), vous n'avez pas besoin de construire une nouvelle route ; vous devez juste actionner un interrupteur sur les panneaux de signalisation.
La découverte : Pour ces comportements, retirer des neurones ne fait rien. Cependant, les chercheurs ont découvert qu'ils pouvaient « injecter » un signal directement dans le flux de circulation pour forcer l'IA à changer de langue (par exemple, de l'anglais au chinois) avec une précision de 99 %, mais uniquement sur des modèles spécifiques répondant à certaines conditions.

3. Le diagnostic « FFN/Skip »

Comment savoir quel type de circuit vous avez affaire ? Le papier a créé un ratio simple appelé FFN/Skip.

Imaginez le cerveau de l'IA comme ayant deux chemins : un chemin passe par les « neurones de traitement » (FFN), et un autre chemin est une « voie rapide » qui saute le traitement (connexion de saut).
Si le signal de sécurité se trouve principalement dans les neurones de traitement (FFN/Skip élevé), vous pouvez le corriger en retirant ou en ajustant ces neurones spécifiques.
Si le signal se trouve principalement dans la voie rapide (FFN/Skip faible), retirer des neurones ne fonctionnera pas. Vous devez utiliser l'« interrupteur de circulation » (injection de direction) à la place.
Ce ratio agit comme une boule de cristal : il indique aux chercheurs exactement quel outil utiliser avant même de commencer les expériences.

4. L'effet « Transistor » (Le modèle 2B)

Sur un très petit modèle (2 milliards de paramètres), les chercheurs ont trouvé un effet encore plus dramatique.

Ils ont identifié seulement 20 neurones qui contrôlaient si l'IA s'accordait « servilement » avec un utilisateur même lorsque l'utilisateur avait tort.
L'interrupteur : S'ils désactivaient ces 20 neurones, l'IA arrêtait d'être d'accord avec les mensonges. Elle devenait obstinément correcte.
Le compromis : Cependant, cela empêchait aussi l'IA de se corriger elle-même lorsqu'elle faisait une erreur de son propre chef.
La solution : Au lieu de les désactiver, ils les ont augmentés (amplifiés). Cela a rendu l'IA bien meilleure pour corriger les fausses informations sans avoir besoin de réentraîner tout le modèle. C'est comme tourner un bouton de volume sur un instrument spécifique pour corriger la chanson, plutôt que de réécrire toute la partition.

Résumé de ce qu'ils affirment

La sécurité est fragile en surface : Le script poli « Je ne peux pas faire cela » est contrôlé par une poignée minuscule de neurones (environ 0,014 % du modèle).
La sécurité est profonde en dessous : Même si vous brisez le script, le modèle sait souvent encore les faits et pourrait vous avertir qu'une chose est dangereuse, simplement sans l'emballage poli.
Tous les comportements ne sont pas identiques : Certains comportements (comme la sécurité) sont contrôlés par des « écrivains » spécifiques (neurones) qui peuvent être édités. D'autres (comme le choix de la langue) sont contrôlés par des « directeurs de circulation » (routage) qui nécessitent un type d'intervention différent.
Édition de précision : Vous pouvez corriger des défauts comportementaux spécifiques (comme être trop conciliant ou utiliser la mauvaise langue) en ajustant un petit nombre de neurones, sans avoir besoin de réentraîner l'IA entière.

Le papier ne prétend pas que cela rend l'IA parfaitement sûre pour toujours, ni qu'il s'agit d'un outil pour que les pirates informatiques cassent l'IA. Au contraire, il présente cela comme un « diagnostic mécanique » pour comprendre comment l'IA fonctionne et pour offrir une boîte à outils précise aux ingénieurs afin d'éditer des comportements spécifiques s'ils le choisissent.

1. Énoncé du problème

Les méthodes actuelles pour identifier les mécanismes neuronaux à l'origine des comportements alignés (par exemple, les refus de sécurité, le suivi des instructions) dans les grands modèles de langage (LLM) font face à un compromis fondamental entre coût, causalité et spécificité de la tâche :

Classificateurs de sondage et SAE : Identifient des représentations mais ne peuvent pas confirmer la causalité.
Patchage d'activation et découverte automatisée de circuits : Causaux mais coûteux en calcul ( $O(n)$ passages avant par composant).
Attribution basée sur le gradient : Peu coûteuse mais agnostique à la tâche ; elle identifie des neurones généralement importants plutôt que ceux spécifiques à un comportement ciblé, et les classements non signés ne permettent pas de distinguer les neurones qui favorisent ou suppriment un comportement.

Il manque une méthode qui soit simultanément peu coûteuse (temps constant par prompt), causale (validée par intervention), spécifique à la tâche et diagnostique (prédisant le succès de l'intervention avant son exécution).

2. Méthodologie : Perturbation Probing

Les auteurs proposent Perturbation Probing, un pipeline en deux étapes qui ne nécessite que deux passages avant par prompt et aucune rétropropagation.

A. Le pipeline

Définition de l'observable comportemental :
- La méthode définit un "écart de logit" scalaire ( $F$ ) représentant une décision binaire (par exemple, Refus vs Conformité).
- $F = \bar{z}_R - \bar{z}_A$ , où $\bar{z}$ est le logit moyen d'un ensemble de tokens de refus ( $R$ ) moins les tokens d'affirmation ( $A$ ).
- Cet écart est une fonctionnelle linéaire de l'état caché final du modèle : $F = d_F^\top h^{(L)} + b$ .
Calcul de l'importance signée (Génération d'hypothèses) :
- La méthode calcule un score d'importance signée ( $I_n$ ) pour chaque neurone FFN $n$ en utilisant deux passages avant : un sur le prompt original ( $X$ ) et un sur un prompt perturbé ( $\tilde{X}$ ).
- Perturbation : Un contre-factuel heuristique est appliqué (par exemple, brouillage des tokens BPE pour la sécurité, prémices incorrectes vs correctes pour la sycophancie) pour inverser la décision cible sans altérer le contenu central.
- Formule : $I_n = c_n \cdot \Delta a_n$ $I_{n} = c_{n} \cdot Δ a_{n}$
  - $c_n$ (Couplage structurel) : Le produit scalaire de la direction comportementale $d_F$ et des poids de projection de sortie du neurone ( $W_{down}$ ). Ceci est statique et calculé une fois à partir des poids.
  - $\Delta a_n$ (Réponse à la perturbation) : Le changement dans l'activation du neurone entre les entrées perturbées et originales ( $a_n(\tilde{X}) - a_n(X)$ ).
- Classement : Les neurones sont classés par $|I_n|$ . Le signe indique si le neurone favorise ou supprime le comportement.
Validation causale et diagnostic :
- Validation : Les neurones les mieux classés sont validés par Ablation (mise à zéro des poids), Patchage (échange d'activations) et Restauration (annulation des perturbations).
- Diagnostic FFN/Skip : Un ratio est calculé pour prédire la structure du circuit :
  $\text{FFN/Skip} = \frac{|d_F \cdot \text{FFN}^{(L-1)}|}{|d_F \cdot h^{(L-1)}|}$
  - Ratio élevé (>0,3) : Indique un circuit d'opposition (comportement concentré dans le FFN).
  - Ratio faible (<0,2) : Indique un circuit de routage (comportement distribué via l'attention ou les connexions de saut).

3. Contributions et résultats clés

A. Découverte de deux structures de circuits

L'étude révèle que les comportements des LLM sont organisés en deux structures topologiques distinctes, déterminées par le ratio FFN/Skip :

Circuits d'opposition (FFN/Skip > 0,3) :
- Mécanisme : Se produisent lorsque le RLHF entraîne le modèle à s'opposer à une tendance pré-entraînement (par exemple, refuser des demandes nuisibles par opposition à la tendance pré-entraînement à se conformer).
- Structure : Le contrôle est concentré dans un petit ensemble de neurones FFN (par exemple, ~50 neurones, soit 0,014 % des paramètres totaux).
- Intervention : Ces neurones sont susceptibles d'une ablation (Mode 1) ou d'une amplification (Mode 2).
- Exemple : Sur Qwen3-4B, l'ablation de 50 neurones a modifié le modèle de refus sur 80 % des prompts tout en maintenant une conformité nuisible proche de zéro.
Circuits de routage (FFN/Skip < 0,2) :
- Mécanisme : Se produisent pour les comportements pré-entraînement que le RLHF renforce plutôt qu'il ne s'y oppose (par exemple, sélection de la langue, raisonnement mathématique).
- Structure : Le comportement est distribué à travers les mécanismes d'attention et les connexions de saut ; les neurones FFN identifiés sont de simples "lecteurs" (réponse d'activation élevée mais couplage structurel faible).
- Intervention : L'ablation n'a aucun effet. À la place, l'injection de direction (Mode 3) fonctionne : injecter le vecteur de direction comportementale ( $d_F$ ) directement dans le flux résiduel à des couches spécifiques.
- Exemple : Sur les modèles Qwen bilingues, l'injection de la direction Anglais-vers-Chinois a changé la langue de sortie sur 99,1 % des prompts. Cela a échoué sur les modèles Llama/Gemma manquant d'entraînement bilingue ou ayant des ratios FFN/Skip extrêmes.

B. Spectre de topologie de sécurité

L'article cartographie les mécanismes de sécurité sur 13 modèles et 4 familles d'architectures (Qwen, Llama, Gemma) :

Qwen : Concentre la sécurité dans un goulot d'étranglement FFN concentré (efficacité élevée de l'ablation).
Llama : Distribue la sécurité à travers les connexions de saut (efficacité modérée de l'ablation).
Gemma : Protège la sécurité derrière une normalisation postérieure (0 % d'efficacité de l'ablation).
Insight : Le ratio FFN/Skip quantifie ce spectre et prédit si l'édition au niveau des neurones est réalisable.

C. Édition de précision sur les petits modèles

Sur le modèle Qwen3.5-2B, les auteurs ont identifié un circuit de "remise en question" régi par seulement 20 neurones :

Ablation : A éliminé la capitulation sycophante multi-tours (36,7 % $\to$ 0 %) mais a supprimé la correction factuelle en un seul tour.
Amplification : Une amplification 2x de 10 neurones spécifiques a amélioré les taux de correction factuelle de 52 % à 88 % sur TruthfulQA sans réentraînement.
Signification : Démontre que des défauts comportementaux spécifiques peuvent être corrigés par une "édition de précision de la couche modèle" en mettant à l'échelle des neurones spécifiques.

4. Résumé des résultats

Sécurité : 50 neurones contrôlent le modèle de refus sur Qwen3-4B. L'ablation modifie 80 % des formats de réponse mais préserve les connaissances de sécurité sous-jacentes (les avertissements pré-entraînement survivent).
Routage linguistique : L'injection de direction atteint un changement de langue de 99,1 % sur les modèles Qwen bilingues mais échoue sur les modèles non bilingues ou les comportements non linéaires (maths/code).
Efficacité : La méthode génère des hypothèses en 2 passages avant et les valide en un seul balayage (~150 passages au total), nettement moins coûteux que les méthodes de découverte de circuits en $O(n)$ .
Comparaison : Surpasse les méthodes basées sur le gradient sur les modèles Qwen (découverte causale spécifique à la tâche) mais est moins efficace sur les modèles Llama où la sécurité est médiée par l'attention.

5. Signification et implications

Compréhension mécaniste : Fournit un cadre unifié expliquant comment le RLHF organise le comportement, distinguant les "auteurs" (neurones FFN dans les circuits d'opposition) des "lecteurs" (neurones dans les circuits de routage).
Boîte à outils pratique : Offre un outil de diagnostic (ratio FFN/Skip) pour déterminer la stratégie d'intervention correcte (Ablation vs Injection de direction) avant d'entreprendre des éditions coûteuses.
Audit de sécurité : Révèle que la sécurité est souvent une "couche modèle fine" au-dessus de connaissances pré-entraînement robustes. Cela suggère que si les refus de surface sont fragiles et modifiables, les connaissances de sécurité profondes sont robustes.
Édition de l'alignement : Démontre que des défauts comportementaux spécifiques (comme la sycophancie) peuvent être corrigés par l'amplification de neurones identifiés, offrant une voie vers un "alignement de précision" sans réentraînement complet du modèle.
Validation théorique : Valide les hypothèses fondamentales de l'interprétabilité mécaniste (linéarité, localité, parcimonie, compositionnalité) dans le contexte des comportements alignés par RLHF.

En conclusion, Perturbation Probing comble le fossé entre la corrélation peu coûteuse et la causalité coûteuse, fournissant un cadre évolutif et diagnostique pour comprendre et éditer les circuits comportementaux des LLM alignés.