Résumé technique : Le levier n'est pas la portée : Une loi de la fenêtre de contrôle pour le pilotage par neurone unique dans les modèles de langage

1. Énoncé du problème

Bien que les modèles de langage alignés contrôlent des comportements critiques (ex. : refus, routage linguistique, choix d'opérateur arithmétique) via des neurones de type feed-forward (FFN) épars, il n'existe actuellement aucun cadre théorique prédisant quand une intervention sur un neurone unique contrôlera un comportement de manière cohérente ou provoquera l'effondrement de la sortie du modèle en un texte dégénéré.

Deux lacunes fondamentales existent dans la littérature actuelle :

1. Désaccord entre Attribution et Intervention : Les neurones classés comme importants par l'attribution de gradient local échouent souvent à contrôler causalement le comportement, tandis que les véritables contrôleurs sont fréquemment invisibles aux gradients. Un haut « levier » (la capacité d'une dose à déplacer l'état du modèle) ne prédit pas la « portée » (l'effet comportemental cohérent).
2. Absence de Théorie Prédictive : Aucun principe existant n'explique pourquoi une intervention spécifique bascule un comportement de manière cohérente tout en faisant s'effondrer un autre. Les interventions à des magnitudes fixes produisent des verdicts contradictoires selon la dose arbitraire choisie, empêchant le contrôle par neurone unique d'être un phénomène prévisible et falsifiable.

2. Méthodologie : Le cadre de la Fenêtre de Contrôle Normalisée par le Budget

Les auteurs proposent un cadre qui traite l'intervention sur un neurone unique comme une relation dose-réponse, analogue à la pharmacologie. L'innovation centrale est la normalisation de la dose d'intervention par rapport à la géométrie interne du modèle plutôt que par l'utilisation de magnitudes fixes.

La Coordonnée de Contrôle

Une intervention sur un neurone unique ajoute un multiple scalaire $t$ d'une direction d'écriture $v$ (la colonne de la projection descendante d'un neurone FFN) au flux résiduel $r_L$ :
$$r(t) = r_L + t v$$
Parce que le flux résiduel passe par une normalisation, seule la direction du flux perturbé importe. L'effet se réduit à une coordonnée de contrôle unique : l'alignement entre le flux résiduel perturbé et la direction d'écriture, $\cos \theta_v$.

Le Budget de Cohérence et la Commande Universelle

La dose est normalisée par le budget de cohérence $B$, défini comme le ratio du norm du flux résiduel sur le norm de la direction d'écriture :
$$B = \frac{\|r_L\|}{\|v\|}$$
Le couplage sans dimension $g = t/B$ pilote la coordonnée de contrôle le long d'une courbe de saturation universelle :
$$\cos \theta_v = \frac{g}{\sqrt{1 + g^2}}$$
Cette courbe décrit comment le flux résiduel pivote vers la direction d'écriture à mesure que la dose augmente.

La Loi de la Fenêtre de Contrôle

Un contrôle cohérent existe si et seulement si le seuil de déclenchement du comportement ($\cos \theta_{trig}^v$) se situe en dessous du plafond d'effondrement ($\cos \theta_{coll}^v$) :
$$\text{Contrôle Cohérent} \iff \cos \theta_{trig}^v(\tau) < \cos \theta_{coll}^v$$

• Le Déclenchement : Un seuil dépendant du comportement où le comportement bascule. Il varie selon la classe de comportement (ex. : $\approx 0,3$ pour le routage linguistique, $\approx 0,45$ pour le refus) et l'horizon de déploiement $\tau$.
• Le Plafond : Un seuil dépendant de la géométrie où la sortie s'effondre. Il est prédit à partir des poids du modèle et d'une seule passe avant (forward pass), mis à l'échelle par un coefficient d'effondrement $m^*$ (lié au ratio de participation du flux résiduel).

3. Contributions Clés

1. Une Loi de la Fenêtre de Contrôle sur une Seule Coordonnée : L'article établit que l'effet de toute dose se réduit à une seule coordonnée, $\cos \theta_v$, suivant une courbe de commande universelle. Le contrôle cohérent est strictement délimité par un déclencheur (spécifique au comportement) et un plafond (spécifique à la géométrie).
2. Prédiction Prospective du Plafond : Le plafond d'effondrement peut être prédit avant l'intervention en utilisant uniquement les poids et une seule passe générique. Sur 15 neurones testés, le plafond prédit présentait une erreur absolue moyenne (MAE) de 0,14 (0,07 dans les couches de masse).
3. Trois Mécanismes de Fermeture de Fenêtre : L'article identifie trois raisons pour lesquelles un neurone peut échouer à contrôler un comportement :
   • Fermeture Géométrique : Le plafond d'effondrement est inférieur au déclencheur (observé dans les modèles Gemma).
   • Fermeture par Limitation de Commande : La normalisation post-FFN limite la portée du neurone en dessous du déclencheur (observé dans Gemma).
   • Fermeture par Découplage : L'écriture se produit trop tard dans la profondeur du réseau pour se propager avant la génération de la sortie.
4. Généralité à travers les Comportements : La loi régit les changements de mode bénins (routage linguistique, choix d'opérateur) et les comportements de sécurité (refus). Les valeurs de déclenchement diffèrent par classe de comportement, mais la géométrie sous-jacente reste cohérente.
5. Leviers vs Portée (Cécité du Gradient) : L'article démontre que l'attribution de gradient local prédit de manière inverse le contrôle. Les vrais contrôleurs écrivent « hors axe » (perpendiculairement à la lecture immédiate), portant des gradients de premier ordre proches de zéro mais une courbure de second ordre significative. Par conséquent, les neurones classés par gradient sont souvent sujets à l'effondrement, tandis que les contrôleurs les plus efficaces sont invisibles pour l'attribution standard.
6. Résultats Typés : Le succès de l'intervention n'est pas un scalaire mais est « typé ». Un neurone peut atteindre un contournement cohérent (basculer le refus en maintenant un texte fluide) sans atteindre une portée d'action stricte (fournir un contenu nuisible et opérationnel). Ces deux résultats se déconnectent, particulièrement dans les scénarios de refus.

4. Résultats et Validation

• Précision Prédictive : Le cadre a prédit avec succès le verdict « ouvert » ou « fermé » pour 11 des 15 neurones testés. Les quatre « échecs » n'étaient pas des violations de la loi mais des cas limites informatifs (ex. : fermetures géométriques, fermetures par limitation de commande ou ouvertures faibles).
• Coefficient d'Effondrement : Le coefficient d'effondrement $m^*$ s'est avéré dépendant de l'architecture. Il est d'environ $1,4\text{--}1,7$ pour les familles Qwen et Llama, mais chute à $0,31$ pour Gemma-3, corrélant avec le ratio de participation (concentration) du flux résiduel.
• Efficacité de Découverte : Un écran contrastif utilisant uniquement une passe avant, combiné à la loi de la fenêtre de contrôle, a récupéré 4/4 contrôleurs connus que le classement par gradient avait manqués (0/4). L'écran contrastif fournit le rappel, tandis que la loi de la fenêtre fournit la précision.
• Audit de Refus : Sur une cohorte de neurones de refus, l'étude a montré que si de nombreux neurones pouvaient contourner le refus de manière cohérente, seule une sous-partie (3 sur 6 pivots Llama audités) produisait un contenu nuisible réellement actionnable. De plus, le contenu actionnable survient souvent tard dans le déploiement (après $\approx 96\text{--}128$ jetons), ce la distinguant du contournement de jeton précoce.
• Fenêtre Bidimensionnelle : La fenêtre de contrôle est montrée comme étant une surface sur la dose et le temps de déploiement. Certains comportements (comme le routage linguistique) sont locaux au jeton, tandis que d'autres (comme le changement d'opérateur) nécessitent un horizon de déploiement pour se manifester.

5. Signification et Revendications

L'article prétend transformer le pilotage par neurone unique, passant d'une collection d'anecdotes à une loi prévisible et falsifiable de la mécanique du deep learning.

• Unification : Il unifie les découvertes antérieures (super poids, neurones de refus, mécanismes arithmétiques) en les plaçant sur la même fenêtre de contrôle, résolvant les contradictions apparentes entre contrôle, effondrement et invisibilité.
• Utilité Défensive : Il fournit un « diagnostic de sécurité à deux axes » (marge de contournement cohérent vs puissance d'action stricte) permettant aux propriétaires de modèles d'auditer la robustesse. Un modèle peut avoir une fenêtre de contournement large mais une portée d'action nulle, ou une fenêtre fermée entièrement.
• Changement Méthodologique : Il prescrit un nouveau standard pour l'intervention : un dosage normalisé par le budget lu à l'horizon de déploiement du comportement. Cela corrige l'erreur sur les neurones précédemment étiquetés comme destructeurs en raison d'un dépassement de magnitude fixe.
• Insight Théorique : Il clarifie que « le levier n'est pas la portée ». Les vrais contrôleurs opèrent en amorçant des perturbations hors axe que les circuits en aval amplifient, ce qui les rend invisibles pour l'analyse de gradient de premier ordre.

Les auteurs concluent que si le plafond d'effondrement est prévisible à partir de la géométrie, la valeur de déclenchement reste une quantité mesurée dépendant de la classe de comportement et de la profondeur, représentant le principal problème ouvert pour une théorie entièrement basée sur les premiers principes. Le travail établit une discipline de mesure qui sépare le routage comportemental de la portée de capacité, offrant un outil rigoureux pour auditer la contrôlabilité des modèles.