💬 NLP

Correcting Gradient-Based Circuit Localization via Interaction-Aware Backpropagation

Cet article introduit les Gradient Interaction Modifications (GIM), une nouvelle technique qui corrige les erreurs de sous-estimation systématiques dans la localisation de circuits causées par l'omission des interactions entre composants telles que l'auto-réparation de l'attention, atteignant ainsi des performances de pointe pour identifier les composants du modèle responsables de comportements spécifiques dans les grands modèles de langage.

Auteurs originaux : Joakim Edin, Casper L. Christensen, Róbert Csordás, Tuukka Ruotsalo, Zhengxuan Wu, Maria Maistro, Jing Huang, Lars Maaløe

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Joakim Edin, Casper L. Christensen, Róbert Csordás, Tuukka Ruotsalo, Zhengxuan Wu, Maria Maistro, Jing Huang, Lars Maaløe

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Grand Modèle de Langage (LLM) comme une cuisine immense et trépidante où des milliers de chefs (neurones et têtes d'attention) travaillent ensemble pour cuisiner un plat unique (la réponse du modèle). Pendant longtemps, les scientifiques qui tentaient de comprendre comment ces modèles fonctionnent ont utilisé une méthode appelée « localisation de circuit ». Leur objectif était de déterminer quels chefs sont précisément responsables de la saveur du plat.

L'ancienne méthode : l'erreur du « un par un »
Traditionnellement, les chercheurs tentaient d'identifier les chefs importants en les renvoyant chez eux un par un. Ils disaient : « Envoyons le Chef A rentrer chez lui pour la journée et voyons si la soupe a un goût différent. » Si la soupe a le même goût, ils supposent que le Chef A n'était pas important.

Le problème est que ces chefs ne travaillent pas de manière isolée ; ils se parlent et se remplacent les uns les autres. Si le Chef A est un maître pour hacher les oignons, mais que le Chef B est aussi un maître pour hacher les oignons et qu'il se tient juste à côté de lui, renvoyer le Chef A ne changera pas la soupe. Le Chef B reprendra simplement le couteau et continuera de hacher. Les chercheurs, ne voyant aucun changement, concluent à tort que le Chef A était inutile.

La nouvelle découverte : l'« auto-réparation de l'attention »
Les auteurs de cet article ont découvert une manière spécifique dont ce « remplacement mutuel » se produit dans l'IA, ce qu'ils appellent l'Auto-réparation de l'Attention (Attention Self-Repair).

Imaginez le mécanisme d'attention de l'IA comme un opérateur de projecteurs dans un théâtre. L'opérateur de projecteurs (le modèle) décide sur quels acteurs (mots) projeter une lumière vive. Parfois, deux acteurs se tiennent au même endroit et disent exactement la même chose. L'opérateur divise la lumière à 50/50 entre eux.

Si vous essayez d'atténuer la lumière sur l'Acteur A pour voir s'il est important, l'opérateur déplace instantanément ce surplus de lumière vers l'Acteur B. Parce que l'Acteur B dit la même chose, le public (le modèle) ne remarque aucune différence. Le « gradient » (le signal indiquant qui est important) disparaît, donnant l'impression que ni l'un ni l'autre n'était important. Mais en réalité, les deux étaient cruciaux ; ils avaient simplement un plan de secours.

La solution : GIM (Modifications d'Interaction de Gradient)
Pour corriger cela, les auteurs ont créé un nouvel outil appelé GIM. Au lieu de renvoyer un chef ou de tamiser un projecteur à la fois, GIM change les règles du jeu pour tenir compte du travail d'équipe. Il utilise trois astuces ingénieuses :

Le « Projecteur Chaleureux » (Softmax ajusté par la température) :
Imaginez que l'opérateur de projecteurs est habituellement très strict, donnant 90 % de la lumière au premier acteur et 10 % aux autres. GIM dit à l'opérateur d'être un peu plus détendu (augmenter la « température »). Désormais, la lumière est répartie plus uniformément. Quand vous atténuez la lumière d'un acteur, les autres ne prennent pas instantanément le relais car la lumière était déjà partagée plus largement. Cela révèle qui tenait réellement la lumière, même s'il avait de l'aide.
Geler le « Bouton de Volume » (Gel de la Layernorm) :
Dans la cuisine, il y a un bouton de volume principal qui ajuste le niveau sonore global de la pièce. Si un chef arrête de travailler, le bouton de volume augmente automatiquement le volume des autres pour maintenir un niveau sonore constant. Cela cache le fait qu'un chef est parti. GIM « gèle » ce bouton de volume, de sorte que lorsqu'un chef part, les autres ne deviennent pas artificiellement plus bruyants. Cela permet aux chercheurs de voir la véritable baisse de volume causée par le départ de ce chef.
La correction de l'« Outil Partagé » (Norme de Gradient) :
Parfois, deux chefs utilisent le même outil (comme un couteau partagé) pour hacher. Si vous mesurez à quel point le couteau a été utilisé, vous pourriez accidentellement compter deux fois le même coup, une fois pour chaque chef. GIM corrige cette erreur mathématique en divisant correctement le crédit, garantissant que personne ne soit compté deux fois pour la même action.

Les résultats
Lorsque les auteurs ont testé GIM sur divers modèles d'IA et tâches (comme résoudre des problèmes mathématiques ou répondre à des questions), il a fonctionné bien mieux que les anciennes méthodes.

Il a trouvé les parties « réelles » et importantes du modèle que les anciennes méthodes avaient manquées.
Il a prouvé que les anciennes méthodes sous-estimaient systématiquement l'importance de certaines parties de l'IA car elles ne comprenaient pas le travail d'équipe de l'« auto-réparation ».

En résumé
L'article soutient que nous ne pouvons pas comprendre les modèles d'IA complexes en regardant leurs parties de manière isolée. Parce que les parties s'entraident, supprimer une partie ne montre pas toujours sa véritable valeur. GIM est une nouvelle façon de regarder le modèle qui tient compte de ce travail d'équipe, offrant ainsi une carte beaucoup plus précise de la façon dont ces cerveaux numériques réfléchissent réellement.

Résumé technique : Correction de la localisation de circuits basée sur le gradient via une rétropropagation sensible aux interactions

Énoncé du problème

La localisation de circuits vise à identifier le sous-ensemble spécifique de composants du modèle (par exemple, les têtes d'attention, les neurones, les connexions) responsables de comportements spécifiques dans les grands modèles de langage (LLM) afin de permettre l'interprétabilité mécaniste. La plupart des méthodes existantes opèrent sous l'hypothèse que les composants agissent de manière indépendante, estimant l'importance en perturbant chaque composant de manière isolée.

Cependant, les composants des réseaux de neurones interagissent, et ignorer ces interactions conduit à une estimation erronée systématique de l'importance des composants. Les auteurs identifient une interaction spécifique et problématique nommée auto-réparation de l'attention (attention self-repair). Dans ce phénomène, lorsque plusieurs positions possèdent des poids d'attention élevés et contiennent des informations similaires (vecteurs de valeur), l'ablation d'un seul score d'attention a un effet minimal sur la sortie. Cela se produit parce que la fonction d'activation softmax redistribue le poids vers les positions redondantes restantes pour compenser. Par conséquent, les méthodes d'explication standard, qu'elles soient basées sur la perturbation ou sur le gradient, sous-estiment l'importance des composants contribuant à ces scores d'attention, entraînant souvent une disparition des gradients pour des scores pourtant influents.

Méthodologie : Modifications de l'interaction de gradient (GIM)

Le papier introduit les Modifications de l'interaction de gradient (GIM), une méthode d'attribution basée sur le gradient conçue pour estimer l'impact de la perturbation simultanée de plusieurs composants en interaction. GIM modifie la rétropropagation standard via trois techniques complémentaires :

Gradients Softmax ajustés par la température (TSG) :
- Motivation : Adresser l'auto-réparation de l'attention, où les gradients standards disparaissent car le gain de l'augmentation d'un poids softmax est annulé par la perte des autres lorsque les valeurs sont similaires.
- Mécanisme : Pendant la rétropropagation, TSG recompute le softmax avec une température élevée ( $T > 1$ ) avant de calculer les gradients. Cela aplatit la distribution de probabilité, réduisant les poids importants et augmentant les petits. En élargissant l'ensemble des positions « significatives », l'hypothèse selon laquelle les contributions sont identiques à travers ces positions est levée. Cela garantit que les différences de gradients par paire ( $g_j - g_k$ ) ne disparaissent pas, permettant au signal de gradient de survivre et d'approximer l'effet d'une perturbation simultanée.
Gel de la couche de normalisation (Layernorm Freeze) :
- Motivation : La normalisation de couche introduit une dynamique à somme nulle où l'ablation d'un composant réduit l'amplitude de l'activation, provoما l'amplification des composants restants par le facteur de normalisation (une forme d'auto-réparation).
- Mécanisme : Le facteur de normalisation ( $\sigma$ ) est traité comme une constante pendant la rétropropagation. Cela mesure la contribution directe de chaque composant avant que le rééchelonnement par la normalisation ne se produise, empêissant la sous-estimation de l'importance causée par l'amplification compensatoire.
Norme de gradient (Gradient Norm) :
- Motivation : Les opérations multiplicatives (par exemple, $A = QK^T$ où $Q$ et $K$ dépendent tous deux de l'entrée $X$ ) entraînent un double comptage dans les gradients standards de premier ordre. Perturber $X$ affecte simultanément $Q$ et $K$ , mais les règles de dérivation standard additionnent leurs effets individuels, surestimant ainsi le changement.
- Mécanisme : Les gradients des interactions multiplicatives sont divisés par le nombre d'entrées multiplicatives (par exemple, diviser par 2 pour $Q \times K$ ). Cela s'aligne sur la « règle uniforme » et corrige le surcomptage des contributions dans la multiplication attention-valeur, la multiplication requête-clé et la multiplication projection-porte de l'MLP.

Contributions clés

Cadre GIM : L'introduction d'une méthode d'attribution basée sur le gradient qui prend explicitement en compte les interactions de caractéristiques, atteignant des performances de pointe sur la piste de localisation de circuits du benchmark d'interprétabilité mécaniste (MIB).
Identification de l'auto-réparation de l'attention : L'identification formelle et la preuve que l'auto-réparation de l'attention (une interaction de type porte OU) provoque la disparition des gradients pour les scores d'attention influents, menant à une sous-estimation systématique de l'importance des composants.
Supériorité de l'attribution de caractéristiques : Démonstration que GIM surpasse les méthodes de gradient existantes en matière d'attribution de caractéristiques à travers diverses tâches et architectures de LLM.

Résultats

Localisation de circuits : Sur le MIB, GIM surpasse significativement les méthodes existantes (y compris EAP, EAP-IG, Hybrid-ens et IFR) sur plusieurs modèles (GPT-2, Qwen-2.5, Gemma-2, Llama-3.1) et tâches (Identification de l'objet indirect, Arithmétique, MCQA, ARC). Il atteint le ratio de performance de circuit (CPR) moyen le plus élevé, particulièrement sur les tâches nécessitant un raisonnement multi-étapes.
Attribution de caractéristiques : À travers sept LLM ajustés par instructions et six jeux de données (couvrant les questions-réponses, la vérification de faits, le sentiment et la détection de discours de haine), GIM obtient généralement des scores de complétude et de suffisance plus élevés que GradientXInput, Integrated Gradients, DeepLIFT et TransformerLRP.
Validation de l'auto-réparation : L'analyse empirique confirme que l'auto-réparation de l'attention est prévalente dans les vrais LLM, se produisant en moyenne 65 à 1200 fois par entrée. L'ablation conjointe de deux scores d'attention élevés produit un effet nettement plus important que la somme de leurs ablations individuelles, validant l'analyse théorique.
Étude d'ablation : Le retrait de toute modification unique (TSG, Layernorm Freeze ou Gradient Norm) de GIM dégrade les performances sur la plupart des paires modèle-jeu de données, confirmant que chaque composant contribue de manière significative à la fidélité de la méthode.

Signification

Le papier affirme que GIM permet une analyse mécaniste plus fidèle des LLM en corrigeant la sous-estimation systématique de l'importance des composants causée par les interactions de caractéristiques. En modélisant explicitement la façon dont les composants interagissent — spécifiquement via la redistribution softmax et le rééchelonnement de la normalisation — GIM fournit une image plus précise des mécanismes internes qui pilotent le comportement du modèle. Les auteurs positionnent GIM non pas comme une simple amélioration incrémentale, mais comme une correction nécessaire de l'« hypothèse d'indépendance » prévalente dans les outils d'interprétabilité actuels, permettant aux chercheurs d'identifier des circuits qui étaient auparavant obscurcis par la disparition des gradients. La méthode est publiée sous forme de package Python open-source pour faciliter une adoption plus large.