Résumé Technique : Quand le Patching d'Attribution Ment

Énoncé du Problème

L'interprétabilité mécaniste repose sur la localisation causale pour identifier quels composants internes (neurones, têtes d'attention) pilotent des comportements spécifiques du modèle. L'étalon-or pour cela est le patching d'activation, qui mesure l'effet causal du remplacement de l'activation d'un composant sous une entrée corrompue par sa valeur provenant d'une entrée propre. Cependant, le patching d'activation est prohibitivement coûteux à grande échelle car son coût croît linéairement avec le nombre de composants.

Par conséquent, les praticiens ont recours au patching d'attribution, une approximation de premier ordre basée sur le gradient qui linéarise l'effet d'une intervention autour d'une activation corrompue. Bien qu'efficace, la fiabilité du patching d'attribution est mal comprise. Des erreurs systématiques dans ces estimations peuvent conduire à une mauvaise identification des circuits sous-jacents. Des travaux antérieurs ont identifié des modes de défaillance spécifiques (ex: mésappariement de la région d'activation, redistribution du softmax) et proposé des remèdes partiels, mais une question fondamentale demeure : Quand le patching d'attribution est-il fiable, quelle peut être l'ampleur de son erreur, et comment doit-il être corrigé ?

Méthodologie et Insight Central

Les auteurs analysent la structure de l'erreur de patching d'attribution en utilisant un développement de Taylor du second ordre. Ils décomposent l'erreur $E$ entre l'effet causal réel ($\Delta$) et l'estimation de premier ordre ($\hat{\Delta}$) en deux composantes :
$$E = \underbrace{\frac{1}{2} \delta^\top H \delta}_{\text{Terme Quadratique Dominant}} + \underbrace{\Phi(\delta)}_{\text{Reste Cubique}}$$
où $\delta$ est la direction de la perturbation et $H$ est la Hessienne de la métrique de sortie scalaire par rapport à l'activation.

Insight Clé : Courbure Aval vs Locale

Une découverte critique est que le terme d'erreur dominant provient de la réponse du réseau (comment la perturbation se propage à travers le reste du modèle) plutôt que de la courbure locale au niveau du composant patché lui-même.

• Échec des Correctifs Précédents : Les méthodes antérieures (ex: AtP*, GIM) tentent de corriger les erreurs en utilisant la courbure d'activation locale (ex: la dérivée seconde de la fonction d'activation). Les auteurs démontrent que la courbure locale est un mauvais prédicteur de l'erreur réelle, montrant une corrélation quasi nulle ($r=0,04$) et sous-estimant la source réelle de l'erreur par des facteurs de 2 à 66$\times$.
• Correction au Niveau du Réseau : La véritable erreur dépend du produit Hessien-Vecteur (HVP) de l'ensemble du graphe de calcul.

La Solution Proposée : Screen–Flag–Fix (Filtrer–Signaler–Corriger)

Sur la base de cette décomposition, les auteurs proposent un flux de travail évolutif :

1. Screen (Filtrer) : Calculer le patching d'attribution standard pour tous les composants (un passage arrière/backward pass).
2. Flag (Signaler) : Calculer un Score de Fiabilité ($\tilde{R}$) défini comme l'amplitude du terme quadratique par rapport à l'estimation de premier ordre :
   $$\tilde{R} = \frac{|\delta^\top H \delta|}{2 |\hat{\Delta}|}$$
   Un $\tilde{R}$ élevé indique que le terme quadratique omis est significatif, signalant l'estimation comme peu fiable.
3. Fix (Corriger) : Appliquer une correction de second ordre basée sur le HVP uniquement aux composants signalés.
   • HVP Standard : Ajoute le terme $\frac{1}{2} \delta^\top H \delta$ à l'estimation. Cela nécessite deux passages arrière (un pour calculer le gradient, un pour calculer le HVP).
   • MS-HVP (Multi-Step HVP) : Pour les grandes perturbations où une étape de Taylor unique pourrait dépasser la cible (violant l'hypothèse de lissage local), la correction est divisée en $K$ sous-étapes. Cela réduit l'erreur résiduelle de $O(\|\delta\|^2)$ à $O(\|\delta\|^3/K^2)$.

Principales Contributions

1. Recadrage de la Fiabilité de l'Attribution : Les auteurs tracent la source dominante de l'erreur vers la réponse du réseau en aval plutôt que vers la non-linéarité locale, expliquant pourquoi les correctifs locaux antérieurs sont structurellement incomplets.
2. Correction de Second Ordre Évolutive : Ils introduisent le HVP et le MS-HVP comme les premières corrections de second ordre démontrées comme étant réalisables à grande échelle (jusqu'à 9B de paramètres). Contraques aux Gradients Intégrés (IG), qui deviennent informatiquement infaisables à cette échelle (nécessitant environ 25 jours-GPU par tâche), le HVP reste traitable.
3. Espace de Conception et Flux de Travail : Ils organisent les méthodes de raffinement antérieures par leurs objectifs et proposent un pipeline "Screen-Flag-Fix" qui cible l'effort de calcul uniquement vers les composants peu fiables, équilibrant précision et efficacité.

Résultats Expérimentaux

Les auteurs ont évalué leur méthode à travers cinq familles de modèles (124M–9B de paramètres) et plusieurs tâches (IOI, Greater-Than, Complétion Factuelle).

• Réduction de l'Erreur : La correction HVP standard réduit l'erreur relative top-5 de 72–90 % sur les têtes d'attention et de 56–67 % sur les neurones MLP pré-activation dans les régimes de faible à modérée courbure. Dans les régimes pathologiques de haute courbure (ex: Pythia-410M IOI), un HVP à étape unique peut dépasser la cible, mais le MS-HVP (K=5) rétablit la stabilité, réduisant l'erreur jusqu'à 82 %.
• Comparaison aux Baselines :
  • vs. Gradients Intégrés (IG) : À coût computationnel égal, MS-HVP égale ou dépasse la précision de l'IG. Sur GPT-2 IOI, MS-HVP (coût 10) surpasse nettement l'IG (coût 35) avec un gain d'efficacité de 3,5$\times$.
  • vs. Hessiennes Intégrées (IH) : L'IH est systématiquement moins performante que le MS-HVP car son schéma de pondération (conçu pour les interactions de caractéristiques) sous-corrige systématiquement le terme d'erreur spécifique pertinent pour le patching d'attribution.
  • vs. GIM/AtP :* Ces méthodes apportent des gains modestes ou dégradent les performances, particulièrement dans les grands modèles où la courbure du réseau de haut niveau domine.
• Récupération de Circuits : Les gains de précision par composant se traduisent par une meilleure récupération de circuit. Sur le benchmark GPT-2 Greater-Than, le MS-HVP (K=5) a amélioré le chevauchement top-5 des têtes avec la vérité terrain de 70,1 % à 83,2 %, surpassant à la fois l'IG et le GIM.
• Scalabilité : À 8B+ de paramètres, l'IG est infaisable, tandis que le HVP reste pratique. Le MS-HPV est la seule correction de second ordre démontrée à cette échelle.

Signification et Revendications

L'article affirme que le patching d'attribution n'est pas intrinsèquement peu fiable, mais souffre d'une source d'erreur spécifique et correctible : la négligence de la courbure du réseau en aval. En déplaçant l'attention des propriétés locales d'activation vers les produits Hessien-Vecteur du niveau réseau, les auteurs fournissent un compte rendu général de quand le patching d'attribution échoue et comment le corriger.

La signification réside dans la possibilité d'une récupération de circuit à haute fidélité à des échelles auparavant inaccessibles aux tests causaux rigoureux. Le flux de travail Screen-Flag-Fix permet aux praticiens de conserver la rapidité des approximations de premier ordre pour les composants fiables tout en appliquant des corrections de second ordre ciblées et efficacement calculées là où elles sont nécessaires. Cette approche soutient la découverte de circuits mécanistes dans les modèles de langage modernes sans le coût prohibitif du patching d'activation complet ou des méthodes d'intégration de chemin comme les Gradients Intégrés.