Résumé Technique : Héros Cachés et Gonflements de Gradient

Énoncé du Problème

L'attribution basée sur les gradients est un outil fondamental en interprétabilité mécaniste, largement utilisé pour l'élagage, la découverte de circuits et l'audit des modèles Transformer. L'hypothèse prédominante est que l'amplitude du gradient d'un composant indique de manière fiable son importance causale dans la conduite du comportement du modèle, en particulier pour la généralisation hors distribution (OOD). Cependant, cet article soutient que cette hypothèse reste largement intestée face aux interventions causales. Si l'amplitude du gradient échoue systématiquement à identifier les composants architecturaux qui pilotent le calcul réel, les pipelines qui s'y fient risquent d'élaguer des composants critiques ou d'identifier des « circuits » qui ne sont que des artefacts de la méthode d'attribution plutôt que de véritables structures computationnelles.

Méthodologie

Les auteurs évaluent la fiabilité de l'attribution par gradient à l'aide d'une configuration expérimentale contrôlée conçue pour isoler les structures causales :

• Tâches et Modèles : L'étude utilise deux benchmarks algorithmiques — Inversion de Séquence et Tri de Séquence — utilisant des entiers $x \in \{1, \dots, 99\}$. Les modèles sont des Transformers décodeur-seul avec $L=4$ couches et $H=4$ têtes (20 composants au total : 16 têtes d'attention et 4 MLP). Ces tâches ont été choisies car leurs structures causales sont entièrement mesurables et leurs circuits relativement simples, représentant un scénario « idéal » pour l'attribution par gradient.
• Amplitude du Gradient ($G$) : Pour chaque composant, les auteurs calculent la norme de Frobenius moyenne normalisée du gradient sur 50 lots OOD. Pour assurer une comparaison équitable entre sous-couches hétérogènes (par exemple, matrices d'attention vs matrices MLP), les gradients sont normalisés par la racine carrée du nombre de paramètres. La mesure isole $W_V$ et $W_{out}$ pour borner la contribution au flux résiduel.
• Importance Causale ($C$) : La nécessité fonctionnelle est mesurée via des expériences d'ablation sur des longueurs de séquence OOD ($N \in \{8, 9, 10, 11\}$). Deux bases de référence sont utilisées :
  • Ablation Moyenne : Remplacement de la sortie d'un composant par son activation moyenne.
  • Ablation Zéro : Remplacement de la sortie par un vecteur nul.
  • La précision est mesurée comme la correspondance exacte de la séquence.
• Quantification de l'Écart : Le désalignement est quantifié en utilisant la corrélation de Spearman ($\rho$) entre l'amplitude du gradient et l'importance causale. Les composants sont classés en fonction de la différence de rang ($\Delta_i$) :
  • Héros Cachés : Faible gradient mais essentiel causalement ($\Delta_i \le -6$).
  • Gonflements de Gradient : Fort gradient mais impact causal négligeable ($\Delta_i \ge 6$).
  • Alignés : Accord entre les mesures ($|\Delta_i| < 6$).
• Validation : L'étude couvre jusqu'à 10 graines aléatoires et inclut des expériences d'ablation conjointe pour tester la redondance.

Résultats Clés

1. Échec Systématique de l'Attribution par Gradient

La corrélation entre l'amplitude du gradient et l'importance causale est fortement dépendante de la tâche et s'effondre souvent :

• Inversion de Séquence : Montre une corrélation modérée ($\rho = 0,72$).
• Tri de Séquence : Montre un effondrement sévère ($\rho = 0,27$).
• Graines Individuelles : Dans des graines spécifiques, la corrélation chute à près de zéro ($\rho \approx 0,00$) ou devient négativement prédictive ($\rho = -0,18$), indiquant que des gradients élevés peuvent activement induire en erreur concernant la nécessité fonctionnelle.

2. Inversion Structurelle par Couche

L'échec n'est pas un bruit aléatoire mais présente une structure stable, par couche :

• Gonflements de Gradient : Se concentrent dans les premières couches (spécifiquement la Couche 1). Ces composants reçoivent des signaux de gradient élevés mais sont individuellement dispensables.
• Héros Cachés : Se concentrent dans les dernières couches (spécifiquement la Couche 3). Ces composants ont des signaux de gradient faibles mais sont causalement indispensables.
• Stabilité : Des têtes spécifiques occupent des rôles cohérents à travers les graines (par exemple, L3 H3 est un Héros Caché dans 7/10 graines de tri ; L1 H1 et L1 H3 sont des Gonflements dans 6/10 graines).

3. Le Paradoxe de la Redondance et la Superadditivité

Le mécanisme à l'origine de l'échec est identifié comme la redondance collective :

• Ablation Individuelle vs Conjointe : Lorsque les Gonflements de Gradient sont ablatés individuellement, la baisse de précision est négligeable (3,1 % par composant). Cependant, lorsqu'ils sont ablatés conjointement, la précision s'effondre de 43,8 %.
• Superadditivité : Le dommage conjoint est 14 fois plus grand que la somme des prédictions individuelles. Cela révèle que les Gonflements forment un circuit distribué et redondant où les composants se compensent mutuellement.
• Limitation des Méthodes du Premier Ordre : L'attribution par gradient, mesurant uniquement la sensibilité locale à la perte, attribue un signal élevé à tous les composants actifs dans un circuit redondant, échouant à distinguer entre les unités individuellement redondantes et les unités individuellement critiques.

4. Impact sur la Généralisation

• Héros Cachés : L'ablation de ces composants provoque une chute dévastatrice de la précision OOD (changement moyen de $-36,4\% \pm 22,8\%$ sur l'inversion), malgré leurs classements de gradient faibles.
• Gonflements de Gradient : Bien que moins critiques individuellement, leur retrait collectif révèle la redondance cachée, provoquant une variance significative dans les résultats d'élagage en fonction de la topologie spécifique du circuit de la graine.

Signification et Revendications

L'article affirme que l'amplitude du gradient est un proxy systématiquement inversé pour l'importance causale dans les tâches algorithmiques, piloté par une division du travail où les premières couches apprennent des extracteurs de caractéristiques larges à fort gradient et les dernières couches implémentent une logique éparses et causalement indispensable.

• Insight Mécaniste : Les résultats suggèrent que les « circuits » identifiés via des méthodes basées sur les gradients peuvent être des artefacts de la méthode d'attribution, passant sous silence les véritables moteurs de la généralisation (Héros Cachés) tout en surévaluant les caractéristiques redondantes des premières couches (Gonflements de Gradient).
• Prérequis pour les Revendications : Les auteurs soutiennent que la validation causale (via ablation ou patching) doit être un préalable à toute revendication au niveau du circuit ou à toute stratégie d'élagage, car les heuristiques basées sur les gradients seules sont insuffisantes et potentiellement destructrices pour la généralisation OOD.
• Portée : L'étude positionne ces résultats comme une borne inférieure de l'échec de l'attribution ; les auteurs suggèrent que l'écart peut être exacerbé dans des contextes naturalistes avec une redondance et une complexité accrues.

L'article conclut en appelant à une réévaluation des méthodes d'attribution à la lumière des topologies de circuits redondants et met en évidence la nécessité de suivre la dynamique temporelle du « grokking » pour comprendre comment ces structures par couche émergent durant l'entraînement.