🤖 machine learning

The Curse of Multiple Mediators: Hidden Interaction Effects in Activation Patching

Cet article révèle que les estimations par patch d'activation en interprétabilité mécaniste confondent intrinsèquement les effets indirects naturels avec les effets d'interaction dépendants de l'état d'autres composants, soutenant qu'au lieu d'éliminer cette interaction, les chercheurs devraient l'exploiter comme un outil de diagnostic pour identifier les mécanismes causaux dépendants du prompt et les limites du classement glouton des composants.

Auteurs originaux : Sankaran Vaidyanathan, David Arbour, Aaron Mueller, Scott Niekum, David Jensen

Publié 2026-06-29

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sankaran Vaidyanathan, David Arbour, Aaron Mueller, Scott Niekum, David Jensen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : L'illusion de l'« Acte Solo »

Imaginez que vous essayiez de déterminer quel musicien d'un groupe est responsable d'une partie spécifique d'une chanson. Vous disposez d'un outil magique appelé Activation Patching (le patch d'activation). Cet outil fonctionne comme un « bouton de sourdine voyageur dans le temps ».

Pour tester un musicien spécifique (appelons-le le Guitariste) :

Vous enregistrez le groupe jouant la chanson parfaitement (Entrée Propre / Clean Input).
Vous enregistrez le groupe jouant une version légèrement ratée de la chanson (Entrée Corrompue / Corrupted Input).
Le Patch : Vous prenez la performance du Guitariste de l'enregistrement parfait et vous la collez dans l'enregistrement raté.
Le Résultat : Si la chanson sonne mieux, vous supposez que le Guitariste est le héros. Si elle sonne de la même manière, vous supposez que le Guitariste n'a pas d'importance.

Pendant des années, les chercheurs ont utilisé cette méthode pour classer les parties importantes des modèles d'IA (réseaux de neurones). Ils appellent cette mesure l'NIE (Effet Indirect Naturel).

Le Problème : La « Poignée de Main Cachée »

L'article soutient que ce test de l'« Acte Solo » est imparfait car il ignore les Effets d'Interaction (INT).

Dans un vrai groupe, les musiciens ne jouent pas seulement seuls ; ils s'écoutent les uns les autres. Le Guitariste peut jouer un solo qui ne sonne bien que si le Batteur maintient un rythme régulier. Si le Batteur fait des erreurs, le solo du Guitariste peut sonner terriblement, même si le Guitariste est talentueux.

Dans le modèle d'IA, il existe une « porte dérobée » appelée le Residual Stream (flux résiduel). C'est comme un canal latéral qui permet aux informations de contourner le composant que vous testez.

Quand vous testez le Guitariste, vous corrigez ses notes (Propre) mais vous laissez le reste du groupe jouer la version ratée (Corrompue).
Les notes « propres » du Guitariste tentent de se mélanger au rythme « raté » du Batteur.
Parce que le modèle est complexe et non linéaire (comme une session de jam chaotique), le résultat n'est pas simplement « Guitariste + Batteur ». C'est une collision étrange et imprévisible des deux.

L'article prouve que le score que vous obtenez (NIE) est en réalité un mélange de deux choses :

PIE (Effet Indirect Pur) : À quel point le Guitariste est bon par lui-même.
INT (Effet d'Interaction) : À quel point la performance du Guitariste dépend du reste du groupe.

Le Piège : Le test standard (NIE) vous donne la somme des deux, mais ne vous dit pas lequel est lequel.

Les Trois Scénarios (Ce que l'article a découvert)

Les auteurs ont testé cela sur une tâche d'IA célèbre appelée IOI (Identification de l'Objet Indirect), où l'IA doit deviner qui a fait quoi à qui dans une phrase comme « John a donné le livre à Mary ». Ils ont trouvé trois façons distinctes dont cette « interaction » fausse les classements :

1. Le « Plan de Secours » (Héros Cachés)

La Situation : Imaginez que le Guitariste soit le soliste principal, mais qu'il y ait un Guitariste de Secours qui joue exactement les mêmes notes.
Le Défaut : Lorsque vous testez le Guitariste de Secours seul, le Guitariste Principal joue toujours la version ratée. Le Guitariste de Secours tente de corriger le tir, mais le mauvais rythme du Guitariste Principal ruine la tentative du Secours.
Le Résultat : Le Guitariste de Secours reçoit un score terrible (NIE) parce que l'interaction est négative. Le test dit : « Ce musicien est inutile ! »
Réalité : Le Guitariste de Secours est en fait vital. Si vous retirez le Guitariste Principal, le Secours sauve la mise. Mais le test standard cache cela car il ne tient pas compte du « travail d'équipe » nécessaire pour voir sa valeur.

2. Le « Spécialiste du Contexte » (Le Partenaire Silencieux)

La Situation : Imaginez un Musicien qui ne joue une note spécifique que si le Batteur joue un rythme spécifique.
Le Défaut : Lorsque vous testez ce Musicien seul, le Batteur joue le mauvais rythme. La note spéciale du Musicien ne se déclenche pas car la condition n'est pas remplie.
Le Résultat : Le Musicien obtient un score de zéro. Le test dit : « Ce musicien ne fait rien. »
Réalité : Ce Musicien est essentiel, mais seulement quand le reste du groupe fonctionne correctement. Le test standard le manque totalement car il l'isole du contexte dont il a besoin pour briller.

3. Le « Saboteur » (Le Joueur Nuisible)

La Situation : Imaginez un Musicien qui joue une note terrible qui ruine la chanson, mais le reste du groupe possède un truc spécial de « réduction de bruit » qui corrige cela.
Le Défaut : Lorsque vous testez ce Musicien seul, le reste du groupe est déréglé, donc ils ne peuvent pas utiliser leur truc de réduction de bruit. La mauvaise note du Musicien détruit la chanson.
Le Résultat : Le Musicien reçoit un énorme score négatif.
Réalité : Ce Musicien fait partie d'un système complexe où sa « mauvaise » note est intentionnellement contrebalancée par les autres. Le test ne voit que la destruction, pas l'équilibre.

Pourquoi est-ce important (Le « Et alors ? »)

L'article avance trois points principaux :

Les classements sont faux : Si vous classez les composants de l'IA selon le score standard (NIE), vous manquerez les héros de « Secours » et les « Spécialistes du Contexte ». Vous pourriez penser que l'IA fonctionne d'une certaine manière, alors que vous regardez une image déformée.
Ce n'est pas un bug, c'est une fonctionnalité : Les auteurs soutiennent que nous ne devrions pas essayer de « corriger » les mathématiques pour supprimer ces interactions. Au lieu de cela, nous devrions les mesurer.
- Si le score d'interaction est négatif, cela signifie que le composant est un « Secours » (il aide quand les autres échouent).
- Si le score d'interaction est positif, cela signifie que le composant est un « Spécialiste du Contexte » (il a besoin des autres pour fonctionner).
Le problème du « Prompt » : L'article montre que ces scores d'interaction changent radicalement selon la phrase spécifique (le prompt) que vous utilisez. Si vous modifiez légèrement la phrase, le « Secours » peut cesser d'être un secours, et le « Spécialiste » peut cesser de fonctionner. Cela explique pourquoi les études de circuits d'IA donnent souvent des résultats incohérents.

La Conclusion

L'article conclut que l'Activation Patching (l'outil standard) est comme regarder une pièce de puzzle de manière isolée. On peut voir sa forme, mais on ne peut pas voir comment elle s'ajuste avec ses voisines.

L'« Effet d'Interaction » (INT) est l'information manquante. Il nous dit que dans les modèles d'IA complexes, aucun composant ne travaille seul. Pour vraiment comprendre comment une IA pense, nous devons arrêter de demander « Que fait cette partie ? » et commencer à demander « Que fait cette partie quand le reste du modèle fait X ? »

Les auteurs proposent une nouvelle façon de calculer ces interactions, permettant aux chercheurs de enfin repérer les mécanismes de « Secours » et les « Spécialistes du Contexte » qui étaient auparavant invisibles, transformant un chaos de données en une carte plus claire de la façon dont l'IA fonctionne réellement.

Résumé Technique : La Malédiction des Multiples Médiateurs : Effets d'Interaction Cachés dans le Patching d'Activation

1. Énoncé du Problème

Le patching d'activation est la méthode de référence en interprétabilité mécaniste pour attribuer la responsabilité causale à des composants individuels de réseaux de neurones. Il opérationnalise l'Effet Indirect Naturel (NIE) de l'analyse de médiation causale en substituant les activations d'un composant par des valeurs contrefactuelles (typiquement issues d'une entrée « propre ») et en mesurant le changement résultant sur la sortie.

Cependant, l'article identifie une faille fondamentale dans cette approche lorsqu'elle est appliquée aux transformers : le NIE ne capture pas uniquement l'effet causal circulant à travers un composant spécifique. En raison de l'architecture du flux résiduel (residual stream) du transformer, qui fournit des chemins de dérivation (skip connections) autour de chaque composant, le NIE confond la contribution directe du composant avec des effets d'interaction (INT). Ces interactions mesurent comment l'effet causal d'un composant dépend de l'état d'autres composants (le bypass). Par conséquent, les classements standards de patching d'activation peuvent être trompeurs, faisant apparaître des mécanismes de « secours » fonctionnellement importants comme invisibles (faux négatifs) ou gonflant artificiellement l'importance d'autres composants.

2. Méthodologie

Les auteurs redérivent l'estimand du patching d'activation sous l'angle de l'analyse de médiation causale, en traitant spécifiquement la condition structurelle de « témoins rétractaires » (recanting witnesses) inhérente aux connexions de saut des transformers.

Décomposition Théorique : L'article décompose mathématiquement l'estimateur de « noising » standard (la méthode par défaut du patching d'activation) en deux quantités causales distinctes :
1. Effet Indirect Pur (PIE) : Le chemin d'effet spécifique circulant exclusivement à travers le composant cible, bloquant efficacement tous les chemins de dérivation.
2. Effet d'Interaction (INT) : L'interaction médiée entre le composant et son bypass.
  La relation est définie comme : $NIE = PIE + INT$.
  L'article définit également un estimateur de « denoising » qui, comme les auteurs le montrent, calcule directement le PIE, contrastant ainsi avec le NIE calculé par le noising.
Analyse Théorique :
- Approximation du Second Ordre : Les auteurs prouvent que l'INT varie proportionnellement à la distance entre les activations propres et patchées. Plus précisément, l'INT est approximé par la dérivée directionnelle mixte du second ordre (forme bilinéaire de la Hessienne) de la fonction en aval par rapport aux perturbations dans le composant et son bypass. L'INT s'annule si la carte en aval est localement affine ou si les perturbations sont nulles.
- Décomposition Multi-Composants : En utilisant les principes d'inclusion-exclusion, les auteurs étendent la décomposition à des ensembles de composants. Ils montrent que l'effet total du patching d'un ensemble de nœuds se décompose en la somme des PIE individuels, des INT individuels et des interactions entre composants ($xINT$) entre sous-ensembles de nœuds.
Validation Empirique :
- Jeux de Données : Les expériences utilisent le circuit IOI (Identification de l'Objet Indirect) de GPT-2, ainsi que les tâches de Biais de Genre, de Comparaison (Greater Than) et SVA.
- Modèles : GPT-2 Small, Pythia-70M et Qwen2.5-0.5B.
- Métriques : L'étude compare les classements basés sur le NIE par rapport au PIE, analyse la variance des scores de fidélité (faithfulness) et examine l'ampleur de l'INT à travers différents groupes de têtes fonctionnelles (ex: Name Movers, Induction heads).

3. Contributions Clés et Résultats

A. Divergence des Classements NIE et PIE

L'article démontre que le NIE et le PIE induisent des classements de l'importance des composants substantiellement différents.

Corrélation de Rang : Sur la tâche GPT-2 IOI, la corrélation de rang de Spearman entre le NIE et le PIE est aussi basse que $\rho = 0,51$ .
Dépendance au Prompt : La divergence est pilotée par la distance sémantique entre les prompts propres et contrefactuels. Les tâches avec des prompts sémantiquement proches (ex: Biais de Genre) présentent une corrélation élevée ( $\rho \approx 0,99$ ), tandis que les tâches avec de plus grandes perturbations (ex: IOI avec corruption pABC) présentent une faible corrélation.

B. Le Rôle des Effets d'Interaction (INT)

Mécanismes de Secours (Backup Mechanisms) : Dans le circuit IOI, les « Backup Name Mover Heads » (BNMH) possèdent des scores PIE élevés, mais sont supprimés dans les classements NIE en raison d'un INT négatif. Leur contribution est conditionnelle à l'ablation des têtes Name Mover primaires ; lorsque les têtes primaires sont actives (input propre), la contribution marginale des têtes de secours rétrécit, entraînant un terme d'interaction négatif qui abaisse leur score NIE.
Mécanismes Contextuels : Des têtes comme Duplicate Token (DTH), Induction, et Previous Token (PTH) ont des scores PIE proches de zéro car leur contribution repose entièrement sur la présence d'autres composants actifs. Par conséquent, elles sont invisibles au classement basé sur le PIE, mais sont capturées par le NIE (qui inclut l'INT positif).
Mécanismes Nuisibles : Les Negative Name Mover Heads (NNMH) présentent un PIE négatif (nuisant à la performance) mais un INT positif (partiellement opposé par d'autres têtes), illustrant comment l'INT peut masquer des composants nuisibles.

C. Explication de l'Instabilité de la Fidélité (Faithfulness)

L'article fournit une explication mécaniste à la haute variabilité des « scores de fidélité » (métriques évaluant la capacité d'un circuit à récupérer la performance du modèle).

Variance de l'Interaction Croisée : Les scores de fidélité se décomposent en PIE, INT individuel et INT entre composants ($xINT$). Les auteurs constatent que les termes $xINT$ présentent une variance nettement plus élevée entre les différents templates de prompts (ex: ABBA vs BABA) que les termes PIE.
Magnitude : Dans la tâche IOI, la somme des PIE individuels prédit un effet bien plus grand que la performance réelle du circuit. Cette divergence est expliquée par de larges interactions croisées négatives ($xINT$), indiquant que les têtes produisent collectivement moins que la somme de leurs parties individuelles en raison d'un couplage non linéaire.

D. Limites des Remèdes

Les auteurs soutiennent que le simple fait de supprimer l'INT pour classer par PIE introduit de nouveaux modes de défaillance. Bien que le PIE identifie correctement les mécanismes de secours, il échoue à identifier les mécanismes contextuels (comme les têtes d'Induction) qui sont essentiels au fonctionnement du circuit mais possèdent un effet de chemin spécifique nul. Ainsi, ni le NIE ni le PIE ne fournissent à eux seuls une image complète.

4. Signification et Revendications

L'article affirme que les effets d'interaction ne sont pas une nuisance à éliminer, mais un outil de diagnostic de la médiation causale dans les transformers.

Théorie Unificatrice : La présence de l'INT offre une explication unificatrice à plusieurs pathologies connues de l'interprétabilité mécaniste, notamment l'échec du classement gourmand (greedy ranking) des composants, l'instabilité des scores de fidélité selon les prompts, et la difficulté de découvrir les mécanismes de secours sans recherche combinatoire.
Recadrage de l'Interprétabilité : Les auteurs soutiennent que l'INT est une affirmation vérifiable des hypothèses du patching d'activation. Il signale quand les conclusions causales dépendent du prompt et quand le classement gourmand risque de manquer des mécanismes découvrables uniquement par recherche combinatoire.
Utilité Pratique : Bien que l'INT ne supprime pas la nécessité d'une recherche combinatoire pour résoudre toutes les pathologies, il est mesurable à diverses granularités. Les praticiens peuvent utiliser la magnitude et le signe de l'INT pour identifier quand leurs conclusions sont dignes de confiance, ou quand ils sont susceptibles de manquer des mécanismes critiques dépendants du contexte ou de secours.

L'article conclut que la « Malédiction des Multiples Médiateurs » est une propriété inhérente à l'architecture des transformers et à la médiation causale, exigeant un passage d'une vision des composants isolés vers la compréhension de leurs rôles interactifs et dépendants de l'état.