Beyond Importance: Interchange-Sobol Sensitivity Reveals Task-Specific Content Channels in Transformer Components

Résumé Technique : Au-delà de l'importance : la sensibilité d'Interchange-Sobol révèle des canaux de contenu spécifiques aux tâches dans les composants des Transformers

Énoncé du problème
Les méthodes actuelles d'interprétabilité mécaniste résument généralement les composants des transformers à l'aide d'un score d'importance scalaire unique (par exemple, via l'attribution directe au logit, l'ablation par mise à zéro, ou l'attribution basée sur le gradient). Les auteurs soutiennent que cette approche confond deux rôles fonctionnels distincts :

1. Transport de contenu : Un composant est important parce qu'il transporte des informations pertinentes pour la tâche ; remplacer son activation par un contenu alternatif perturbe la sortie du modèle.
2. Substrat de calcul : Un composant est important parce que sa présence est nécessaire pour que le calcul de propagation avant fonctionne ; sa suppression (par exemple, via une ablation par mise à zéro) dégrade les performances.

Les mesures d'importance standard échouent souvent à distinguer ces deux rôles. Par exemple, dans les tâches de rappel de faits, les méthodes standard peuvent classer les composants des premières couches avec une faible importance, pourtant, le remplacement de leurs activations par des activations de donneurs appariées provoque l'effondrement de la réponse correcte, indiquant qu'il s'agit de canaux de contenu critiques que les métriques basées sur la suppression sous-estiment.

Méthodologie : Décomposition de Sobol par Interchange de Groupes (IGSD)
Le papier introduit l'IGSD, un cadre d'intervention appariée conçu pour séparer le transport de contenu de la sensibilité à la suppression.

• Interventions appariées : Pour un groupe local de couche spécifique $g$ (attention ou MLP) et un prompt de base $x_A$, l'IGSD effectue deux interventions en utilisant un prompt donneur apparié $x_B$ :
  1. Intervention de permutation (Swap) : Remplace l'activation $h_g(x_A, t)$ par l'activation appariée du donneur $h_g(x_B, t)$.
  2. Intervention par mise à zéro (Zero) : Remplace la même activation par un vecteur nul.
• Indices de variance : La méthode estime deux indices de variance de type Sobol normalisés par la variance de sortie :
  • $ST_{swap}(g)$ : Sensibilité au remplacement par un contenu apparié.
  • $ST_{zero}(g)$ : Sensibilité à la suppression (mise à zéro).
• Décomposition des rôles : La métrique centrale est la différence signée $\delta(g) = ST_{swap}(g) - ST_{zero}(g)$.
  • $\delta(g) > 0$ : Le composant agit comme un canal de transport de contenu. Un contenu incorrect est plus perturbateur qu'une absence.
  • $\delta(g) < 0$ : Le composant agit comme un substrat sensible à la suppression. L'absence est plus perturbatrice qu'un contenu alternatif.
• Diagnostics de validité : Pour garantir que les interventions restent sur la variété (manifold) des données, le papier surveille $\hat{ST} > 1$. Si une estimation dépasse 1, cela signale que l'intervention est hors-variété (violant l'hypothèse de mesure produit des indices de Sobol idéaux), et le groupe est exclu de l'interprétation.
• Garanties théoriques : Le papier fournit :
  • Une borne de spécification erronée reliant l'indice de paire appariée à un indice de Sobol idéalisé (Proposition 1).
  • La normalité asymptotique et la cohérence de l'inférence par bootstrap apparié pour $\delta(g)$ (Proposition 2).
  • Des résultats d'identification liant le signe des contrastes de compartiments factoriels aux facteurs de contenu dominants (sujet vs relation) (Proposition 3).
  • Une décomposition contenu-substrat latente montrant comment $\delta(g)$ isole la dominance de la masse de contenu ($C_g$) par rapport à la masse de substrat ($N_g$) (Proposition 4).

Contributions clés

1. Formulation du cadre : L'IGSD est formulé comme un cadre d'intervention appariée avec une inférence par paires correspondantes et un design de donneur factoriel, soutenu par des bornes théoriques sur la fidélité de l'interchange et les erreurs de dépendance.
2. Découverte de canaux spécifiques aux tâches : À travers diverses tâches, l'IGSD identifie des profils de transport de contenu localisés et spécifiques à la tâche à la position du dernier jeton aligné avec la réponse.
   • Rappel de faits : Dans GPT-2 small et Qwen2.5-1.5B, l'IGSD identifie un canal de contenu de couche précoce (spécifiquement $MLP_{L0}$ dans GPT-2 small) que les méthodes d'importance standard classent bas (ex: #11–#13), mais que l'IGSD classe n°1.
   • Granularité : La méthode s'affine jusqu'à la granularité des têtes, récupérant la tête de récupération factuelle connue $Attn_{L9H8}$.
   • Dissociation de contenu : Des designs de donneurs contrôlés révèlent que le canal précoce ($MLP_{L0}$) transporte le contenu du cadre de relation (ex: le template "X est citoyen de"), tandis que l'attention tardive ($Attn_{L9}$) transporte le contenu de récupération du sujet.
3. Validation en aval :
   • Calage de couche tardive : Des expériences confirment que le signal précoce n'est pas simplement transmis via les résidus mais est fonctionnellement transformé par les calculs ultérieurs des couches tardives (spécifiquement les MLPs tardifs).
   • Utilité de l'élagage (Pruning) : Les composants identifiés comme canaux de transport de contenu sont des cibles naturelles pour l'édition de connaissances, tandis que les composants qui ne sont ni porteurs de contenu ni sensibles à la suppression sont des candidats pour un élagage structuré. Les expériences montrent que l'élagage basé sur les classements IGSD conserve une précision nettement plus élevée (70,0 %) par rapport à l'élagage basé sur les classements par ablation par zéro (57,4 %).

Résultats

• Rappel de faits : Dans GPT-2 small, la permutation de $MLP_{L0}$ fait chuter la réponse correcte du rang #1 au rang #95, alors que l'ablation par zéro a un effet beaucoup plus faible. L'IGSD identifie correctement cela comme un canal sensible au contenu ($\hat{\delta} = 0,103$), alors que les métriques standard (DLA, AtP*) échouent à le prioriser.
• Spécificité des tâches : Le rôle d'un composant n'est pas fixe. Dans l'Identification de l'Objet Indirect (IOI), le contraste positif dominant se déplace vers les couches d'attention tardives ($Attn_{L9}, Attn_{L10}$), tandis que $MLP_{L0}$ devient négatif (sensible à la suppression).
• Robustesse : Les découvertes sont stables à travers les graines aléatoires et les architectures (GPT-2 small et Qwen2.5-1.5B). Le profil de contraste "permutation vs zéro" est distinct pour chaque tâche (Fait, IOI, Induction).

Signification et affirmations
Le papier affirme que la permutation et la suppression ne sont pas des contrôles interchangeables. Leur divergence fournit un diagnostic statistique pratique pour identifier le transport de contenu dans les composants des transformers.

• Insight mécaniste : L'IGSD révèle que les couches précoces dans le rappel de faits sont critiques pour établir le "cadre de relation" (le template de la requête), un rôle auparavant sous-estimé par les métriques basées sur la suppression.
• Changement méthodologique : Ce travail passe de scores d'importance statiques à une classification de rôle dynamique, au niveau de l'intervention, déterminée par la tâche, la distribution du donneur et la fonction de sortie.
• Application pratique : La décomposition des rôles contenu vs substrat offre une base principielle pour l'édition de modèles (cibler les canaux de contenu) et l'inférence efficace (élagage des composants de substrat).

Les auteurs restent modestes quant aux limites, notant que la validité de l'intervention dépend de la fidélité de l'appariement des donneurs, que l'ablation par zéro n'est qu'un opérateur de suppression, et que les résultats actuels sont limités aux tâches à jeton unique et à la validation en aval par blocs. Cependant, ils soutiennent que le cadre est extensible aux sorties multi-jetons et aux classes d'équivalence sémantique.