💬 NLP

Mechanistic Interpretability as Statistical Estimation: A Variance Analysis

Cet article soutient que l'interprétabilité mécaniste est fondamentalement un problème d'estimation statistique marqué par une variance intrinsèque élevée des scores de médiation causale, ce qui amène les pipelines de découverte de circuits à produire des résultats instables et fragiles qui nécessitent un passage vers une rigueur en matière de robustesse statistique et de rapport de stabilité.

Auteurs originaux : Maxime Méloux, François Portet, Maxime Peyrard

Publié 2026-06-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Maxime Méloux, François Portet, Maxime Peyrard

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vision globale : Essayer de cartographier une ville avec une boussole instable

Imaginez que vous essayiez de dessiner la carte d'une ville complexe (un réseau de neurones) pour comprendre comment elle va d'un point A à un point B (comment elle résout un problème). Les scientifiques du domaine de l'interprétabilité mécaniste sont comme des explorateurs urbains. Ils veulent trouver les « routes » et les « intersections » spécifiques (neurones et connexions) que la ville utilise pour prendre des décisions. Ils appellent ces itinéraires particuliers des « circuits ».

L'article soutient qu'actuellement, ces explorateurs utilisent une boussole qui tourne follement. Ils pensent trouver la seule véritable carte, mais en réalité, ils dessinent des cartes différentes à chaque fois qu'ils regardent, selon les minuscules changements aléatoires de la météo ou de la façon dont ils tiennent la boussole.

Le problème central : La « boussole qui tourne » (La variance)

Les chercheurs ont découvert que les outils utilisés pour trouver ces circuits sont fondamentalement instables. Ils ont décomposé le problème en trois couches d'instabilité :

1. Le signal brut est bruité (Variabilité intrinsèque)

L'analogie : Imaginez que vous essayiez de mesurer la force d'un courant de vent spécifique dans une tempête. Si vous mesurez à un instant précis, vous obtenez un chiffre. Si vous mesurez une seconde plus tard, le vent peut être légèrement plus fort ou plus faible à cause de turbulences aléatoires.
La thèse de l'article : L'« importance » d'une partie spécifique de l'IA n'est pas un nombre fixe comme le poids d'un rocher. C'est plutôt comme la vitesse du vent. Elle change radicalement selon l'entrée spécifique (la « tempête ») que vous observez. L'article montre que même si vous calculez cela parfaitement, le score d'une seule connexion fluctue tellement qu'il est difficile de dire s'il est réellement important ou s'il s'agit juste d'une rafale aléatoire.

2. Les outils ajoutent du bruit (Erreurs d'approximation)

L'analogie : Comme mesurer le vent parfaitement prend trop de temps, les explorateurs utilisent un capteur bon marché et rapide (des méthodes d'approximation comme l'EAP) pour deviner la vitesse du vent. Mais ce capteur bon marché est instable. Il ajoute son propre statique et ses propres erreurs par-dessus le vent déjà changeant.
La thèse de l'article : Les méthodes rapides que les scientifiques utilisent pour gagner du temps (comme l'Edge Attribution Patching) introduisent encore plus de bruit. Elles rendent souvent les scores plus instables qu'ils ne l'étaient déjà. Le « rapport signal sur bruit » est si faible que les outils ne font souvent que capter de la statique plutôt que le véritable signal.

3. La carte change à chaque étape (Instabilité de l'agrégation)

L'analogie : Pour dessiner la carte finale, les explorateurs prennent 100 mesures différentes et en font la moyenne. Mais parce que les mesures sont si fragiles, si vous changez la liste des 100 mesures ne serait-ce qu'un tout petit peu (comme en remplaçant une mesure par une autre), la carte finale change complètement. Un jour, la carte montre une autoroute ; le lendemain, elle montre un chemin de terre.
La thèse de l'article : Lorsque les scientifiques combinent ces scores instables pour construire un « circuit », le résultat est incroyablement fragile.

Changement de données : S'ils utilisent un ensemble d'exemples légèrement différent pour entraîner leur carte, ils trouvent un circuit totalement différent.
Changement de méthode : S'ils modifient un paramètre (comme changer la façon dont ils calculent la moyenne des nombres), ils trouvent un circuit différent.
Changement de perturbation : S'ils changent la façon dont ils « cassent » l'IA pour la tester (le contrefactuel), le circuit trouvé se déplace à nouveau.

L'effet « Saumon Mort »

L'article mentionne que les méthodes actuelles sont sujettes aux artefacts de type « saumon mort ».
L'analogie : En neurosciences, des chercheurs ont autrefois trouvé une « activité cérébrale » dans un saumon mort simplement parce qu'ils n'avaient pas corrigé le bruit statistique. L'article suggère que les chercheurs en IA pourraient faire la même chose : trouver des « circuits » qui semblent réels mais qui ne sont en fait que du bruit aléatoire qui s'est aligné par hasard.

Ce que les chercheurs ont découvert (Les preuves)

Ils ont mené des expériences sur différents modèles d'IA (comme GPT-2 et Llama) et diverses tâches (comme les mathématiques ou la grammaire).

Le résultat : Lorsqu'ils ont répété la même expérience 100 fois avec des données légèrement différentes, les « circuits » qu'ils ont trouvés ne se chevauchaient presque pas. Parfois, le chevauchement était inférieur à 10 %.
La conclusion : Il n'existe pas un seul « Vrai Circuit » qui attend d'être découvert. Au lieu de cela, il existe un nuage de circuits possibles, et les méthodes actuelles ne font que choisir un point aléatoire dans ce nuage et l'appeler la vérité.

La solution proposée : Arrêter de deviner, commencer à mesurer l'incertitude

Les auteurs ne disent pas d'abandonner l'interprétation de l'IA. Ils disent plutôt : « arrêtez de prétendre que nous en savons plus que nous n'en savons réellement ».

Le nouveau livre de règles :

Signaler la variance : Ne montrez pas seulement une carte. Montrez 100 cartes et dites : « Voici la moyenne, et voici à quel point elles diffèrent. »
Vérifier la stabilité : Avant de prétendre avoir trouvé un circuit, vérifiez s'il reste le même lorsque vous modifiez légèrement les données. Si le circuit disparaît avec un changement infime, il n'est pas fiable.
Embrasser l'incertitude : Traitez ces découvertes comme des prévisions météorologiques (ex : « 70 % de chances de pluie ») plutôt que comme des faits absolus (ex : « Il va pleuvoir »).

Résumé

L'article soutient que l'interprétabilité mécaniste essaie actuellement de faire de la science sans admettre qu'elle traite de statistiques. C'est comme essayer de mesurer la hauteur d'une montagne tout en étant debout sur un trampoline. Les auteurs veulent que le domaine cesse de chercher un circuit unique et parfait « de vérité terrain » et commence à rapporter à quel point ses découvertes sont instables et variables. Ce n'est qu'en reconnaissant cette instabilité que nous pourrons faire confiance aux cartes que nous dessinons des esprits de l'IA.

Résumé technique : L'interprétabilité mécaniste comme estimation statistique : Une analyse de la variance

Énoncé du problème

L'interprétabilité mécaniste (MI) vise à rétro-concevoir les réseaux de neurones profonds en identifiant des « circuits » — des sous-réseaux fonctionnels responsables de comportements spécifiques du modèle. Ces circuits sont généralement découverts via l'analyse de médiation causale (CMA), qui consiste à intervenir sur le graphe de calcul pour mesurer l'effet causal de composants spécifiques (nœuds ou arêtes) sur les sorties du modèle.

Cependant, la validité scientifique de ces découvertes est de plus en plus remise en question en raison d'un manque de stabilité. Les pratiques actuelles de la MI produisent souvent des « estimations ponctuelles » (des résumés structurels uniques) sans quantifier l'incertitude. L'article soutient que la découverte de circuits n'est pas une tâche autonome, mais un problème d'estimation statistique fondé sur la CMA. Le problème central identifié est une instabilité fondamentale : l'effet causal d'un composant n'est pas une propriété fixe, mais une variable aléatoire volatile. Par conséquent, de petites perturbations dans les données d'entrée, les hyperparamètres ou les définitions d'intervention produisent des circuits très différents, ce qui compromet la fiabilité des découvertes de la MI et leur généralisabilité.

Méthodologie

Les auteurs présentent la découverte de circuits comme un pipeline en aval alimenté par la CMA et analysent sa stabilité à travers un prisme statistique, en décomposant l'instabilité en deux sources primaires :

La Variance (Sensibilité à l'échantillonnage) : Les fluctuations découlant de l'utilisation de jeux de données finis pour approximer les espérances de la population.
La Robustesse (Sensibilité méthodologique) : La sensibilité à la spécification des contrefactuels (stratégies d'intervention) et aux hyperparamètres.

L'étude utilise la configuration expérimentale suivante :

Tâches : Trois tâches d'interprétabilité standard : l'identification de l'objet indirect (IOI), l'accord sujet-verbe (SVA) et le "Greater-Than".
Modèles : GPT-2-small, Llama-3.2-1B, et Llama-3.2-1B-Instruct.
Estimateurs : L'étude se concentre sur la famille de l'Edge Attribution Patching (EAP), incluant la CMA exacte (lorsque cela est numériquement faisable), l'EAP, et l'EAP-IG (avec des gradients intégrés pour les entrées et les activations).
Métriques de stabilité :
- Stabilité structurelle : Mesurée via l'indice de Jaccard par paire des ensembles d'arêtes découverts.
- Stabilité fonctionnelle : Mesurée via l'erreur de circuit (CE) et la divergence KL entre le modèle complet et le circuit isolé.
Régimes de perturbation :
- Rééchantillonnage de données : Le bootstrap pour simuler des tailles d'échantillons limitées.
- Décalages de distribution : Utilisation de méta-jeux de données et de paraphrases de prompts.
- Définition de l'intervention : Variation de l'amplitude du bruit dans la génération de contrefactuels (bruit gaussien sur les plongements de jetons/embeddings).
- Perturbations méthodologiques : Variation des fonctions d'agrégation (moyenne vs médiane), des types de patching, et des choix d'estimateurs.

Contributions clés et résultats

1. Variabilité intrinsèque des scores CMA

Les auteurs démontrent que même les scores CMA exacts présentent une grande variabilité intrinsèque. Pour une arête donnée, l'effet causal n'est pas constant à travers les entrées tirées d'une même distribution.

Résultat : Le coefficient de variation (CV) pour les scores d'arêtes exacts est souvent proche de 0,5.
Implication : L'effet causal est une variable aléatoire dépendant du couple spécifique entrée-contrefactuel, et non une propriété fixe du composant.

2. Amplification par les méthodes d'approximation

Les méthodes d'approximation comme l'EAP et l'EAP-IG introduisent un bruit d'estimation supplémentaire sur la variance intrinsèque.

Résultat : Les estimateurs approximatifs ont souvent un CV > 1, ce qui signifie que l'écart-type du score dépasse sa moyenne. Cela entraîne un faible rapport signal sur bruit, rendant l'identification de circuits stables à partir d'échantillons finis statistiquement précaire.

3. Instabilité du circuit à travers le pipeline

L'instabilité des scores d'arêtes se propage à la structure finale du circuit, conduisant à des résultats hautement divergents sous l'effet de changements mineurs :

Rééchantillonnage de données : Le rééchantillonnage par bootstrap produit la plus faible cohérence structurelle (indice de Jaccard moyen $\approx$ 0,56 pour GPT-2-small) et la plus grande variabilité. Les circuits découverts à partir de données rééchantillonnées sont souvent structurellement disjoints et moins fidèles au modèle original.
Taille du modèle : La stabilité se dégrade considérablement dans les modèles plus grands (Llama-3.2-1B) par rapport à GPT-2-small, suggérant que l'identification de circuits fiables dans des modèles plus capables est non triviale.
Sensibilité méthodologique : Changer les hyperparamètres (par exemple, passer de l'agrégation par somme à la médiane, ou changer le type de patching) peut faire chuter la similitude de Jaccard à presque zéro (ex: 0,086), retournant effectivement un sous-graphe disjoint. Les différentes variantes d'EAP isolent souvent des artefacts différents de la distribution à haute variance plutôt que de converger vers un seul circuit.
Sensibilité de l'intervention : Le circuit identifié n'est pas invariant à l'amplitude de la perturbation. Varier l'amplitude du bruit dans la génération de contrefactuels modifie l'ensemble des composants identifiés comme importants, avec des régimes critiques (ex: amplitude de bruit $\approx$ 0,2) montrant un pic d'instabilité.

4. Non-identifiabilité vs Instabilité de l'estimateur

Le papier distingue la non-identifiabilité (une impossibilité théorique de récupérer un circuit unique même avec des données infinies) de l'instabilité de l'estimateur (sensibilité empirique au échantillonnage fini et à l'approximation). Bien qu'une haute instabilité soit cohérente avec la non-identifiabilité, les auteurs montrent que la variabilité observée est suffisamment grande pour saper les pratiques de reporting actuelles, quelle que soit la cause profonde.

Signification et recommandations

L'article soutient que pour que l'interprétabilité mécaniste devienne une science rigoureuse, elle doit adopter les normes d'inférence statistique utilisées dans les sciences naturelles. La pratique actuelle consistant à rapporter des découvertes de circuits à point unique sans estimation de l'incertitude est insuffisante.

Bonnes pratiques proposées :

Reporter les métriques de stabilité : Les chercheurs devraient systématiquement rapporter les métures de stabilité aux côtés des résultats de découverte de circuits. Plus précisément, la variance de la structure du circuit (ex: indice de Jaccard moyen par paire) et la performance (CV de l'erreur de circuit) sous rééchantillonnage par bootstrap ( $n \ge 100$ $n \geq 100$ ).
- Seuil suggéré : Un indice de Jaccard moyen par paire supérieur à 0,8 sous bootstrap pourrait servir de barème préliminaire pour rapporter un circuit comme étant stable.
Quantifier l'incertitude de l'estimateur : Des analyses de sensibilité concernant les hyperparamètres et les méthodes d'agrégation doivent être menées et rapportées. Si un mécanisme n'est visible que sous des hyperparamètres spécifiques, cette fragilité doit être divulguée.
Caractériser la sensibilité de l'intervention : Au lieu de s'appuyer sur une seule intervention fixe, les chercheurs devraient analyser comment les circuits changent à mesure que les définitions de contrefactuels (ex: amplitude du bruit) varient, afin de distinguer les mécanismes fondamentaux des artefacts localisés.

Conclusion :
Les auteurs concluent que le domaine doit s'éloigner de la recherche d'un circuit unique « vrai ». Au lieu de cela, les travaux futurs devraient viser à caractériser une distribution sur les circuits possibles (Découverte de circuits probabilistes) et à développer des objectifs d'optimisation qui pénalisent explicitement la variance, en privilégiant les composants qui servent de médiateurs fiables à travers divers jeux de données et perturbations. Ce cadrage statistique est présenté comme une étape nécessaire pour construire des systèmes d'IA dignes de confiance et garantir que les outils d'interprétabilité fournissent une base solide pour les décisions de sécurité et de politique.