💬 NLP

Everything, Everywhere, All at Once: Is Mechanistic Interpretability Identifiable?

Cet article étudie l'identifiabilité de l'interprétabilité mécaniste en démontrant, par des expériences sur des fonctions booléennes et de petits réseaux de neurones, que des explications uniques sont souvent impossibles à obtenir en raison d'une non-identifiabilité systématique, incitant ainsi à une réévaluation de la nécessité d'une unicité stricte pour la validité des explications de l'IA.

Auteurs originaux : Maxime Méloux, Silviu Maniu, François Portet, Maxime Peyrard

Publié 2026-06-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Maxime Méloux, Silviu Maniu, François Portet, Maxime Peyrard

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un robot boîte noire très intelligent capable de résoudre un puzzle spécifique parfaitement. Vous voulez savoir comment il y parvient. Vous ne voulez pas seulement savoir que cela fonctionne ; vous voulez soulever le rideau pour voir les minuscules engrenages, leviers et interrupteurs à l'intérieur qui font opérer la magie. C'est l'objectif de l'interprétabilité mécaniste : tenter de faire de l'ingénierie inverse d'un réseau de neurones (le cerveau du robot) pour trouver une histoire simple et lisible par l'humain sur la façon dont il réfléchit.

Ce document pose une question très simple, mais profonde : Si nous regardons à l'intérieur de ce robot pour trouver l'histoire de son fonctionnement, trouverons-nous tous exactement la même histoire ? Ou bien, deux personnes différentes pourraient-elles observer le même robot, utiliser les mêmes règles d'investigation, et aboutir à deux histoires complètement différentes, bien qu'également valides ?

Les auteurs disent : Non, nous ne sommes pas garantis d'obtenir une histoire unique. En fait, il existe souvent des dizaines, des centaines ou même des milliers de "histoires" différentes qui correspondent parfaitement aux données.

Voici une décomposition de leurs conclusions en utilisant des analogies simples :

Les deux manières d'enquêter

Le document examine deux principales méthodes par lesquelles les chercheurs tentent de trouver ces histoires :

« Où-puis-Quoi » (L'approche du Détective) :
- L'idée : D'abord, vous essayez de trouver un petit groupe de neurones (un « circuit ») à l'intérieur du robot qui fait tout le gros du travail. Une fois que vous avez trouvé ce groupe, vous essayez de deviner quelle logique ils utilisent (par exemple : « Oh, ces trois neurones agissent comme une porte ET »).
- Le problème : Imaginez que vous avez une immense bibliothèque de livres. Vous voulez trouver les pages spécifiques qui racontent une histoire. Vous pourriez trouver un premier ensemble de pages qui raconte l'histoire parfaitement. Mais ensuite, vous trouvez un autre ensemble de pages, complètement différent du premier, qui raconte aussi l'histoire parfaitement. Le document a découvert que pour une tâche simple, il existait 85 groupes de neurones différents qui pouvaient tous accomplir la tâche parfaitement. Il n'y a pas un seul groupe d'engrenages « correct ».
« Quoi-puis-Où » (L'approche de l'Architecte) :
- L'idée : D'abord, vous devinez une histoire ou un algorithme simple (par exemple : « Le robot doit utiliser une porte OU »). Ensuite, vous scannez le cerveau du robot pour voir si vous pouvez trouver un endroit où cette histoire est mise en scène.
- Le problème : Imaginez que vous cherchez une mélodie spécifique jouée par un orchestre massif. Vous pourriez trouver la mélodie jouée par les violons. Mais vous réalisez ensuite que les violoncelles jouent la même mélodie exacte en même temps, et que les flûtes le font aussi. Le document a découvert qu'il y avait 159 endroits différents dans le cerveau du robot où cet algorithme était implémenté parfaitement.

L'expérience « XOR »

Pour prouver cela, les auteurs ont entraîné un minuscule robot simple pour résoudre un puzzle logique classique appelé XOR (qui est comme un interrupteur qui s'allume uniquement si l'un des deux boutons est pressé, mais pas les deux).

Le résultat : Ils n'ont pas seulement trouvé une explication. Ils ont trouvé plus de 45 000 explications différentes (combinaisons de circuits et d'histoires) qui étaient toutes mathématiquement parfaites.
L'analogie : C'est comme demander : « Comment la boulangère a-t-elle fait ce gâteau parfait ? »
- Explication A : « Elle a utilisé de la farine, du sucre et des œufs dans le Bol X. »
- Explication B : « Elle a utilisé de la farine, du sucre et des œufs dans le Bol Y. »
- Explication C : « Elle a utilisé un mélange différent d'ingrédients dans le Bol Z. »
- Toutes sont vraies. Le gâteau a le même goût, mais le « mécanisme » que vous pointez est différent à chaque fois.

Pourquoi est-ce important ?

En statistiques, nous avons un concept appelé identifiabilité. Cela signifie que si vous avez les données, il ne devrait y avoir qu'un seul ensemble de « vrais » nombres qui les ont créées. Ce document soutient que pour les explications de l'IA, l'identifiabilité est brisée.

Le mythe de la « Vérité Unique » : Nous supposons souvent que si nous creusons assez profondément, nous trouverons l'unique vraie manière dont l'IA réfléchit. Ce document affirme que cette supposition est probablement fausse. L'IA peut réfléchir de plusieurs manières différentes simultanément, ou il peut y avoir plusieurs façons différentes de décrire sa pensée qui sont toutes également correctes.
La conséquence : Si vous demandez à deux experts d'expliquer la même IA, ils pourraient vous donner deux réponses totalement différentes, et tous deux auraient raison selon les règles actuelles de la science.

La conclusion : Que devons-nous faire ?

Les auteurs ne disent pas « abandonnez ». Au lieu de cela, ils suggèrent que nous devons changer d'état d'esprit :

Arrêtez de chercher « l'Histoire Unique » : Nous devrons peut-être accepter qu'il n'existe pas d'explication unique.
Concentrez-vous sur l'Utilité : Peut-être que le fait que l'explication ne soit pas unique n'a pas d'importance. Peut-être qu'il compte seulement si l'explication nous aide à prédire ce que l'IA fera ensuite ou à la manipuler pour qu'elle fasse ce que nous voulons.
Utilisez des vérifications multiples : Si nous avons vraiment besoin d'être sûrs, nous ne devrions pas nous fier à une seule méthode. Nous devrions utiliser de nombreux tests différents pour voir si une explication tient la route sous tous les angles.

En bref : Le document soutient que l'« empreinte digitale » de la pensée d'une IA n'est pas unique. Il existe de nombreuses clés différentes qui peuvent ouvrir la même serrure, et de nombreuses cartes différentes qui peuvent décrire le même territoire. Nous devons cesser d'attendre une carte unique et parfaite et commencer à accepter que la « vérité » du fonctionnement de l'IA pourrait être une collection de nombreuses histoires valides et imbriquées.

Résumé technique : « Everything, Everywhere, All at Once: Is Mechanistic Interpretability Identifiable? »

Énoncé du problème

Alors que les systèmes d'IA sont déployés dans des applications à enjeux élevés, garantir leur interprétabilité est crucial. L'interprétabilité mécaniste (MI) vise à rétro-concevoir les réseaux de neurones en extrayant les algorithmes compréhensibles par l'humain (abstractions computationnelles) ancrés dans leurs structures. Une abstraction computationnelle se compose de deux éléments : le quoi (l'algorithme explicatif) et le où (le sous-graphe ou le circuit spécifique au sein du réseau où cet algorithme est implémenté).

Bien que les méthodes de MI opèrent souvent sous une hypothèse tacite d'unicité explicative — la croyance qu'une explication unique et correcte existe pour le comportement d'un modèle — ce document remet systématiquement en question cette prémisse. En s'appuyant sur une analogie avec l'identifiabilité en statistique (où les paramètres sont inférés de manière unique à partir de données sous des hypothèses spécifiques), les auteurs se demandent : Selon les critères établis par la MI, l'explication d'un comportement fixe est-elle garantie d'être unique ?

Le papier étudie deux stratégies principales pour générer des explications de MI :

Où-puis-quoi (Where-then-what) : Détecter un sous-ensemble du réseau (un circuit) qui réplique le comportement du modèle, puis dériver l'interprétation de ses composants.
Quoi-puis-où (What-then-where) : Partir d'algorithmes explicatifs candidats et rechercher des sous-espaces d'activation dans le réseau où ces algorithmes sont causalement alignés.

Le problème central est de savoir si ces stratégies, sous leurs critères de validité respectifs (erreur de circuit et alignement causal), produisent une explication unique ou si plusieurs explications incompatibles peuvent satisfaire les mêmes critères.

Méthodologie

Les auteurs mènent un test de résistance de l'identifiabilité de la MI en utilisant un cadre contrôlé à petite échelle permettant une énumération exhaustive des explications candidates, un exploit impossible dans les modèles à grande échelle.

Configuration expérimentale

Tâches : Entraînement de perceptrons multicouches (MLP) pour implémenter des fonctions booléennes, spécifiquement la fonction XOR et des combinaisons de portes logiques.
Architecture : Petits MLP (par exemple, taille d'entrée 2, couches cachées de taille $k$ , taille de sortie $n$ ) entraînés sur des entrées binaires avec un bruit gaussien ajouté jusqu'à atteindre un seuil de perte bas.
Recherche exhaustive :
- Pour « Où-puis-quoi » : Les auteurs énumèrent tous les sous-graphes (circuits) possibles du réseau. Ils testent chaque circuit sur des données de validation pour identifier des « circuits parfaits » (erreur de circuit nulle). Pour chaque circuit parfait, ils recherchent récursivement toutes les correspondances valides (interprétations) des activations de neurones vers des portes logiques (AND, OR, NOT) qui satisfont la cohérence (la correspondance commute avec le calcul).
- Pour « Quoi-puis-où » : Les auteurs énumèrent les algorithmes booléens candidats (arbres d'analyse) implémentant la fonction cible. Ils cherchent ensuite tous les sous-ensembles de neurones et correspondances qui atteignent un alignement causal parfait, mesuré par l'Intervention Interchange Accuracy (IIA). Une IIA de 1 indique que des interventions contrefactuelles sur l'algorithme produisent des effets identiques sur les états internes du réseau.

Définitions de l'identifiabilité

Le papier définit une explication comme non-identifiable si les critères actuels de la MI ne parviennent pas à distinguer deux explications incompatibles. L'incompatibilité survient si :

Deux explications postulent des algorithmes différents pour le même comportement.
Le même algorithme est implémenté dans des sous-espaces différents du réseau.

Résultats clés

Les expériences révèlent des preuves accablantes de non-identifiabilité à travers toutes les étapes du processus de MI :

Circuits non uniques (Où) : Plusieurs circuits distincts peuvent parfaitement répliquer le comportement du modèle (erreur de circuit nulle). Dans l'exemple XOR, 85 circuits uniques avec une précision parfaite ont été trouvés.
Interprétations non uniques (Quoi) : Pour un seul circuit valide, plusieurs interprétations valides (correspondances de neurones à des portes logiques) existent. Dans l'exemple XOR, une moyenne de 535,8 interprétations a été trouvée par circuit.
Algorithmes non uniques (Quoi) : Plusieurs algorithmes différents peuvent être parfaitement alignés causalement avec le calcul neuronal (IIA = 1). Même en testant seulement deux algorithmes candidats pour XOR, il s'est avéré que les deux possédaient des implémentations parfaites.
Localisations non uniques (Où) : Pour un seul algorithme causalement aligné, plusieurs sous-espaces distincts du réseau peuvent être également alignés (IIA = 1). Dans l'exemple XOR, 159 correspondances minimales parfaites ont été identifiées pour seulement deux algorithmes candidats.

Résultats quantitatifs :

À mesure que la taille du réseau ( $k$ ) augmente, le nombre d'abstractions computationnelles valides croît exponentiellement (la médiane passant de 38 à 910 000 dans l'approche par circuit).
Moins de 2 % des réseaux entraînés contenaient exactement une correspondance minimale valide, et aucun réseau ne contenait exactement une interprétation de circuit.
L'augmentation de la complexité de la tâche (entraînement sur plusieurs portes logiques simultanément) a réduit le nombre d'interprétations mais n'a pas éliminé la non-identifiabilité.

Contributions clés

Formalisation de l'identifiabilité dans la MI : Le papier introduit le concept d'« identifiabilité de l'explication » dans le domaine de l'interprétabilité mécaniste, en adaptant un concept statistique pour définir l'unicité des explications sous des critères de validité fixes.
Test de résistance systématique : En utilisant des modèles à petite échelle pour permettre une énumération exhaustive, les auteurs fournissent la première démonstration empirique rigoureuse que les critères actuels de la MI (erreur de circuit et IIA) ne garantissent pas des explications uniques.
Catégorisation des stratégies : Le travail délimite et évalue clairement les stratégies « Où-puis-quoi » et « Quoi-puis-où », montrant que les deux souffrent de problèmes de non-identifiabilité.
Preuve empirique d'incompatibilité : L'étude démontre qu'un seul modèle entraîné peut supporter des centaines de milliers d'abstractions computationnelles mutuellement incompatibles qui satisfont toutes les critères d'une « bonne » explication.

Signification et affirmations

Les auteurs déclarent que ce travail vise à contribuer de manière constructive à l'effort continu de formalisation des attentes pour les explications de l'IA. Le papier ne prétend pas que la MI est inutile, mais il remet en question l'« intuition d'unicité » souvent supposée dans le domaine.

Position pragmatique : Les auteurs suggèrent que si l'objectif est la prédiction ou la manipulabilité, l'unicité peut ne pas être nécessaire, et l'on pourrait adopter une position pragmatique acceptant des explications multiples et valides.
Position stricte : Si l'unicité est considérée comme essentielle pour fournir un véritable « sens de la compréhension », le papier soutient que les critères actuels sont insuffisants et que des critères moins permissifs (ou le cadre de l'« interprétabilité interne » exigeant des validations complémentaires multiples) pourraient être nécessaires.
Direction future : Le travail souligne la nécessité de définitions rigoureuses de ce qui constitue une explication en IA, allant au-delà de l'hypothèse selon laquelle un mécanisme unique et « vrai » existe et est facilement découvrable via les méthodes actuelles.

Le papier conclut que le paysage actuel de l'interprétabilité mécaniste fait face à un problème fondamental d'identifiabilité : sans contraintes ou critères supplémentaires, nous ne pouvons garantir que les explications que nous dérivons sont les mécanismes uniques et corrects qui régissent le comportement d'un modèle.