💬 NLP

Tracking Equivalent Mechanistic Interpretations Across Neural Networks

Ce papier propose un cadre théorique et un algorithme pour déterminer l'équivalence interprétative entre différents modèles de réseaux de neurones en se basant sur la similarité de leurs représentations, afin de surmonter les défis de généralisation et de rigueur dans l'interprétabilité mécaniste.

Auteurs originaux : Alan Sun, Mariya Toneva

Publié 2026-04-01

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Alan Sun, Mariya Toneva

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Défi : Comprendre le "Cerveau" des IA

Imaginez que vous avez deux robots très intelligents, disons Robot A et Robot B. Ils sont capables de résoudre le même casse-tête complexe (par exemple, répondre à une question ou finir une phrase).

Le problème, c'est que ces robots sont des "boîtes noires". À l'intérieur, ils ont des milliards de petits engrenages (des neurones) qui tournent. Les chercheurs en interprétabilité mécaniste tentent de démonter ces robots pour comprendre exactement comment ils fonctionnent. Ils veulent trouver le "recette" ou l'algorithme caché que le robot utilise pour prendre sa décision.

Mais il y a deux gros problèmes :

C'est trop compliqué : Décrire la recette exacte d'un robot géant est un cauchemar.
C'est flou : Deux robots peuvent sembler fonctionner différemment à l'intérieur, mais donner le même résultat. Comment savoir s'ils utilisent la même "logique" ?

🕵️‍♂️ La Solution : La "Concordance" (Congruity)

C'est là que l'article intervient. Au lieu de essayer de lire la recette à l'intérieur de chaque robot (ce qui est difficile), les auteurs proposent une astuce géniale : regarder comment ils réagissent quand on les "pousse" ou qu'on les modifie.

Ils appellent cela la Concordance (ou Congruity).

L'Analogie du Chef Cuisinier et de ses Apprentis

Imaginez que vous voulez savoir si deux chefs cuisiniers (Chef A et Chef B) utilisent la même recette secrète pour faire un gâteau, sans avoir le droit de regarder leurs carnets de recettes.

La méthode classique (difficile) : Vous essayez de deviner la recette en goûtant le gâteau. C'est dur, car deux recettes différentes peuvent donner un gâteau qui a le même goût.
La méthode de l'article (facile) : Vous créez des versions modifiées de chaque chef.
- Vous prenez le Chef A et vous lui retirez un ingrédient inutile (par exemple, vous lui interdisez d'utiliser la cannelle, même si sa recette n'en a pas besoin). Il fait toujours le même gâteau.
- Vous faites de même avec le Chef B.
- Vous créez des dizaines de ces "versions modifiées" (des "apprentis") pour chaque chef.

Ensuite, vous comparez les manières de travailler (les mouvements de main, la façon de mélanger) de tous ces apprentis.

Si les deux chefs utilisent la même recette secrète : Même si vous modifiez leurs outils ou retirez des ingrédients inutiles, leurs mouvements de base resteront très similaires. Ils danseront la même danse.
Si les chefs utilisent des recettes différentes : Même avec les mêmes modifications, leurs mouvements de base seront très différents. L'un sautera, l'autre tournera.

🚀 Comment ça marche en pratique ?

Les chercheurs ont créé un algorithme (une petite machine à calculer) qui fait exactement cela :

Perturber : Ils prennent un modèle d'IA et modifient légèrement des parties qui ne servent à rien (comme changer des poids dans le réseau de neurones qui ne changent pas le résultat). Cela crée des "jumeaux" du modèle original.
Mesurer la ressemblance : Ils regardent comment ces jumeaux "pensent" (leurs représentations internes) par rapport à l'original et par rapport à l'autre modèle.
Le verdict :
- Si le modèle A et ses jumeaux sont aussi proches les uns des autres que le modèle B et ses jumeaux, alors A et B utilisent la même logique.
- Si les groupes sont très différents, alors leurs logiques sont différentes.

💡 Pourquoi est-ce une révolution ?

C'est comme si on pouvait dire : "Ce robot géant de 100 milliards de paramètres fonctionne exactement comme ce petit robot de 100 millions de paramètres."

Cela permet de :

Économiser du temps : Au lieu d'analyser un robot géant et effrayant, on analyse un petit robot simple qui a la même "âme".
Simplifier les tâches : On peut montrer qu'un robot complexe qui écrit des poèmes utilise la même logique de base qu'un robot simple qui classe des mots par catégorie.

🎯 En résumé

Au lieu de chercher à lire le livre de recettes caché dans la tête de l'IA (ce qui est souvent impossible), les auteurs disent : "Regardez comment l'IA réagit quand on la touche. Si deux IA réagissent de la même manière à nos touches, c'est qu'elles pensent de la même façon."

C'est une méthode élégante, basée sur la comparaison des réactions plutôt que sur l'explication directe, qui ouvre la porte à une compréhension plus rapide et plus fiable de l'intelligence artificielle.

1. Problématique et Contexte

L'interprétabilité mécaniste (MI) vise à découvrir des processus algorithmiques succincts expliquant le fonctionnement interne d'un réseau de neurones. Cependant, la MI fait face à deux défis majeurs qui limitent son évolutivité et sa généralisation :

Absence de définition précise : Il n'existe pas de notion rigoureuse de ce qui constitue une « interprétation valide ».
Processus ad hoc : La génération d'interprétations repose souvent sur des méthodes manuelles, soit « top-down » (proposer des algorithmes et les aligner) ou « bottom-up » (isoler des circuits et les interpréter).

Un problème fondamental souligné par la littérature récente (Méloux et al., 2025) est l'non-identifiabilité : il existe une relation « plusieurs-à-plusieurs » entre les algorithmes de haut niveau (interprétations) et les circuits de bas niveau (implémentations). Cela rend difficile la vérification de la complétude et de la fidélité d'une interprétation donnée.

Objectif de l'article : Définir et étudier un sous-problème relaxé de la MI : l'équivalence interprétative. L'objectif est de déterminer si deux modèles différents implémentent le même algorithme de haut niveau, sans avoir besoin de décrire explicitement ce que cet algorithme est.

2. Méthodologie et Cadre Théorique

L'approche proposée repose sur un principe central : deux interprétations sont équivalentes si et seulement si leurs ensembles d'implémentations sont équivalents.

A. Définitions Formelles

Les auteurs formalisent les concepts suivants en s'appuyant sur l'abstraction causale :

Circuit : Un sous-graphe causal minimal (ou non) du modèle qui reproduit son comportement fonctionnel.
Interprétation : Une abstraction causale du circuit, représentant un algorithme symbolique compréhensible par l'humain.
Implémentation : L'ensemble de toutes les configurations de poids (ou graphes de calcul) qui, sous une classe d'alignements donnée, correspondent à une même interprétation.
Équivalence Interprétative ( $d_{interp}$ ) : Mesurée par la distance de Hausdorff entre les ensembles d'implémentations de deux interprétations.
Compression Interprétative ( $\kappa$ ) : Le diamètre de l'ensemble des implémentations d'une interprétation (mesurant la variabilité des implémentations possibles pour une même idée).

B. L'Algorithme : Congruity (Congruence)

Pour estimer l'équivalence sans connaître les interprétations explicites, les auteurs proposent un algorithme basé sur la similarité des représentations (Algorithm 1).

Génération d'implémentations ($GetImpl$) : En utilisant des interventions causales (ablation ou perturbation de composants non essentiels), on génère de nouvelles variantes du modèle qui partagent la même interprétation fondamentale.
Mesure de similarité ($ReprDist$) : On compare les espaces de représentations cachées (hidden representations) des modèles générés. La similarité est mesurée par l'erreur d'approximation linéaire bidirectionnelle (CCA ou régression linéaire multi-cibles).
Logique de décision : Si deux modèles $h_1$ $h_{1}$ et $h_2$ $h_{2}$ sont interprétativement équivalents, alors la distance de représentation entre une implémentation de $h_1$ $h_{1}$ et une de $h_2$ $h_{2}$ ne devrait pas être significativement différente de la distance entre deux implémenteurs de $h_1$ $h_{1}$ .
- L'algorithme calcule une métrique de Congruity : $1 - | \frac{s}{n} - 1 |$ , où $s$ est la somme des comparaisons de similarité. Une valeur proche de 1 indique une équivalence forte.

C. Résultats Théoriques Principaux

Les auteurs prouvent des bornes reliant la similarité des représentations à l'équivalence interprétative :

Résultat 1 (Borne supérieure) : La similarité des représentations borne supérieurement l'équivalence interprétative, ajustée par la compression interprétative.
Résultat 2 (Borne inférieure) : Si deux interprétations sont équivalentes, leurs représentations doivent être proches, sauf si la mapping entre circuits et représentations est instable (Lipschitz constant élevé).
Résultat 3 : La métrique Congruity est une estimation non biaisée de l'équivalence interprétative, tenant compte de la dispersion interne des implémentations.

3. Résultats Expérimentaux

Les auteurs valident leur approche sur trois scénarios :

A. Calibration sur une tâche synthétique (Détection de Permutation)

Tâche : Déterminer si une séquence de $n$ nombres est une permutation.
Méthode : Création de 6 interprétations distinctes (basées sur le tri ou le comptage) implémentées via le langage RASP, puis génération de 100 variantes d'architectures pour chaque interprétation.
Résultat : La métrique Congruity distingue parfaitement les modèles partageant la même interprétation (diagonale élevée) de ceux ayant des interprétations différentes (hors-diagonale faible). Elle capture également des similarités algorithmiques grossières (ex: les 4 interprétations basées sur le tri sont plus proches entre elles que des interprétations basées sur le comptage).

B. Réduction vers des modèles plus simples (Tâche IOI)

Tâche : Identification de l'objet indirect (IOI) dans des phrases comme « John a donné le verre à Mary ».
Modèles : GPT-2 et Pythia à différentes échelles (85M à 2.9B paramètres).
Résultat :
- Les modèles Pythia de différentes tailles montrent une forte congruence interne, suggérant qu'ils partagent la même interprétation mécaniste.
- Les modèles GPT-2 et Pythia montrent une faible congruence, confirmant qu'ils utilisent des circuits différents pour la même tâche.
- Cela valide l'idée que l'on peut étudier un petit modèle pour comprendre un grand modèle s'ils sont équivalents (Exemple 1.1).

C. Réduction vers des tâches plus simples (Prédiction de token vs POS)

Tâche : Comparer la prédiction de tokens de la tâche de modélisation du langage (next-token prediction) avec l'identification des parties du discours (POS).
Résultat : La prédiction de tokens purement syntaxiques (ponctuation finale, parenthèses fermantes) présente une congruence élevée avec la tâche POS. En revanche, les tokens dépendant de la sémantique (articles, prépositions) ne montrent pas cette équivalence. Cela permet de décomposer la complexité de la prédiction de tokens en sous-tâches interprétables.

4. Contributions Clés

Définition de l'Équivalence Interprétative : Introduction d'un cadre formel pour comparer des interprétations sans les décrire explicitement, en se basant sur l'équivalence de leurs ensembles d'implémentations.
Algorithme de Congruity : Développement d'une méthode pratique et automatisée pour estimer cette équivalence via la similarité des représentations et des interventions causales.
Fondements Théoriques : Preuve de conditions nécessaires et suffisantes reliant les interprétations, les circuits et les représentations, comblant un vide théorique dans la littérature MI.
Validation Empirique : Démonstration que l'approche fonctionne sur des modèles pré-entraînés réels (GPT-2, Pythia) et permet des réductions de complexité (modèle grand $\to$ petit, tâche complexe $\to$ tâche simple).

5. Signification et Impact

Ce travail est significatif car il propose une voie pour automatiser et généraliser la découverte d'interprétations en mécanisme.

Évolutivité : En permettant de comparer des modèles sans avoir à reconstruire manuellement leurs circuits, l'approche rend la MI applicable à des modèles plus grands et complexes.
Rigueur Évaluationnelle : Elle offre une métrique objective pour évaluer si deux modèles partagent la même logique interne, au-delà de la simple performance fonctionnelle.
Nouvelles Perspectives : Elle suggère que la « compression » des interprétations est un concept clé : plus une interprétation est abstraite (forte compression), plus l'ensemble de ses implémentations est vaste, rendant l'équivalence plus difficile à détecter mais potentiellement plus robuste.

En résumé, l'article pose les bases d'une méthodologie rigoureuse pour vérifier la fidélité des interprétations mécaniques et ouvre la voie à des outils d'analyse automatique capables de cartographier les similarités algorithmiques à travers l'écosystème des modèles de langage.