Résumé Technique : Tous les Circuits Mènent à Rome

Énoncé du Problème

L'article remet en question une hypothèse centrale, largement implicite, dans le domaine de l'interprétabilité mécanistique, connue sous le nom d'Hypothèse d'Anisotropie Fonctionnelle. Cette hypothèse postule que des capacités ou des tâches spécifiques au sein des Modèles de Langage à Grande Échelle (LLM) sont soutenues par un mécanisme interne unique, singulier ou quasi-unique (un circuit ou un faisceau spécifique). Selon cette vision, les fonctions du modèle sont supposées être distribuées de manière anisotrope, ce qui signifie que chaque capacité correspond à un sous-graphe privilégié.

Les auteurs soutiennent que cette hypothèse sous-tend les paradigmes d'évaluation dominants dans la Découverte de Circuits et de Faisceaux (CSD), où le succès est mesuré par la récupération d'un circuit « vérité terrain » ou la découverte du mécanisme le plus petit possible préservant les performances de la tâche. L'article s'interroge sur le fait de savoir si ces méthodes identifient réellement un mécanisme sous-jacent unique ou simplement l'une des nombreuses réalisations possibles.

Méthodologie

Pour investiguer systématiquement l'existence de mécanismes concurrents, les auteurs introduisent la Répulsion de Faisceau Sensible au Chevauchement (OASR).

1. Cadre de Découverte de Faisceaux : Le travail s'appuie sur le cadre DiscoGP, qui formule la découverte de faisceaux comme un problème de sélection d'arêtes différentiable. Un faisceau est défini comme un sous-graphe qui contribue causalement au calcul et peut soutenir indépendamment les performances de la tâche (contrairement à un circuit standard qui peut dépendre d'activations patchées).
2. Mécanisme OASR : Les méthodes de découverte standard convergent souvent vers des solutions similaires en raison de l'initialisation aléatoire ou des paysages d'optimisation. OASR modifie la fonction objectif en ajoutant une perte de chevauchement explicite ($L_{overlap}$).
   • Après la découverte d'un faisceau initial $R$, la méthode pénalise l'activation attendue des arêtes déjà sélectionnées dans $R$.
   • L'objectif combiné est : $L = L_{fidelity} + \lambda_s L_{sparsity} + \lambda_c L_{complete} + \lambda_o L_{overlap}(R)$.
   • Cette « répulsion » force l'optimiseur à trouver des faisceaux alternatifs qui sont fidèles à la tâche mais structurellement distincts (en minimisant l'Intersection sur Union, ou IoU) de ceux découverts précédemment.
3. Portée Expérimentale : Les auteurs appliquent OASR à plusieurs tâches de référence (Identification d'Objet Indirect [IOI], BLiMP, AGA, ANA, variants DNA, et Docstring) et modèles (GPT-2 Small et Pythia-160M). Ils valident également leurs résultats sur d'autres méthodes CSD, notamment ACDC (heuristique), EAP (attribution basée sur le gradient) et Élagage d'Arêtes (EP).

Résultats Clés

1. Existence de Faisceaux Fonctionnellement Équivalents à Faible Chevauchement

La découverte empirique principale est qu'une tâche unique de LLM peut être fidèlement exécutée par plusieurs faisceaux structurellement distincts.

• Étude de Cas IOI : En utilisant OASR, les auteurs ont découvert deux faisceaux pour la tâche IOI qui ont tous deux atteint une précision de 100 %. Cependant, leur chevauchement structurel (IoU) n'était que de 4,1 %, proche du hasard.
• Généralisation : Ce phénomène vaut pour toutes les références testées. Pour chaque tâche, des paires de faisceaux à haute performance mais à très faible IoU (généralement 4–11 %) ont été découvertes.
• Effet d'Échelle : À mesure que le nombre de faisceaux découverts augmente (jusqu'à 20 exécutions), l'intersection mutuelle des arêtes rétrécit drastiquement (souvent à <1 % d'IoU), tandis que l'union des arêtes s'accroît. Cela indique que l'espace des mécanismes valides est vaste et ne converge pas vers un noyau unique.

2. Persistance à Travers les Méthodes

La rupture de l'anisotropie fonctionnelle n'est pas un artefact de la méthode OASR ou de DiscoGP seul :

• ACDC : Faire varier l'ordre de parcours des têtes d'attention (un choix de non-sémantique) a entraîné des circuits significativement différents avec un faible IoU, malgré l'utilisation des mêmes seuils.
• EAP : Changer des informations sans rapport avec la tâche (par exemple, échanger des noms dans les invites IOI) a conduit à des circuits systématiquement différents, remettant en question la stabilité des méthodes basées sur l'attribution.
• Élagage d'Arêtes : Lors de l'utilisation de fonctions de perte spécifiques à la tâche, EP a également présenté une grande diversité dans les circuits découverts, similaire à DiscoGP.

3. Absence de Composantes Indispensables

Les auteurs ont testé une version « affaiblie » de l'hypothèse d'anisotropie : bien que plusieurs faisceaux existent, ils pourraient partager un petit « noyau » essentiel d'arêtes indispensables.

• Faisceau Ultra-Sparse : Ils ont identifié un faisceau à trois arêtes ultra-sparse pour IOI qui a atteint une précision de 86,7 % en isolation.
• Non-Indispensabilité : Cependant, lorsque la tâche a été décomposée (par exemple, en séparant les modèles ABBA et BABA) ou lorsque ces trois arêtes ont été explicitement interdites, le processus de découverte a encore trouvé d'autres faisceaux épars et performants.
• Conclusion : Aucune arête unique (ni même le noyau à trois arêtes) n'est strictement indispensable pour tous les mécanismes fonctionnellement valides. L'« essentialité » apparente du noyau ne se manifeste que lorsque la tâche est traitée comme un tout agrégé.

4. Analyse Théorique

L'article propose l'Hypothèse du Circuit Dense Distribué pour expliquer ces résultats.

• Preuve Théorique : Sous des hypothèses légères (additivité résiduelle et linéarité locale), les auteurs prouvent l'existence de plusieurs circuits structurellement distincts à faible chevauchement qui sont $\epsilon$-fidèles à la même tâche.
• Mécanisme : Dans les espaces de haute dimension, le nombre de sous-ensembles d'arêtes possibles croît de manière combinatoire. En raison de la superposition linéaire, des sous-ensembles distincts d'arêtes peuvent produire des vecteurs de lecture presque identiques (collisions de sommes de sous-ensembles). Si la décision de la tâche est protégée par une marge finie, ces différences structurelles n'affectent pas la prédiction finale, permettant ainsi plusieurs explications valides.

Importance et Revendications

L'article ne prétend pas invalider la Découverte de Circuits et de Faisceaux (CSD) en tant que domaine ; il appelle plutôt à une refonte fondamentale de la manière dont les résultats CSD doivent être interprétés et évalués.

• Rejet de l'Unicité : Les résultats suggèrent que les explications mécanistiques dans les LLM sont intrinsèquement non canoniques. Un circuit ou un faisceau découvert représente une réalisation valide parmi beaucoup d'autres dans un espace de mécanismes fonctionnellement équivalents, et non le mécanisme sous-jacent à une tâche.
• Critique de l'Évaluation : Les paradigmes d'évaluation actuels qui cherchent une « vérité terrain » ou un circuit unique « minimal » reposent sur une hypothèse erronée. L'article soutient que la recherche d'un seul sous-graphe épars et indispensable est insuffisante pour expliquer la non-unicité empirique observée.
• Vision Distribuée : Les auteurs préconisent une vision distribuée du calcul, où le comportement de la tâche émerge d'un régime dense de mécanismes concurrents et partiellement redondants.
• Implications : Cela remet en question la notion de composants « essentiels » et suggère que la redondance dans les LLM n'est pas simplement un système de sauvegarde latent (activé uniquement lors de l'ablation), mais une caractéristique fondamentale du fonctionnement normal du modèle.

En résumé, l'article fournit à la fois des preuves empiriques et une justification théorique selon laquelle « Tous les Circuits Mènent à Rome » : plusieurs voies structurelles distinctes peuvent et soutiennent effectivement le même comportement fonctionnel dans les LLM, sapant l'hypothèse d'anisotropie fonctionnelle.