Circuit Insights: Towards Interpretability Beyond Activations

Ce papier présente WeightLens et CircuitLens, deux méthodes complémentaires qui surpassent les approches d'interprétabilité basées sur les activations en analysant directement les poids et les interactions entre composants pour permettre une découverte de circuits mécaniques plus robuste, évolutive et indépendante des données.

L'essentiel

🕵️‍♂️ Le Grand Défi : Comprendre la "Cerveau" des IA

Imaginez que les grands modèles de langage (comme ceux qui écrivent des poèmes ou répondent à vos questions) sont des géants silencieux. Ils sont incroyablement intelligents, mais personne ne sait exactement comment ils pensent. C'est comme si vous aviez une boîte noire géante : vous mettez une question à l'entrée, et une réponse sort, mais vous ne voyez pas ce qui se passe à l'intérieur.

Les chercheurs veulent ouvrir cette boîte pour voir les rouages. Jusqu'à présent, ils essayaient de comprendre en regardant quand les lumières s'allumaient (les "activations") quand le modèle lisait un mot. C'est un peu comme essayer de comprendre le fonctionnement d'un moteur de voiture en regardant seulement les étincelles qui sortent du pot d'échappement. C'est utile, mais ça ne vous dit pas tout sur le moteur lui-même.

💡 La Nouvelle Idée : Regarder les Plans et les Circuits

Cette équipe de chercheurs (de l'Institut Fraunhofer et d'autres) a dit : "Attendez, au lieu de seulement regarder les étincelles, regardons les plans de construction (les poids) et les circuits électriques (les connexions) qui relient tout."

Ils ont créé deux nouveaux outils magiques pour éclairer cette boîte noire : WeightLens et CircuitLens.

1. WeightLens : Le Détective des Plans (Sans avoir besoin de lire le livre)

L'analogie : Imaginez que vous voulez comprendre à quoi sert un interrupteur dans une maison.

• L'ancienne méthode : Vous allumez la lumière, regardez quand ça s'allume, et demandez à un ami (une autre IA) de deviner : "Ah, ça s'allume quand on entre dans la cuisine, donc c'est pour la cuisine !".
• La méthode WeightLens : Vous regardez directement le câblage derrière l'interrupteur. Vous voyez à quels fils il est connecté. Si le fil va directement vers la lampe de la cuisine, vous savez tout de suite à quoi il sert, sans même avoir besoin d'allumer la lumière ou de demander à un ami.

Ce que ça change :

• Pas besoin de livres : WeightLens n'a pas besoin de lire des milliers de textes pour comprendre. Il lit les "plans" du modèle.
• Pas de devinettes : Il ne dépend pas d'une autre IA pour interpréter les résultats, ce qui évite les erreurs de compréhension.
• Résultat : Il fonctionne très bien pour les concepts simples et fixes (comme les mots spécifiques), mais il a du mal avec les concepts qui changent selon le contexte (comme l'ironie).

2. CircuitLens : Le Cartographe des Connexions

L'analogie : Imaginez que le modèle est une ville très complexe. Parfois, une lumière s'allume non pas parce qu'un seul interrupteur a été actionné, mais parce que trois personnes ont appuyé sur des boutons différents en même temps pour allumer une rue spécifique.

• L'ancienne méthode : On regarde juste la lumière allumée et on dit "C'est la rue des chats". Mais en réalité, c'est un mélange de "rue des chats", "rue des chiens" et "rue des voitures". C'est flou.
• La méthode CircuitLens : Elle trace le chemin exact. Elle dit : "Attends, cette lumière s'allume seulement si le bouton 'chat' ET le bouton 'mijoter' sont appuyés ensemble. C'est donc une recette de cuisine pour les chats !".

Ce que ça change :

• Gérer la complexité : Elle sépare les idées mélangées (quand un même bouton sert à plusieurs choses).
• Voir le début et la fin : Elle ne regarde pas seulement ce qui déclenche l'idée (l'entrée), mais aussi ce que l'idée fait ensuite (la sortie). Par exemple, un circuit peut déclencher le mot "pomme" et ensuite forcer le modèle à écrire "rouge".
• Robustesse : Même avec peu de données, elle arrive à trouver des motifs clairs que les anciennes méthodes rataient.

🚀 Pourquoi c'est important pour nous ?

Jusqu'à présent, pour comprendre ces IA, on devait :

1. Les faire lire des montagnes de livres (coûteux et lent).
2. Demander à une autre IA très puissante d'expliquer ce qu'elle voyait (risqué, car cette IA peut se tromper ou mentir).

Avec WeightLens et CircuitLens, les chercheurs peuvent :

• Aller plus vite : Pas besoin de tout lire, on regarde la structure.
• Être plus sûrs : On ne dépend plus d'une "boîte noire" pour expliquer une autre "boîte noire".
• Comprendre les pièges : On peut voir si le modèle triche ou utilise des raccourcis dangereux (comme des biais racistes ou des erreurs médicales) en voyant exactement quels circuits s'activent.

🎯 En résumé

Imaginez que vous essayez de comprendre comment fonctionne un orchestre symphonique.

• Les anciennes méthodes écoutaient le bruit et demandaient à un critique musical de deviner quel instrument jouait.
• WeightLens regarde la partition de musique (les poids) pour savoir qui joue quoi.
• CircuitLens regarde comment les musiciens se regardent et s'écoutent entre eux pour créer une mélodie (les circuits).

Ensemble, ces deux outils permettent de transformer l'IA d'une "boîte noire mystérieuse" en un "instrument de musique transparent" que l'on peut comprendre, vérifier et utiliser en toute confiance. C'est une étape cruciale pour rendre l'intelligence artificielle plus sûre et plus fiable pour tout le monde.

Résumé technique

1. Problématique et Contexte

L'interprétabilité mécaniste et l'IA explicable (XAI) visent à comprendre les mécanismes internes des réseaux de neurones, en particulier les grands modèles de langage (LLM). Bien que la découverte de "circuits" (sous-graphes responsables de tâches spécifiques) soit un outil central, les approches actuelles souffrent de limitations majeures :

• Dépendance aux tâches factices : La plupart des études se limitent à des tâches simples et nécessitent une analyse manuelle intensive.
• Limites de l'interprétation basée sur les activations : Les méthodes automatisées analysent souvent les motifs d'activation des neurones ou des caractéristiques (features) via de grands modèles de langage (LLM) "explicateurs". Cela pose plusieurs problèmes :
  • Poly-sémanticité : Les neurones ou les caractéristiques peuvent activer sur des motifs complexes et spécifiques, rendant les descriptions floues.
  • Boucle noire : Le transfert du problème d'interprétabilité vers un autre LLM (l'explicateur) introduit des risques de sécurité et de fiabilité (explications non fidèles).
  • Dépendance aux données : La qualité des explications dépend fortement de la taille et de la qualité du jeu de données utilisé pour générer les échantillons d'activation.
• Manque d'analyse structurelle : Les approches existantes négligent souvent les connexions structurelles fixes (poids) au profit des activations dynamiques, ce qui empêche une analyse scalable et robuste.

2. Méthodologie : WeightLens et CircuitLens

Les auteurs proposent deux méthodes complémentaires, WeightLens et CircuitLens, qui s'appuient sur l'architecture des Transcodeurs (une approximation parcimonieuse des couches MLP qui sépare les contributions dépendantes de l'entrée et invariantes de l'entrée).

A. WeightLens : Interprétabilité Automatisée Invariante à l'Entrée

Cette méthode vise à interpréter les caractéristiques directement à partir de leurs poids appris, éliminant ainsi le besoin de jeux de données ou de LLM explicateurs pour les caractéristiques contextuellement indépendantes.

• Principe : Elle exploite les connexions invariantes à l'entrée (les poids du transcodeur) qui séparent l'activation scalaire dépendante de l'entrée des termes de connectivité fixes entre les couches.
• Processus :
  1. Projection : Projection des vecteurs encodeur et décodeur d'une caractéristique dans l'espace des embeddings d'entrée et des logits de sortie (vocabulaire).
  2. Détection d'anomalies : Identification des tokens "outliers" (via des scores Z) qui contribuent fortement à l'activation ou qui sont promus en sortie.
  3. Analyse des connexions pondérales : Identification des caractéristiques des couches précédentes contribuant le plus via les poids.
  4. Validation : Un passage avant (forward pass) valide si les tokens candidats activent réellement la caractéristique de manière isolée.
  5. Génération : Construction de descriptions basées sur les tokens validés, avec une lemmatisation pour regrouper les formes flexionnelles.
• Avantage : Fonctionne sans données externes ni LLM, offrant une interprétation rapide et robuste pour les caractéristiques stables.

B. CircuitLens : Interprétabilité Automatisée Basée sur les Circuits

Cette méthode s'attaque aux caractéristiques dépendantes du contexte en analysant les interactions au niveau du circuit, au-delà des simples activations.

• Principe : Au lieu de simplement sélectionner les échantillons les plus actifs, CircuitLens analyse toute la distribution des activations et isole les motifs causaux (entrées et sorties) via l'attribution.
• Processus :
  1. Échantillonnage : Utilisation d'un échantillonnage par quantiles inverses pour capturer les cas rares mais forts, couvrant ainsi la distribution complète des activations.
  2. Détection de motifs par circuit :
     • Focus entrée : Attribution aux têtes d'attention pour identifier quels tokens (ou paires tête/token) déclenchent l'activation.
     • Focus sortie : Attribution pour déterminer quels tokens de sortie sont influencés par la caractéristique.
  3. Masquage intelligent : Masquage des tokens non pertinents pour ne garder que les motifs d'entrée et de sortie causaux, simplifiant la tâche du LLM explicateur.
  4. Clustering basé sur les circuits : Regroupement des échantillons d'entrée en clusters selon les circuits sous-jacents (features et têtes d'attention contributives) plutôt que par similarité sémantique brute. Cela permet de gérer la poly-sémanticité en séparant les différents concepts activés par une même caractéristique.
  5. Génération de descriptions : Le LLM explicateur reçoit uniquement les motifs isolés et les clusters, produisant des descriptions unifiées et précises.

3. Contributions Clés

1. Dépassement de l'analyse par activations : Introduction d'une approche hybride combinant l'analyse structurelle (poids) et l'analyse dynamique (circuits) pour une interprétabilité plus complète.
2. Réduction de la dépendance aux données et aux LLM : WeightLens permet d'interpréter jusqu'à ~58% des caractéristiques (selon le modèle) sans aucune donnée d'entraînement ni LLM externe, réduisant les coûts et les risques de sécurité.
3. Gestion de la poly-sémanticité : CircuitLens utilise le clustering basé sur les circuits pour désenchevêtrer les concepts multiples au sein d'une même caractéristique, améliorant la clarté des descriptions.
4. Robustesse et Évolutivité : La combinaison des deux méthodes rend l'interprétabilité moins sensible à la taille et à la distribution des jeux de données, tout en restant efficace.

4. Résultats et Évaluations

Les méthodes ont été évaluées sur des modèles GPT-2 Small, Gemma-2-2B et Llama-3.2-1B en utilisant le cadre FADE (évaluation par LLM-juge sur quatre métriques : Clarté, Réactivité, Pureté, Fidélité).

• Performance de WeightLens :
  • Sur les caractéristiques basées sur des tokens (contexte indépendant), WeightLens égale ou dépasse les méthodes basées sur l'activation (comme Neuronpedia et MaxAct*) en termes de Clarté et de Réactivité.
  • Elle évite la sur-généralisation fréquente des méthodes basées sur les activations.
  • Cependant, la Fidélité reste faible globalement, probablement due à la redondance du modèle et à la difficulté d'isoler l'effet d'une seule caractéristique dans les transcodeurs.
• Performance de CircuitLens :
  • Les descriptions basées sur les circuits sont plus robustes aux variations de taille de jeu de données. Même sur un petit jeu de données (24M tokens), elles surpassent parfois les baselines entraînées sur de grands jeux de données (2,3B tokens).
  • Le clustering basé sur les circuits améliore significativement la Clarté en réduisant le nombre de descriptions extrêmement vagues.
  • L'analyse des sorties (output-centric) révèle des fonctions de caractéristiques invisibles via les seules entrées (ex: une caractéristique activée sur "on" mais influençant la génération de phrases comme "based on").
• Analyse par couches :
  • Les premières couches sont bien interprétables via les poids (structures de tokens claires).
  • Les couches intermédiaires (ex: couche 12 de Gemma) sont plus difficiles, avec beaucoup de caractéristiques dépendantes du contexte.
  • Les couches tardives récupèrent une certaine interprétabilité basée sur des paires clé-valeur (ex: "apologize for").

5. Signification et Conclusion

Cet article marque une avancée significative vers une interprétabilité mécaniste automatisée et scalable. En démontrant que les poids contiennent des informations structurelles exploitables sans données, et que l'analyse des circuits permet de désenchevêtrer la complexité contextuelle, les auteurs proposent un cadre plus robuste que les approches purement basées sur les activations.

Limitations notées :

• WeightLens est spécifique à l'architecture des transcodeurs et ne s'applique pas directement aux Sparse Autoencoders (SAE) standards.
• Les caractéristiques fortement dépendantes du contexte nécessitent toujours une analyse de circuit (donc des données).
• Les scores de fidélité restent faibles, suggérant que l'évaluation de l'impact causal individuel des caractéristiques dans les architectures de transcodeurs actuelles est un défi ouvert.

En conclusion, Circuit Insights ouvre de nouvelles voies pour comprendre le comportement des modèles à grande échelle en intégrant l'analyse structurelle et dynamique, rendant l'interprétabilité plus pratique pour les applications réelles.