🤖 AI

Finding Usable Weight Mechanisms with Tiled SVD

Cet article propose une méthode pour extraire des mécanismes de poids interprétables directement à partir des couches linéaires de réseaux de neurones en utilisant la SVD par tuilage de colonnes pour définir les caractéristiques sous forme de triplets déclencheur-force d'écriture, démontrant une performance parfaite sur tous les sites testés sur un modèle Gemma-2-2B tout en publiant le code associé et la suite d'évaluation.

Auteurs originaux : Ash Manvi, Samreena Tajreen

Publié 2026-08-10

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ash Manvi, Samreena Tajreen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre comment fonctionne le cerveau d'un robot géant et super intelligent. Pendant longtemps, les scientifiques ont été comme des détectives essayant de comprendre ce que le robot pense en observant ses « notes » (activations) pendant qu'il résout des problèmes. Ils ont construit des dictionnaires spéciaux pour étiqueter ces notes, donnant des noms comme « chat » ou « justice » à des motifs d'activité spécifiques. C'est un peu comme avoir un traducteur qui vous dit : « Ah, en ce moment, le robot pense à un chat ! » Mais il y a un piège : ce traducteur est un outil distinct, il ne fait pas partie du cerveau réel du robot. C'est comme avoir un manuel qui explique la machine, plutôt que de voir les engrenages et les leviers bouger à l'intérieur.

La grande question que cet article aborde est la suivante : pouvons-nous trouver les véritables « engrenages » à l'intérieur du cerveau du robot qui font le travail de pensée, sans avoir besoin d'un manuel séparé ? Les auteurs examinent les « fils » (poids) qui connectent les différentes parties du cerveau. Ils cherchent à trouver des interrupteurs spécifiques et utilisables qui allument ou éteignent les idées. Si nous pouvons trouver ces interrupteurs directement dans le câblage, nous ne ferons pas que deviner ce que le robot pense ; nous serons capables de voir exactement comment il construit ses pensées, étape par étape. Cela est crucial car si nous comprenons la véritable mécanique, nous pourrons corriger les erreurs ou diriger le robot vers des directions plus sûres, plutôt que de simplement deviner ce qu'il signifie.

L'histoire de l'article : Trouver les vrais engrenages

Les auteurs, Ash Manvi et Samreena Tajreen d'Aquin Labs, ont décidé d'arrêter de regarder les « notes » du robot pour commencer à regarder directement ses « schémas de câblage ». Ils se sont concentrés sur un type spécifique de cerveau de robot appelé Gemma-2-2B et ont posé la question : « Si nous coupons le câblage en petits morceaux gérables, pouvons-nous trouver les interrupteurs exacts qui contrôlent les pensées du robot ? »

Pour ce faire, ils ont utilisé un outil mathématique appelé SVD (Décomposition en valeurs singulières). Voyez la SVD comme une méthode super puissante pour prendre une pelote de laine désordonnée et emmêlée et la démêler en fils nets et droits. Habituellement, les scientifiques démêlent la pelote de laine entière d'un coup pour trouver les plus gros fils. Mais les auteurs avaient l'intuition que les fils les plus utiles pourraient être cachés dans des sections plus petites et spécifiques. Ils ont donc testé une nouvelle astuce : la SVD par tuiles (Tiled SVD).

Imaginez le câblage du robot comme un immense mur d'interrupteurs. Au lieu d'essayer de démêler tout le mur d'un coup, ils ont découpé le mur en petites tuiles carrées (comme une mosaïque). Ils ont démêlé chaque petite tuile séparément. De chaque tuile, ils ont extrait un « support de mécanisme » (mechanism mount), qui est juste un nom sophistiqué pour un triple paquet :

Le Déclencheur (v) : Le signal spécifique qui bascule l'interrupteur.
L'Écriture (u) : La direction vers laquelle l'interrupteur pousse les pensées du robot.
La Force (σ) : La force avec laquelle cet interrupteur pousse.

Les auteurs ne se sont pas contentés de deviner si ces interrupteurs fonctionnaient ; ils ont construit un test rigoureux pour voir s'il s'agissait de vrais « mécanismes » ou de simple bruit aléatoire. Ils ont vérifié trois choses principales :

L'Élévation d'Énergie : Est-ce que basculer cet interrupteur fait réellement en sorte que le cerveau du robot accomplisse plus de travail de manière utile ? Ils ont trouvé que leur approche « par tuiles » (découper le mur en petits morceaux) était bien meilleure pour trouver ces interrupteurs puissants que de regarder le mur entier d'un coup.
La Couverture : Ces interrupteurs couvrent-ils une partie suffisante du cerveau du robot ? Ils ont découvert que seulement quelques interrupteurs par tuile suffisaient à expliquer presque tout ce que faisait le robot.
Le Pilotage Causal : Si ils basculaient manuellement ces interrupteurs, est-ce que le robot changeait d'avis de manière prévisible ? Ils ont testé cela en injectant des signaux dans le « flux résiduel » du robot (l'autoroute principale où voyagent les pensées) et en vérifiant si les réponses finales du robot changeaient comme prévu.

Ce qu'ils ont trouvé

Les résultats ont été étonnamment fructueux. Ils ont testé sept types différents de câblage dans chaque couche de chaque cerveau du robot (26 couches au total). Cela représente 182 endroits différents qu'ils ont vérifiés.

Les « Gros » Interrupteurs : Pour les deux types principaux d'interrupteurs qui écrivent réellement de nouvelles pensées dans la mémoire du robot (appelés mlp.down et attn.o), ils ont utilisé un test complet incluant la vérification si le robot changeait correctement d'avis. Tous ces 52 points ont réussi.
Les Interrupteurs « Auxiliaires » : Pour les cinq autres types d'interrupteurs qui aident à traiter l'information mais n'écrivent pas directement dans la mémoire, ils ont utilisé un test légèrement plus simple. Tous ces 130 points ont réussi.

Au total, 182 sur 182 points ont réussi le test. Cela signifie qu'ils ont réussi à trouver des mécanismes réels et utilisables dans chaque partie du cerveau du robot qu'ils ont examinée.

Ce que cela signifie (et ce que cela ne signifie pas)

Les auteurs sont très clairs sur ce qu'ils n'ont pas fait. Ils n'ont pas trouvé un dictionnaire de mots comme « chat » ou « amour ». Ils n'ont pas remplacé les anciennes méthodes de « prise de notes » (comme les auto-encodeurs clairsemés) pour découvrir de nouveaux concepts. Au lieu de cela, ils ont prouvé que si l'on regarde le câblage en petits blocs par tuiles, on peut trouver les règles physiques réelles que le robot utilise pour penser.

Ils ont également découvert que pour certaines parties du cerveau, on ne peut pas simplement regarder le câblage brut ; il faut regarder le « chemin effectif » (comment le signal circule réellement lorsque le robot travaille). Une fois qu'ils ont ajusté cela, les interrupteurs fonctionnaient parfaitement.

L'article suggère que cette approche « par tuiles » est une meilleure façon de trouver les engrenages internes du robot que de regarder l'ensemble du système d'un coup. C'est un test reproductible et honnête qui montre que nous pouvons trouver les « règles de poids » (les mathématiques réelles à l'intérieur du cerveau) qui pilotent le comportement du robot, sans avoir besoin d'un traducteur séparé pour nous dire ce qui se passe. Bien qu'ils n'aient testé cela que sur un modèle de robot spécifique et un type de texte, la méthode qu'ils ont construite est désormais disponible pour que quiconque puisse explorer d'autres cerveaux.

Résumé Technique : Identification de mécanismes de poids utilisables par SVD par tuilage

Énoncé du problème
Les approches dominantes actuelles en interprétabilité mécaniste reposent sur l'entraînement de dictionnaires de substitution, tels que les auto-encodeurs creux (SAE), pour étiqueter des caractéristiques basées sur le texte activant au maximum. Bien que ces atlas identifient avec succès des concepts, l'« identité » d'une caractéristique réside dans le dictionnaire appris plutôt que dans les poids du réseau eux-mêmes. Par conséquent, les règles de poids spécifiques qui écrivent réellement dans le flux résiduel restent implicites. De plus, les méthodes existantes utilisent souvent la décomposition en valeurs singulières (SVD) simplement comme une lentille ou un primitif de circuit, plutôt que comme un test rigoureux pour déterminer quel découpage spécifique d'une matrice de poids ( $W$ ) produit des mécanismes utilisables et conformes à la distribution.

Méthodologie
Les auteurs proposent d'extraire des « montures de mécanismes » (mechanism mounts) directement à partir des sites linéaires du réseau en utilisant la SVD par tuilage de colonnes.

Montures de mécanismes : Une monture est définie comme un triplet $(v, u, \sigma)$ représentant un déclencheur (trigger), une direction d'écriture et une intensité. L'identité d'un mécanisme est la règle de poids elle-même, et non une étiquette verbale.
Stratégie de tuilage : Au lieu d'effectuer une SVD sur l'intégralité de la matrice de poids, les colonnes d'entrée de $W$ sont partitionnées en tuiles. Chaque tuile est factorisée indépendamment ( $B_t = U_t \Sigma_t V_t^\top$ ). Les modes de rang $k$ supérieurs de chaque tuile sont conservés pour former les montures.
Métriques d'évaluation : Les auteurs introduisent une pile de mesures jugée sur l'élévation d'énergie de l'écriture complète (full-write energy lift) plutôt que sur l'élévation locale de la tuile.
- Élévation d'énergie de l'écriture complète ( $L_{full}$ ) : Mesure la capacité d'une direction $u$ à expliquer l'énergie du tenseur d'écriture réel $\Delta h_t$ à travers le jeu de données. Cette métrique évite l'avantage tautologique des tuiles d'une seule colonne qui gonflent les métriques locales.
- Saturation de la couverture : Évalue la fraction de la norme de Frobenius de $W$ récupérée par les reconstructions de rang $k$ par tuile. Elle exige que l'élévation sature tôt (en 1 à 2 modes) et ne s'effondre pas de manière significative.
- Test de pilotage causal (Expérience C) : Pour les écritures résiduelles, les auteurs injectent la direction de pilotage (steer direction) après la RMSNorm post-sous-couche et mesurent la corrélation de Spearman ( $\rho$ ) entre les changements de logit résultants et le désencodage (unembedding) de la direction d'écriture.
Montures de chemins effectifs (Effective-Path Mounts) : Pour les sites non résiduels comme mlp.up et attn.v, les poids bruts des modules échouent souvent aux tests causaux. La méthode construit des « cartes effectives » (par exemple, en pondérant mlp.up par les activations moyennes de la porte ou en utilisant la régression de Ridge pour attn.v) afin de capturer l'utilisation réelle sur la distribution.

Configuration expérimentale

Modèle : Google Gemma-2-2B (26 couches).
Données : Données d'entraînement brutes de WikiText-2, sous-échantillonnées à 16 384 jetons.
Sites : Les sept cartes linéaires par couche sont évaluées :
- Écritures résiduelles (vérifications A/B/C) : mlp.down, attn.o.
- Non-résiduels (vérifications A/B uniquement) : mlp.gate, mlp.up, attn.q, attn.k, attn.v.
Lignes de base : L'approche SVD par tuilage est comparée à la SVD de la matrice entière, à l'échantillonnage de colonnes et à des lignes de base aléatoires.

Résultats clés
La suite proposée a été appliquée à l'ensemble des 182 sites-couches (7 sites $\times$ 26 couches).

Expérience A (Découpage) : La SVD par tuilage a systématiquement obtenu une élévation d'énergie de l'écriture complète supérieure à la SVD de la matrice entière, à l'échantillonnage de colonnes et aux lignes de base aléatoires pour toutes les profondeurs concernant les écritures résiduelles. Cela indique que la structure locale des colonnes dans $W$ n'est pas bien résumée par une SVD globale unique.
Expérience B (Couverture) : L'élévation de la couverture a saturé rapidement, atteignant ses performances maximales avec seulement 1 ou 2 modes par tuile. Les modes supplémentaires ajoutaient principalement de la redondance.
Expérience C (Profondeur Causale) : Pour les écritures résiduelles, l'alignement entre les logits pilotés et le désencodage de la direction d'écriture augmente avec la profondeur. Les couches précoces (0–5) montrent un faible alignement (justifiant une exemption pour la vérification C1), tandis que les couches finales atteignent des corrélations élevées ( $\rho \approx 0,91$ pour mlp.down, $\rho \approx 0,75$ pour attn.o).
Verdict global : La suite a réussi pour 182/182 sites-couches.
- Les sites résiduels (mlp.down, attn.o) ont réussi les vérifications A, B et C (52/52).
- Les sites non résiduels ont réussi les vérifications A et B (130/130), à condition que mlp.up et attn.v utilisent des montures de chemins effectifs.

Signification et Revendications
Les auteurs positionnent ce travail non pas comme un remplacement des auto-encodeurs creux pour la découverte de concepts, ni comme une méthode de génération de noms de concepts lisibles par l'humain. Au contraire, la signification réside dans :

Un découpage équitable (Fair Chunking) : Démontrer que la SVD par tuilage est une méthode supérieure pour extraire des mécanismes de poids utilisables par rapport à la SVD globale ou à l'échantillonnage de colonnes pour un budget équivalent.
Résultat négatif sur les métriques locales : Souligner que les métriques d'élévation locales de la tuile sont tautologiques et que l'élévation d'énergie de l'écriture complète est un critère nécessaire de l'utilisabilité.
Protocole reproductible : Fournir un « protocole honnête multi-sites » qui valide l'extraction de mécanismes à travers toutes les cartes linéaires d'un bloc Transformer, incluant un test causal dépendant de la profondeur.
Définition de l'identité : Établir que l'« identité » d'un mécanisme est la règle de poids elle-même, indépendamment des dictionnaires externes.

L'article conclut qu'avec des montures de chemins effectifs pour des couches spécifiques, une suite de tests simple et reproductible peut valider des mécanismes utilisables à travers toute l'architecture d'un modèle. Les auteurs publient le code de la bibliothèque, le constructeur de corpus et les points d'entrée expérimentaux pour soutenir ce protocole.

L'histoire de l'article : Trouver les vrais engrenages

Ce qu'ils ont trouvé

Ce que cela signifie (et ce que cela ne signifie pas)

Articles similaires