🤖 machine learning

Targeted Recovery of Weight-Space Mechanisms From Neural Networks

Cet article introduit la Décomposition de Paramètres Ciblée (tPD), une méthode évolutive qui isole des circuits de calcul spécifiques au sein de grands réseaux de neurones en utilisant une composante générique de rang élevé pour traiter les données non ciblées, permettant ainsi une récupération efficace et une manipulation chirurgicale des mécanismes avec un coût computationnel considérablement réduit.

Auteurs originaux : Antoine Vigouroux, Lee Sharkey

Publié 2026-07-16

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Antoine Vigouroux, Lee Sharkey

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque géante et magique où chaque livre est écrit par un robot super intelligent qui a appris à parler en lisant presque tout l'internet. Ce robot, connu sous le nom de Grand Modèle de Langage (ou LLM), est incroyablement doué pour terminer vos phrases, écrire du code ou raconter des histoires. Mais voici le piège : personne ne sait réellement comment il fait. C'est comme une boîte noire. Vous posez une question, et une réponse parfaite en ressort, mais les rouages qui tournent à l'intérieur sont un enchevêtrement de milliards de minuscules interrupteurs (appelés paramètres) qu'aucun humain ne peut lire facilement.

Les scientifiques qui étudient l'« interprétabilité mécaniste » sont comme des détectives essayant de démonter cette boîte noire pour voir les rouages. Ils veulent trouver les petits circuits spécifiques à l'intérieur du cerveau du robot qui sont responsables de tâches précises, comme savoir que « Paris » est la capitale de la « France » ou savoir comment écrire une ligne de code CSS. Une méthode récente appelée « Décomposition de Paramètres » tente de décomposer le cerveau du robot en minuscules parties à usage unique. Cependant, cette méthode est comme essayer de cartographier chaque rue d'un pays immense juste pour trouver l'itinéraire vers votre boulangerie locale : cela prend énormément de temps, d'argent et de puissance informatique. C'est si coûteux que c'est actuellement impossible à faire pour les plus gros et plus intelligents robots existants.

C'est là qu'intervient un nouvel article de Antoine Vigouroux et Lee Sharkey. Ils proposent un raccourci ingénieux appelé « Décomposition de Paramètres Ciblée » (ou tPD). Au lieu d'essayer de cartographier tout le cerveau du robot à la fois, ils se demandent : « Et si nous ne nous soucions que de la façon dont le robot gère une seule chose spécifique, comme le code CSS ou une astuce mathématique particulière ? » Leur méthode construit un filet de sécurité géant qui attrape tout ce que le robot fait en dehors de cette chose précise, leur permettant de concentrer leur énergie uniquement sur les rouages spécifiques qui comptent. Ils ont testé cela sur de plus petits cerveaux de robots et ont découvert que cela fonctionne aussi bien que la méthode coûteuse de cartographie complète, mais en utilisant une fraction infime de la puissance informatique. En fait, ils ont été capables d'extraire chirurgicalement la mémoire de commandes spécifiques (comme « import numpy as ») et même de les échanger pour que le robot dise « import pandas as » au lieu de « import numpy as », le tout sans briser la capacité du robot à faire quoi que ce soit d'autre. C'est une façon de pratiquer une chirurgie cérébrale délicate sur l'IA sans avoir besoin d'une hospitalière entière d'équipement.

La Grande Idée : Le Filet de Sécurité « Tout-en-Un »

Considérez un réseau neuronal (le cerveau du robot) comme un immense orchestre. Chaque instrument (ou poids) joue un rôle dans la création de la musique. L'ancienne méthode pour comprendre cet orchestre consistait à essayer d'écrire la partition de chaque instrument jouant chaque note possible dans chaque chanson possible. C'est la « décomposition du modèle complet » dont parlent les auteurs. C'est précis, mais c'est comme essayer de transcrire une symphonie alors que le groupe joue mille chansons différentes à la fois. Cela prend un temps fou et nécessite une équipe de musiciens (ordinateurs) énorme pour suivre le rythme.

Les auteurs ont réalisé que si vous voulez seulement comprendre comment l'orchestre joue une seule chanson spécifique (comme un extrait de code CSS), vous n'avez pas besoin de transcrire tout le concert. Vous avez juste besoin de savoir quels instruments jouent cette chanson. Mais il y a un problème : si vous n'écoutez que cette chanson, vous pourriez penser qu'un instrument joue une note alors qu'il fait simplement un son à cause de l'écho de la pièce. Vous ne pouvez pas dire si l'instrument est réellement important pour cette chanson ou s'il est juste présent pour les autres chansons.

Pour résoudre cela, les auteurs ont inventé un composant « tout-en-un ». Imaginez que vous enregistrez l'orchestre. Vous placez un microphone sur les instruments spécifiques qui vous intéressent (la « cible »), mais vous placez aussi une gigantesque couverture insonorisante ultra-sensible sur le reste de la scène. Cette couverture (appelée composant $\Delta$ ) absorbe tous les sons provenant des autres instruments qui ne font pas partie de votre chanson cible.

En entraînant le système avec deux flux de données simultanés — la chanson spécifique que vous voulez étudier et un énorme mélange d'autres chansons aléatoires — la couverture « tout-en-un » apprend à absorber tout ce qui n'est pas la cible. Cela force les microphones spécifiques à ne capter que les instruments qui sont véritablement essentiels pour la chanson cible. Si un instrument n'est utilisé que pour les autres chansons, la couverture l'absorbe, et les microphones restent silencieux. Cela signifie que les scientifiques peuvent trouver les « circuits » exacts pour une tâche spécifique sans avoir besoin de cartographier l'orchestre entier.

Ce Qu'Ils Ont Trouvé : Vitesse, Précision et Chirurgie

L'équipe a testé cette idée sur des modèles de jeu (des robots simples et petits) et a constaté qu'elle fonctionnait parfaitement. Lorsqu'ils ont demandé au système de ne regarder que trois caractéristiques spécifiques, il a trouvé exactement les trois mécanismes nécessaires, ignorant les 97 autres. C'était comme trouver trois clés spécifiques dans un énorme trousseau sans avoir à regarder les 97 autres clés. Non seulement ils ont trouvé les bonnes clés, mais ils l'ont fait beaucoup plus vite — environ cinq fois plus vite que l'ancienne méthode — et ils ont eu besoin d'un ordinateur bien plus petit pour accomplir la tâche.

Ils sont ensuite passés à un véritable modèle de langage, un transformateur à 4 blocs entraîné sur un immense ensemble de données appelé « The Pile ». Ils voulaient voir s'ils pouvaient isoler les mécanismes qui gèrent le code CSS. En utilisant leur méthode ciblée, ils ont réussi à extraire un sous-modèle « uniquement CSS ». Ce sous-modèle n'utilisait qu'environ 7 % de la puissance de calcul (FLOPs) de la méthode de décomposition complète.

Les résultats étaient frappants. Lorsqu'ils ont fait fonctionner ce modèle uniquement CSS sur du code CSS, il fonctionnait exactement comme le robot original. Mais lorsqu'ils ont essayé de le faire parler anglais ou Python, il s'effondrait complètement, répétant souvent simplement le mot « the » ou « count ». Cela a proué qu'ils avaient réussi à isoler le « cerveau CSS » du reste du robot. Plus incroyable encore, ils ont trouvé des sous-composants spécifiques responsables de choses comme la reconnaissance de l'indentation en CSS, mais pas en Python. Lorsqu'ils ont désactivé ces composants spécifiques, le robot a cessé de comprendre l'indentation CSS, mais sa capacité à écrire du code Python est restée parfaitement intacte.

Le Test Ultime : Chirurgie Cérébrale sur un Modèle à 12 Blocs

La partie la plus excitante de l'article s'est produite lorsqu'ils ont appliqué cela à un modèle plus grand, un transformateur à 12 blocs possédant 85 millions de paramètres de non-embedding. Ils se sont concentrés sur une tâche très spécifique : l'habitude du robot de compléter la phrase « import numpy as » par « np » et « import pandas as » par « pd ». Ce sont des commandes courantes en programmation Python.

En utilisant leur méthode ciblée, ils ont identifié 248 sous-composants spécifiques responsables de ces complétions. Ensuite, ils ont pratiqué une certaine « chirurgie numérique ».

D'abord, ils ont procédé à une ablation (désactivation) des composants spécifiques à « numpy ». Le résultat ? Le robot ne pouvait plus compléter « import numpy as » par « np ». C'était comme si la mémoire de cette association spécifique avait été effacée. Mais voici la magie : la capacité du robot à écrire tout le reste — texte anglais, autres codes, phrases aléatoires — était totalement intacte. Il n'a pas été confus et n'a pas commencé à faire des erreurs ailleurs.

Ensuite, ils ont tenté quelque chose de plus audacieux : le recâblage. Puisque chaque composant possède une direction d'« entrée » et une direction de « sortie », ils ont échangé les directions de sortie des composants « numpy » et « pandas ». Ils ont essentiellement dit à la partie « numpy » du cerveau de parler avec la voix de « pandas », et vice versa.

Le résultat fut bizarre et parfait. Lorsque vous tapiez « import numpy as », le robot complétait désormais par « pd ». Lorsque vous tapiez « import pandas as », il complétait par « np ». Il ne s'agissait pas d'une simple erreur ; il avait véritablement échangé la connaissance. Et encore une fois, ce changement était incroyablement spécifique. Le comportement du robot sur le reste d'internet (plus de 100 000 tokens de données générales) est resté presque identique à l'original. Les « effets secondaires » étaient négligeables.

Pourquoi Cela Importe (et Ce Que Cela Ne Signifie Pas)

Cet article suggère que nous n'avons pas besoin d'attendre des supercalculateurs pour cartographier le cerveau entier d'un robot géant afin de le comprendre ou de le modifier. Nous pouvons zoomer sur des comportements spécifiques, isoler les rouages qui les font fonctionner, et même les ajuster, tout en laissant le reste de la machine fonctionner normalement.

Cependant, les auteurs veillent à ne pas trop promettre. Ils notent que cette méthode fonctionne mieux pour des tâches spécifiques et bien définies, comme des séquences mémorisées (comme « import numpy ») ou des types de code spécifiques (comme le CSS). Ils admettent que l'édition de connaissances complexes sur le monde (comme des faits historiques ou scientifiques) pourrait être plus difficile car le cerveau peut utiliser plusieurs moyens redondants pour stocker la même information. Si le robot possède deux engrenages différents qui font le même travail, éteindre l'un d'eux pourrait ne pas arrêter le robot, car l'autre engrenage prendra le relais. Ils soulignent également que leur plus grand modèle était encore minuscule comparé aux modèles de pointe utilisés aujourd'hui, et que de nouveaux défis pourraient surgir lors du passage à l'échelle.

Mais pour l'instant, cette « Décomposition de Paramètres Ciblée » est un nouvel outil puissant. C'est comme avoir un scalpel plutôt qu'une masse. Au lieu d'essayer de comprendre tout le robot à la fois, nous pouvons maintenant soulever délicatement le couvercle, regarder exactement la partie qui nous intéresse, et peut-être même lui donner une petite impulsion, le tout sans casser le reste de la machine.

Résumé technique : Récupération ciblée des mécanismes de l'espace de poids des réseaux de neurones

Énoncé du problème

La Décomposition de Paramètres (PD) est une technique de rétro-ingénierie des réseaux de neurones consistant à décomposer les matrices de poids en sous-composantes de rang 1 interprétables ( $U_c V_c^\top$ ) qui implémentent des rôles fonctionnels uniques. Bien que la PD ait été appliquée avec succès à des modèles jouets et étendue à de petits transformeurs (par exemple, un modèle de 4 blocs de 28 millions de paramètres), le passage à l'échelle de cette approche vers les LLM de pointe présente des obstacles majeurs. La décomposition d'un modèle complet nécessite des ressources de calcul considérables, ce qui en fait une entreprise coûteuse et risquée. De plus, sans vérité de terrain (ground truth) pour guider l'ingénierie de ces décompositions à grande échelle, le paysage d'optimisation devient de plus en plus difficile à naviguer. Les méthodes existantes exigent que la décomposition reconstruise le comportement du modèle sur l'ensemble de sa distribution d'entrée, une exigence qui peut s'avérer inutile pour des objectifs d'interprétabilité spécifiques.

Méthodologie : Décomposition de Paramètres Ciblée (tPD)

Les auteurs proposent la Décomposition de Paramètres Ciblée (tPD), une variante de la PD qui identifie sélectivement les mécanismes traitant un sous-ensemble spécifique de données (les « données cibles ») plutôt que l'ensemble de la distribution d'entrée.

Mécanisme central

Une PD standard entraînée uniquement sur des données cibles produit une solution sous-déterminée : bien qu'elle reconstruise les sorties cibles, les sous-composantes sont non contraintes dans les directions orthogonales à l'espace d'activation des données cibles. Cela conduit à des effets imprévisibles lors de l'ablation de composants sur des entrées non cibles.

Pour résoudre cela, la tPD s'entraîne sur deux flux de données parallèles :

Flux cible : Un ensemble de données plus restreint d'entrées que l'utilisateur souhaite expliquer (par exemple, des prompts ou des sous-tâches spécifiques).
Flux non cible : Des données échantillonnées à partir de la distribution d'entraînement originale du modèle.

Le modèle de décomposition approxime la matrice de poids originale $W$ comme suit :
$W \approx W' = \sum_{i=1}^{C} m_i U_i V_i^\top + m_\Delta \left( W - \sum_{i=1}^{C} U_i V_i^\top \right)$
Où :

$U_i V_i^\top$ sont les sous-composantes de rang 1 éparses destinées à capturer les mécanismes actifs sur les données cibles.
$\Delta = W - \sum U_i V_i^\top$ est une composante à rang plein, de type « fourre-tout » qui capture tous les mécanismes non explicitement décomposés (c'est-à-dire ceux inactifs sur les données cibles).
$m_i$ et $m_\Delta$ sont des masques contrôlés par un réseau d'importance causale auxiliaire et une optimisation antagoniste.

Dynamique d'entraînement

Sur les données cibles : La composante $\Delta$ est ablée de manière antagoniste (masques définis entre 0 et 100 %) pour maximiser la perte de reconstruction. Cela force le modèle à reconstruire les sorties cibles en utilisant uniquement l'ensemble épars de sous-composantes de rang 1.
Sur les données non cibles : La composante $\Delta$ est pleinement activée ( $m_\Delta = 1$ ). Les sous-composantes de rang 1 sont autorisées à s'activer mais ne sont pas tenues de sommer aux poids originaux.
Contraintes antagonistes : Les sous-composantes inactives ainsi que la composante $\Delta$ sont ablées de manière antagoniste pour garantir que les sorties du modèle restent inchangées pour tout hybride de matrices originales et ablées. Cela impose une fidélité mécaniste, garantissant que les sous-composantes identifiées sont causalement importantes et que la composante $\Delta$ n'interfère pas avec les mécanismes cibles.
Importance-Minimalité : La fonction de perte minimise le nombre de sous-composantes actives. Les mécanismes actifs uniquement sur les données non cibles sont poussés vers la composante $\Delta$ , tandis que les mécanismes actifs sur les données cibles sont façonnés pour interférer de manière minimale avec les données non cibles.

Contributions clés

Cadre de décomposition ciblée : Introduction de la tPD, qui découple la nécessité d'une décomposition de modèle complet de la capacité à extraire des circuits interprétables pour des tâches spécifiques.
La composante $\Delta$ : Un ajout architectural novateur qui gère les données non cibles, résolvant le problème de sous-détermination inhérent à l'entraînement de la PD sur des jeux de données étroits.
Efficacité : Démontrer que la tPD réduit considérablement les exigences de calcul (empreinte mémoire et étapes d'optimisation) par rapport à la PD sur données complètes.
Édition mécaniste : Montrer que la tPD permet des interventions chirurgicales (ablation et recâblage) sur des mécanismes spécifiques avec des effets secondaires négligeables sur des entrées non liées.

Résultats

1. Validation sur modèle jouet (TMCC)

Sur le Modèle de Calcul Compressé (TMCC), la tPD a réussi à récupérer les mécanismes de vérité terrain pour un sous-ensemble de 3 caractéristiques d'entrée sur 100.

Précision : Elle a identifié exactement les trois mécanismes traitant les caractéristiques cibles sans activation spécieuse sur les entrées non cibles.
Efficacité : Le modèle de décomposition nécessitait beaucoup moins de créneaux de sous-composantes (aussi peu que 5 contre 100) et a convergé en environ 500 étapes, contre environ 2 500 étapes pour la PD sur données complètes.

2. Cohérence sur les transformeurs

Validée sur un transformeur de 4 blocs entraîné sur The Pile :

Reproductibilité : Les décompositions initialisées à partir de différentes graines aléatoires ont convergé vers des circuits très similaires (haute similitude cosinus dans les vecteurs $U$ et $V$ ) en ciblant des prompts comme « import numpy as » et « import pandas as ».
Compositionnalité : Les décompositions de ensembles cibles imbriqués (par exemple, {numpy, pandas} vs {numpy} seul) étaient cohérentes, la décomposition conjointe contenant l'union des composantes trouvées dans les décompositions individuelles.

3. Extraction de sous-modèle CSS-uniquement

Les auteurs ont extrait un sous-modèle contenant uniquement les mécanismes traitant le code CSS d'un transformeur de 4 blocs.

Efficacité des ressources : Cela n'a nécessité qu'environ 7 % des FLOPs de la décomposition publiée sur données complètes.
Performance : Le modèle « CSS-uniquement » (utilisant seulement les 1 638 sous-composantes identifiées) a égalé la performance du modèle original sur les données CSS (divergence KL $\approx$ 0,6) tout en s'effondrant sur les autres langages (divergence KL $\ge$ 2), isolant ainsi efficacement le calcul spécifique au CSS.
Spécificité : L'ablation de sous-composantes spécifiques (par exemple, celles gérant l'indentation ou les unités en CSS) a dégradé les performances CSS mais a laissé les autres langages inchangés, démontrant une haute spécificité mécaniste.

4. Édition de connaissances dans un transformeur de 12 blocs

Appliquée à un transformeur de 12 blocs (85 millions de paramètres) pour éditer des séquences mémorisées (« import numpy as » $\to$ « np » et « import pandas as » $\to$ « pd »).

Ablation : Les auteurs ont identifié 248 sous-composantes spécifiques à ces prompts. L'ablation de celles-ci a totalement supprimé la capacité du modèle à compléter ces séquences tout en maintenant le comportement sur les données générales de The Pile (KL < $10^{-2}$ ).
Recâblage : En échangeant les directions de sortie (vecteurs $U$ ) de sous-composantes spécifiques, les auteurs ont réussi à recâbler le modèle pour qu'il produise « pd » pour « import numpy as » et « np » pour « import pandas as ». Ce changement était hautement spécifique, avec des effets secondaires négligeables sur des contextes non liés.
Comparaison : Une décomposition « naïve » (données cibles uniquement, sans $\Delta$ ) a entraîné de lourds effets secondaires sur les données non cibles lors de l'ablation, confirmant la nécessité du cadre tPD.

Signification et revendications

L'article affirme que la tPD est un outil pratique pour l'interprétabilité à portée étroite, permettant la localisation de circuits, le désapprentissage (unlearning) et l'édition à des échelles où la PD sur données complètes est actuellement irréalisable. Elle suggère que la tPD peut servir de précurseur à la décomposition complète en faisant émerger des faits sur les modèles cibles qui peuvent ancrer des efforts d'ingénierie plus vastes.

Les auteurs restent modestes quant à la portée de leurs revendications :

Granularité : Les sous-composantes de la tPD traitent la tranche de l'espace d'activation couverte par les données cibles et ne sont pas nécessairement identiques aux sous-composantes de la décomposition complète.
Complexité : Les cas d'édition démontrés impliquent de courtes séquences mémorisées spécifiques aux jetons (tokens). L'édition de connaissances mondiales complexes pourrait nécessiter une ingénierie plus poussée.
Redondance : L'article reconnaît que si un modèle utilise des mécanismes redondants pour une tâche, la tPD (comme la PD sur données complètes) pourrait n'en récupérer qu'un sous-ensemble, risquant d'en manquer certains qui seraient absorbés dans la composante $\Delta$ .
Échelle : Les plus grands modèles testés (comparables à GPT-2-small) sont encore petits selon les standards de la frontière technologique ; porter la tPD à une plus grande échelle pourrait révéler des défis imprévus.

En résumé, la tPD offre une voie de calcul efficace pour la rétro-ingénierie de comportements spécifiques dans les réseaux de neurones sans le coût prohibitif de la décomposition de l'intégralité du modèle, à condition que les données cibles capturent pleinement le comportement d'intérêt.