🤖 machine learning

Exemplar Partitioning for Mechanistic Interpretability

Ce papier présente la Partitionnement des Exemplaires (PE), une méthode non supervisée qui construit des dictionnaires de caractéristiques interprétables à partir des activations de modèles de langage en utilisant des exemplaires observés plutôt que des poids appris, atteignant des performances d'interprétabilité comparables à celles des autoencodeurs parcimonieux avec environ 1 000 fois moins de tokens d'entraînement tout en permettant des comparaisons directes entre modèles et en fournissant une détection intégrée des données hors distribution.

Auteurs originaux : Jessica Rumbelow

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jessica Rumbelow

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une bibliothèque géante et chaotique où chaque livre représente une pensée ou une phrase unique qu'un modèle informatique a jamais traitée. Dans cette bibliothèque, les « idées » ne sont pas écrites en mots ; elles sont cachées sous forme de motifs complexes de lumière et d'électricité.

Pendant longtemps, les scientifiques cherchant à comprendre ces modèles ont utilisé une méthode appelée Autoencodeurs Épars (SAE). Imaginez cela comme embaucher une équipe de bibliothécaires coûteux et hautement qualifiés pour lire chaque livre, les trier dans des milliers de catégories spécifiques et rédiger un nouvel index. Cela prend énormément de temps et d'argent (puissance de calcul) pour former ces bibliothécaires, et les catégories qu'ils créent sont basées sur ce qu'ils ont appris à rechercher.

La Partition par Exemplaires (EP), la méthode introduite dans cet article, est une approche complètement différente, beaucoup moins coûteuse. Au lieu de former des bibliothécaires, elle utilise une machine de tri simple et automatisée.

Voici comment cela fonctionne, en utilisant des analogies du quotidien :

1. La machine de tri « Premier arrivé, premier servi »

Imaginez que vous traversez une pièce bondée (le flux de données). Vous voulez regrouper les gens en fonction de leur apparence similaire.

L'ancienne méthode (SAE) : Vous engagez un designer pour créer un ensemble parfait et prédéfini de 10 000 « bacs ». Vous passez ensuite des semaines à former un système pour déterminer exactement quelle personne va dans quel bac afin de minimiser les erreurs.
La nouvelle méthode (EP) : Vous traversez simplement la pièce. Lorsque vous voyez la première personne, vous dites : « D'accord, vous êtes le Leader du Groupe A ». Toute personne qui ressemble beaucoup à ce Leader rejoint le Groupe A.
- Si vous voyez quelqu'un qui ressemble différemment des Leaders actuels, vous dites : « Vous êtes le Leader d'un tout nouveau Groupe B ».
- Vous ne décidez pas à l'avance combien de groupes il y aura. Les groupes se forment naturellement en fonction de l'apparence réelle des gens dans la pièce.

2. Le concept d'« Ancrage »

Dans cette nouvelle méthode, chaque groupe est ancré par une vraie personne que vous avez effectivement vue (un « Exemplaire »).

Pourquoi cela compte : Dans l'ancienne méthode, un groupe pourrait être défini par une « moyenne » de milliers de personnes, ce qui est une personne fantomatique et imaginaire qui n'existe pas réellement. Dans la nouvelle méthode, chaque groupe est lié à un exemple réel et spécifique. Si vous voulez savoir de quoi parle le « Groupe A », il suffit de regarder la première personne qui l'a initié. Vous pouvez même pointer cette personne spécifique et dire : « Si nous supprimons l'influence de cette personne, le groupe disparaît ».

3. La « Carte gratuite » de la pièce

Parce que les groupes sont formés par une simple distance (la similarité de l'apparence des gens), la méthode crée une carte parfaite de la pièce.

Le détecteur « Hors de propos » : Si vous entrez dans la pièce et voyez quelqu'un qui ne ressemble en rien aux Leaders, le système sait immédiatement : « Cette personne n'appartient à aucun groupe que nous avons vu auparavant ». C'est une façon gratuite de repérer des entrées étranges ou inattendues sans aucun entraînement supplémentaire.

4. Ce que l'article a réellement découvert

Les auteurs ont testé cela sur un modèle d'IA spécifique (Gemma-2-2B) et ont trouvé des choses surprenantes :

C'est incroyablement rapide et peu coûteux : Ils ont construit ces dictionnaires en utilisant environ 1 000 fois moins de puissance de calcul que la méthode traditionnelle. Cela a pris quelques minutes sur une seule puce informatique au lieu de semaines d'entraînement.
Cela fonctionne aussi bien pour trouver des concepts : Lorsqu'ils ont demandé au système de trouver des idées spécifiques (comme « mathématiques », « code » ou « refus de répondre »), il a performé presque aussi bien que la méthode coûteuse et entraînée.
Il a trouvé le bouton « Refus » : Ils ont découvert un groupe spécifique d'entrées où l'IA décide de dire « Non » (refuser une demande). En examinant le « Leader » de ce groupe, ils ont pu prouver que si vous supprimez ce motif spécifique, l'IA cesse de refuser. Cela montre que les groupes sont des parties réelles et causales de la façon dont l'IA pense.
Il voit le monde différemment : La nouvelle méthode regroupe les choses par densité (amas de choses similaires), tandis que l'ancienne méthode regroupe les choses par lignes (séparation mathématique). Ils s'accordent sur les idées les plus évidentes et claires (le « noyau »), mais ils divisent différemment les idées désordonnées et complexes.

5. La différence entre « Entraînement » et « Observation »

La conclusion la plus importante est que cette méthode n'apprend rien. Elle n'essaie pas de deviner la meilleure façon de trier les choses. Elle se contente de regarder le flux de données, sélectionne les premiers exemples uniques qu'elle voit, et trie tout le reste en fonction de sa proximité avec ces exemples.

Parce qu'elle ne dépend pas d'une session d'entraînement spécifique, vous pouvez comparer la « carte » d'un modèle avant et après son entraînement, et voir exactement quels groupes sont restés les mêmes et lesquels ont changé. C'est comme comparer une carte d'une ville avant et après la construction d'une nouvelle autoroute, en utilisant les mêmes repères.

En résumé : Cet article introduit une façon de comprendre les modèles d'IA en organisant simplement leurs pensées en grappes naturelles basées sur de vrais exemples, plutôt que de les forcer dans des boîtes préfabriquées. C'est plus rapide, moins cher, et tout aussi efficace pour trouver le « sens » à l'intérieur de la machine.

Résumé technique : Partitionnement par exemples pour l'interprétabilité mécaniste

Énoncé du problème

L'interprétabilité mécaniste vise à rétro-ingénierier les réseaux de neurones en algorithmes lisibles par l'humain. Les approches actuelles font face à des limitations distinctes :

Analyse de circuits : Isole des sous-graphes spécifiques à une tâche mais échoue à produire un inventaire de caractéristiques à l'échelle du modèle.
Sondage supervisé : Limité à la vérification de concepts que les chercheurs savent déjà rechercher.
Autoencodeurs parcimonieux (SAE) : Approche non supervisée dominante, les SAE apprennent un dictionnaire de taille fixe en optimisant un objectif de reconstruction qui regroupe parcimonie, reconstruction et taille du dictionnaire. Ce processus d'entraînement est coûteux en calcul (nécessitant des milliards de tokens) et introduit des engagements (par exemple, taille de dictionnaire fixe, apprentissage de base linéaire) qui peuvent obscurcir les propriétés intrinsèques de la géométrie d'activation du modèle.

La question centrale posée est la suivante : quelle part de la structure de caractéristiques révélée par les SAE est due à l'objectif d'entraînement lui-même, par rapport à celle qui est déjà présente dans la géométrie d'activation du modèle et accessible via une construction plus directe et non apprise ?

Méthodologie : Partitionnement par exemples (EP)

Le Partitionnement par exemples est une méthode non supervisée pour construire des dictionnaires de caractéristiques interprétables à partir des activations de modèles de langage à grande échelle (LLM) sans entraînement. Il traite le dictionnaire comme une partition de Voronoï de l'espace d'activation, construite via un clustering par leaders sur un seul passage en flux continu.

Construction de base

Clustering par leaders en flux continu : Au lieu de moyenner les activations pour former des centroïdes (ce qui peut créer des directions incohérentes et provoquer une instabilité du clustering), l'EP utilise des exemplaires fixes. Un exemplaire est une activation réelle et observée provenant du flux de données.
- Lorsqu'une nouvelle activation arrive, elle est centrée et normalisée.
- Si sa distance à l'exemplaire existant le plus proche est inférieure à un seuil, elle rejoint cette région.
- Si elle dépasse le seuil, elle devient un nouvel exemplaire, amorçant une nouvelle région.
Calibration et seuillage : Le seuil de distance $\theta_p$ n'est pas une valeur absolue mais le $p$ -ième percentile des distances par paires calculées sur un petit lot de calibration. Cela permet d'ajuster la résolution du dictionnaire (un $p$ plus petit = granularité plus fine ; un $p$ plus grand = plus grossier) tout en restant comparable entre les couches et les modèles.
Critère de saturation : Le dictionnaire croît jusqu'à ce qu'une « fenêtre de saturation » passe sans nouvel exemplaire. Cela signifie que la taille du dictionnaire n'est pas prescrite mais déterminée par la géométrie d'activation à la résolution choisie.
Inférence : Les nouvelles activations sont assignées à leur exemplaire le plus proche. Le dictionnaire est nativement 1-parcimonieux (one-hot) mais peut être étendu à des assignations $n$ -parcimonieuses ou denses basées sur les distances.

Propriétés clés

Observabilité : Puisque les régions sont ancrées par des exemplaires observés plutôt que par des poids appris, les dictionnaires construits à partir du même flux de données sont directement comparables entre les couches, les modèles et les points de contrôle d'entraînement via l'appariement d'exemplaires.
Métrique de stabilité : L'article introduit une statistique $D_i = \log_{10}(N_i c_i^2)$ (où $N_i$ est le nombre de membres et $c_i$ la cohérence des membres) pour prédire la stabilité inter-graines d'une région. Les régions à haute $D_i$ ont plus de chances de se répliquer à travers différents ordres de flux.

Contributions et résultats clés

1. Efficacité et évolutivité

L'EP construit des dictionnaires avec $\sim 10^3\times$ moins de tokens que les SAE comparables.

Coût de construction : Un dictionnaire p1 pour Gemma-2-2B se construit en quelques minutes sur un seul GPU en utilisant $\sim 3,6 \times 10^6$ tokens, alors que les SAE comparables nécessitent un entraînement sur des milliards de tokens.
Aucune rétropropagation : La méthode ne nécessite aucun passage en arrière.

2. Interprétabilité et intervention causale

Ablation causale : Dans Gemma-2-2B-it, le comportement de refus se concentre dans une région EP spécifique. L'ablation de la direction de l'exemplaire (la première activation arrivée) de cette région effondre le refus sur des données non vues jusqu'à $\Delta = -0,96$ . Cela démontre que la « direction de refus » est un axe précis capturé par un seul exemplaire, ce qui est plus efficace pour l'intervention que la direction moyenne de la région.
Appariement inter-points de contrôle : L'appariement des dictionnaires de base et de ceux affinés par instruction révèle que l'affinage par instruction ré-ancre largement la structure directionnelle du modèle, ne préservant qu'un petit sous-ensemble universel. Il montre également que la direction de refus dans le modèle affiné est promue à partir d'une direction de contenu nuisible au sein de l'invite présente dans le modèle de base.

3. Performance sur les benchmarks

AxBench (Détection de concepts) : Sur Gemma-2-2B-it L20, un dictionnaire EP à la résolution $p=1$ $p = 1$ atteint une AUROC moyenne de 0,881 sur 500 concepts latents.
- Cela représente +0,126 par rapport à l'entrée canonique GemmaScope SAE (0,755).
- Il est à moins de 0,030 de la meilleure ligne de base, SAE-A (0,911), malgré l'utilisation d'un pool de candidats plus petit et d'une puissance de calcul significativement moindre.
SAEBench (Rétention d'information) : Un dictionnaire EP p10 ( $\ell_0=1$ ) conserve $\sim 97\%$ de la précision des sondes d'activation brute (0,930 contre 0,959 pour IdentitySAE). Cela suggère que l'identité linéairement décodable des concepts est largement préservée par la structure de densité seule, même en rejetant presque toutes les coordonnées brutes.

4. Insights géométriques

Densité vs Séparabilité linéaire : L'EP et les SAE font des engagements géométriques différents. L'EP s'engage sur la densité (les régions sont de vrais cônes dans l'espace d'activation), tandis que les SAE s'engagent sur la séparabilité linéaire (reconstruction parcimonieuse).
Cœur partagé : Environ 20 % des régions EP correspondent à une caractéristique SAE avec un $F1 > 0,5$ (à $p=10$ ). Ils s'accordent là où les directions sont à la fois concentrées en densité et linéairement séparables.
Signal hors distribution (OOD) : La distance à l'exemplaire le plus proche fournit un signal OOD gratuit. Les tokens aléatoires sont systématiquement plus éloignés de leur exemplaire le plus proche que les tokens dans la distribution, l'écart s'élargissant aux résolutions plus fines.

Importance et affirmations

L'article affirme que le Partitionnement par exemples offre une nouvelle classe d'objets d'interprétabilité qui sont :

Efficaces : Accessibles aux chercheurs sans budgets de calcul de laboratoire de pointe.
Directs : Ils révèlent des propriétés de la géométrie d'activation (densité, stabilité, directions causales) qui peuvent être obscurcies par les objectifs de reconstruction des SAE.
Commensurables : L'utilisation d'exemplaires observés permet un suivi direct de l'évolution des caractéristiques à travers les points de contrôle d'entraînement et les variantes de modèles sans procédures d'alignement complexes.

Les auteurs soulignent que si l'EP capture un « cœur partagé » avec les SAE, il expose également de vastes régions ancrées dans le contenu que les SAE fragmentent, et inversement, les SAE capturent des directions linéaires parcimonieuses que l'EP ne résout pas à une résolution donnée. L'article conclut que la structure de densité seule porte une grande partie du signal mesuré par le sondage, et que l'efficacité de la méthode et son interface de dictionnaire ouvert en font un ajout pratique à la boîte à outils de l'interprétabilité.

Limites reconnues :

L'EP dépend de la graine ; l'identité de la région change avec l'ordre du flux, bien que la stabilité puisse être prédite via $D_i$ .
L'implémentation actuelle suppose une géométrie cosinus centrée, ce qui peut ne pas capturer les caractéristiques dépendantes de l'amplitude de l'activation.
Les expériences sont exploratoires ; l'article ne prétend pas que l'EP est un remplacement complet des SAE, mais plutôt une alternative complémentaire et hautement efficace pour des tâches d'interprétabilité spécifiques.