💻 computer science

Domain-Filtered Knowledge Graphs from Sparse Autoencoder Features

Ce papier propose une méthode pour transformer les caractéristiques d'un autoencodeur parcimonieux issues de modèles de langage en graphes de connaissances structurés et filtrés par domaine, en construisant un univers de concepts strict et en élaborant des graphes d'occurrence conjointe et de mécanisme alignés avec un étiquetage automatisé, convertissant ainsi des inventaires de caractéristiques plats en cartes globales interprétables des connaissances du modèle pour auditer la fidélité du raisonnement.

Auteurs originaux : John Winnicki, Abeynaya Gnanasekaran, Eric Darve

Publié 2026-04-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : John Winnicki, Abeynaya Gnanasekaran, Eric Darve

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez une bibliothèque géante à l'intérieur d'un cerveau informatique (un modèle de langage de grande taille). Dans cette bibliothèque, il y a des millions de petits interrupteurs lumineux (des caractéristiques) qui s'allument chaque fois que l'ordinateur lit un mot.

Le Problème : Un Pile Désordonnée d'Interrupteurs
Actuellement, si vous demandez aux chercheurs d'examiner ces interrupteurs, on leur remet une liste plate et chaotique de millions d'éléments. C'est comme si on vous donnait une boîte de 10 millions de Lego renversée sur le sol. Certains Legos sont rouges (concepts de biologie), certains sont bleus (règles de grammaire), et d'autres ne sont que de la poussière (ponctuation).

Les Legos rouges sont éparpillés partout, mélangés aux bleus.
Il n'y a pas de carte montrant quels Legos rouges appartiennent ensemble pour construire un « cœur » ou une « cellule ».
Vous ne pouvez pas dire comment un Lego se connecte à un autre.

La Solution : Construire une « Carte des Connaissances »
Ce papier propose un moyen de nettoyer cette pile désordonnée et de construire une carte structurée, spécifiquement pour un manuel de biologie. Ils procèdent en trois étapes principales, en utilisant quelques astuces ingénieuses :

1. Le « Filtre de Domaine » (Le Videur)

D'abord, ils doivent se débarrasser des déchets. Ils utilisent un système de « videur » pour vérifier chaque Lego individuel.

L'Astuce : Ils comparent le manuel de biologie avec d'autres livres (comme l'histoire ou la géologie).
La Logique : Si un Lego s'allume dans chaque livre (comme un interrupteur pour le mot « le » ou une virgule), c'est du bruit générique. Le videur le jette dehors.
Le Résultat : Ils ne gardent que les Legos qui s'allument spécifiquement pour la biologie. Cela crée un « Univers Strict des Concepts » — une boîte propre contenant uniquement les pièces de biologie.

2. Construire Deux Vues de la Carte

Une fois qu'ils ont la boîte propre de Legos de biologie, ils construisent deux cartes différentes pour comprendre comment ils s'assemblent.

Carte A : La Carte de « Co-occurrence » (Qui fréquente qui ?)

L'Analogie : Imaginez que vous traversez une fête. Vous remarquez que les personnes qui parlent de « photosynthèse » ont tendance à parler aussi de « feuilles » et de « lumière du soleil ».
La Méthode du Papier : Ils examinent tout le manuel et dessinent des lignes entre les concepts qui apparaissent dans les mêmes phrases, paragraphes ou chapitres.
Le Résultat : Cette carte montre les « quartiers ». Elle prouve que l'ordinateur organise les sujets de biologie exactement comme un manuel humain le fait. Elle montre que le « Système Respiratoire » est un quartier distinct, séparé du « Système Immunitaire », et elle montre même les « ponts » où les sujets se chevauchent.

Carte B : La Carte du « Transcodeur » (Comment une idée se transforme-t-elle en une autre ?)

L'Analogie : Imaginez une chaîne de montage d'usine. Vous posez un morceau de bois brut (un concept source) sur le tapis roulant, et il ressort de l'autre côté sous forme de chaise finie (un concept cible).
La Méthode du Papier : Ils examinent comment l'ordinateur traite une phrase alors qu'elle passe d'une couche de son cerveau à la suivante. Ils tracent le « câblage » pour voir comment un concept dans la première couche se transforme en un concept dans la couche suivante.
Le Résultat : Ce n'est pas juste une liste de voisins ; c'est un organigramme. Il montre le mécanisme par lequel l'ordinateur pense. Par exemple, il montre comment l'idée d'« oxygène » dans une couche est traitée et transformée en « respiration » dans la suivante.

3. Ajouter des Étiquettes (Transformer un Diagramme en Histoire)

Une carte avec seulement des lignes et des points reste difficile à lire. L'étape finale consiste à ajouter des étiquettes « Auto-Relier ».

L'Analogie : Au lieu qu'une ligne relie simplement le « Nœud A » au « Nœud B », ils écrivent une phrase sur la ligne : « Le Nœud A conduit à le Nœud B » ou « Le Nœud A fait partie de le Nœud B ».
La Méthode du Papier : Ils utilisent les phrases réelles du livre pour écrire ces étiquettes. Si les preuves montrent que « cellules » et « énergie » apparaissent toujours ensemble d'une manière spécifique, la ligne entre elles reçoit l'étiquette « fournit de l'énergie pour ».
Le Résultat : La pile désordonnée d'interrupteurs est maintenant un « Graphe de Connaissances » lisible et étiqueté. Ce n'est plus juste une liste de nombres ; c'est une histoire sur la façon dont l'ordinateur comprend la biologie.

La Grande Image

Les auteurs ont testé cela sur un manuel de biologie. Ils ont constaté que :

Structure : La carte qu'ils ont construite a naturellement regroupé les chapitres et sous-chapitres ensemble, exactement comme la table des matières du livre, sans qu'on leur ait demandé de le faire.
Clarté : Ils ont pu prendre une seule phrase désordonnée avec des milliers d'interrupteurs actifs et la compresser en un diagramme propre et lisible montrant exactement quels concepts parlaient entre eux.

En bref : Ils ont pris une liste plate et chaotique de millions de caractéristiques informatiques, filtré le bruit, et organisé le reste en une carte structurée et étiquetée qui montre comment l'ordinateur organise et traite intérieurement les connaissances.

1. Énoncé du problème

Les Autoencodeurs Sparse (SAE) ont permis l'extraction de millions de caractéristiques interprétables à partir de modèles de langage de grande taille (LLM), dépassant les neurones opaques pour atteindre des caractéristiques monosémantiques. Cependant, les inventaires actuels de SAE présentent des défis majeurs pour l'interprétabilité :

Inventaires plats : Les caractéristiques sont souvent présentées sous forme de listes non structurées, rendant difficile la compréhension des relations entre elles.
Bruit et généralité : Les inventaires contiennent un mélange de concepts spécifiques à un domaine, de caractéristiques génériques de mise en forme/ponctuation et de motifs faiblement ancrés.
Concepts dispersés : Les idées sémantiquement liées sont souvent réparties sur de nombreuses caractéristiques voisines plutôt que d'être localisées.
Absence de structure : Il n'existe aucun mécanisme inhérent pour comprendre comment les concepts se regroupent, se séparent ou font le pont entre des sujets au sein d'un corpus, ni comment ils circulent à travers les couches du modèle lors du calcul local.

Le problème central consiste à transformer un inventaire SAE plat et bruyant en un graphe de connaissances interne structuré et spécifique à un domaine qui révèle à la fois la structure organisationnelle globale et les voies mécaniques locales.

2. Méthodologie

Les auteurs proposent un pipeline qui passe d'un inventaire SAE brut à un univers de concepts strict, lequel est ensuite organisé en deux vues de graphe alignées : un Graphe de co-occurrence (niveau corpus) et un Graphe de mécanisme de transcodeur (niveau local).

A. Construction d'un univers de concepts strict (Filtrage)

Avant la construction du graphe, les auteurs appliquent un processus de filtrage multi-étapes pour isoler une région pertinente spécifique au domaine ( $V^*$ ) à partir de l'inventaire brut ( $V$ ) :

Sélection contrastive : Les caractéristiques sont notées selon trois axes en comparant le corpus cible (par exemple, un manuel de biologie) à des corpus de contraste (par exemple, histoire/géologie) :
- Soutien : La caractéristique est-elle significativement présente dans la cible ?
- Enrichissement : Est-elle plus caractéristique de la cible que des contrastes ?
- Localisation : Se concentre-t-elle dans des chapitres/sous-chapitres cohérents plutôt que de se diffuser partout ?
Arbitrage au niveau des paquets : Les caractéristiques survivantes sont regroupées en « paquets de preuves » contenant des descriptions, des fenêtres représentatives et des données de contraste. Un arbitre en plusieurs étapes vérifie si le concept est visible, appartient au domaine cible et est distinctif par rapport aux contrastes.
Résultat : Un univers strict $V^*$ contenant uniquement des caractéristiques de haute confiance et pertinentes pour le domaine.

B. Construction du graphe

Deux vues de graphe complémentaires sont construites sur $V^*$ :

Graphe de co-occurrence multi-granulaire (Structure du corpus) :
- Objectif : Révéler comment les concepts se regroupent et font le pont entre des sujets à travers l'ensemble du corpus.
- Mécanisme : Les caractéristiques sont notées pour leur présence dans les phrases en fonction de seuils d'activation. Cette présence est déterministiquement élevée aux paragraphes, sous-chapitres et chapitres.
- Arêtes : Construites à l'aide de comptes de co-occurrence normalisés par Jaccard ( $J_{ab}$ ) entre les caractéristiques. Cela crée un graphe de même couche montrant quels concepts réapparaissent ensemble à différentes échelles.
Graphe de mécanisme de transcodeur (Flux inter-couches local) :
- Objectif : Expliquer comment les concepts de la couche source se transforment en concepts de la couche cible sur des entrées spécifiques.
- Mécanisme : Utilise un Transcodeur (un autoencodeur sparse entraîné pour mapper le flux résiduel de la couche $L$ vers la couche $L+1$ ) ainsi que des dictionnaires SAE pour les deux couches.
- Arêtes : Des arêtes dirigées représentent des voies lisibles où une caractéristique source active un latent sparse, qui écrit ensuite vers une caractéristique cible.
- Statique vs Dynamique :
  - Statique : Une bibliothèque de voies possibles basée sur des statistiques résumées.
  - Dynamique : Un graphe conditionné par la phrase montrant quelles voies sont réellement actives pour une entrée spécifique.

C. Compression consciente de la hiérarchie et étiquetage des arêtes

Hiérarchie d'abstraction : Pour gérer la densité, les caractéristiques sont organisées en un arbre sémantique (arbre d'abstraction) en utilisant un clustering mutual-kNN sur les descriptions des caractéristiques.
Compression : Les graphes de mécanisme locaux denses sont compressés en repliant des sous-arbres cohérents en « super-nœuds » tout en préservant les arêtes actives critiques (arêtes de blocage) pour maintenir la fidélité.
Étiquetage des arêtes (Auto-Relate) : Au lieu d'arêtes pondérées non étiquetées, le système génère des phrases de relation lisibles.
- Arêtes de co-occurrence : Étiquetées à l'aide de phrases de preuve conjointes et contrastives (par exemple, distinguer « Yellowstone » du « jaune » générique).
- Arêtes de mécanisme : Étiquetées à l'aide de la preuve la plus forte au niveau de la phrase et d'indices latents pour décrire la transformation (par exemple, « Le concept source soutient le concept cible via le latent X »).

3. Contributions clés

Filtrage contrastif multi-étapes : Un processus novateur pour extraire un univers de concepts strict et spécifique à un domaine à partir d'inventaires massifs de SAE, éliminant le bruit générique.
Graphe de connaissances à double vue : La construction de deux graphes alignés :
- Un Graphe de co-occurrence pour la structure globale et multi-granulaire du corpus.
- Un Graphe de mécanisme de transcodeur pour le flux de concepts dirigé et local entre les couches.
Compression hiérarchique : Une méthode pour compresser les graphes de mécanisme denses en « atlas de mécanisme » lisibles en utilisant une hiérarchie sémantique, équilibrant détail et lisibilité.
Sémantique des arêtes étayée par des preuves : Un système d'étiquetage automatisé qui convertit les arêtes statistiques en relations de graphe de connaissances lisibles et soutenues par des preuves.

4. Résultats

Le cadre a été évalué sur un corpus de manuel de biologie utilisant des SAE Gemma Scope (couches 20-21).

Récupération de la structure : Les graphes ont récupéré avec succès l'organisation humaine du manuel.
- Échelle globale : Des « bassins » d'activation distincts ont été observés pour différents chapitres (par exemple, Héritage vs Biotechnologie) sur des coordonnées partagées.
- Échelle locale : Des structures de sous-chapitres plus fines ont été préservées au sein des bassins de chapitres.
- Métriques : L'analyse quantitative a montré une forte alignement entre les partitions du graphe et les chapitres/sous-chapitres du manuel, l'agrégation au niveau des phrases et des paragraphes produisant la récupération structurelle la plus forte.
Lisibilité : Le pipeline a réussi à transformer une activité diffuse au niveau des phrases (milliers de caractéristiques) en atlas de mécanisme compacts et lisibles.
Concepts de pont : Les graphes ont révélé des concepts qui font le pont entre des sujets voisins, souvent manqués dans les listes plates.
Explication du mécanisme : Les graphes de transcodeur ont fourni des vues dirigées et interprétables de la manière dont des concepts spécifiques (par exemple, « système respiratoire ») sont traités et transformés à travers les couches, avec des arêtes étiquetées par des relations en langage naturel.

5. Signification

Ce travail représente un changement de paradigme dans l'interprétabilité mécaniste :

De l'inventaire à la carte : Il reformule les caractéristiques SAE non pas comme une liste plate de « ce que le modèle sait », mais comme un graphe de connaissances interne représentant « comment le modèle organise et utilise ces connaissances ».
Audit de fidélité : En créant une carte interne structurée et étayée par des preuves, la méthode permet de futurs audits pour vérifier si le raisonnement généré par un modèle (Chaîne de Pensée) reflète fidèlement sa structure d'activation interne.
Évolutivité : L'approche démontre que même avec des millions de caractéristiques, il est possible de construire des vues cohérentes et spécifiques à un domaine des internals du modèle sans curation manuelle de chaque caractéristique.
Exploration interactive : Les auteurs fournissent un artefact de navigateur interactif, permettant aux chercheurs de naviguer dans la structure de graphe apprise, de tracer les régions de pont et d'inspecter dynamiquement les mécanismes au niveau des phrases.

En résumé, l'article fournit un cadre robuste pour convertir les activations brutes et de haute dimension des SAE en graphes de connaissances structurés et lisibles par l'humain, capturant à la fois la topologie globale des connaissances du modèle et la mécanique locale du raisonnement.