💬 NLP

Cross-Layer Discrete Concept Discovery for Interpreting Language Models

Auteurs originaux : Ankur Garg, Xuemin Yu, Hassan Sajjad, Samira Ebrahimi Kahou

Publié 2026-06-11

📖 6 min de lecture🧠 Analyse approfondie

Auteurs originaux : Ankur Garg, Xuemin Yu, Hassan Sajjad, Samira Ebrahimi Kahou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (comme l'IA derrière cette conversation) comme une immense usine à plusieurs étages. Des matières premières (des mots) entrent par le rez-de-chaussée, sont transformées, puis montent vers l'étage supérieur où le produit final (une réponse ou une décision) est créé.

Pendant longtemps, les scientifiques qui tentaient de comprendre comment fonctionne cette usine n'ont regardé qu'un seul étage à la fois. Ils jetaient un coup d'œil dans une pièce au 3ème étage et disaient : « Ah, cette machine est en train de faire quelque chose ! » Mais ils passaient à côté d'un détail crucial : l'usine possède un système de tapis roulant spécial (appelé « flux résiduel » ou residual stream) qui transporte les articles du rez-de-chaussée jusqu'au sommet, en les mélangeant avec de nouveaux éléments en cours de route.

À cause de ce tapis roulant, si vous ne regardez qu'un seul étage, vous voyez un mélange désordonné de pièces en double et de composants mélangés. Vous ne pouvez pas distinguer quelle partie vient d'où, ni ce qu'elle signifie réellement.

Le Problème : La « Photo Floue »

Les méthodes précédentes essayaient de nettoyer ce désordre, mais elles traitaient l'information comme un liquide lisse et continu (comme de l'eau). Elles essayaient de trouver des motifs dans l'eau, mais comme l'eau est si fluide, les motifs ne faisaient que se diviser et se mélanger. C'était comme essayer d'identifier des ingrédients spécifiques dans un smoothie en regardant simplement le liquide ; vous savez qu'ils sont là, mais il est difficile de séparer la fraise de la banane.

La Solution : La mise à niveau de l'usine par le « CLVQ-VAE »

Les auteurs de cet article ont construit un nouvel outil appelé CLVQ-VAE. Considérez cela comme une machine de tri intelligente située entre deux étages de l'usine.

Voici comment elle fonctionne, en utilisant une analogie simple :

L'Encodeur Adaptatif (Le Tapis Roulant Intelligent) : Au lieu de simplement saisir les matières premières de l'étage inférieur, cette machine les ajuste délicatement. C'est comme un chef qui prend un ingrédient brut et lui apporte une petite modification précise pour le préparer à l'étape suivante, sans changer sa nature fondamentale.
Le Goulot d'Étranglement Discret (La Machine à Tamponner) : C'est la partie la plus importante. Au lieu de laisser l'information circuler comme un liquide flou, cette machine force l'information à être « tamponnée » sur un ensemble fini de tampons prédéfinis (appelés codebook).
- Imaginez que vous avez une boîte de 1 000 briques LEGO spécifiques.
- Lorsque la machine voit une idée complexe, elle ne cherche pas à construire une nouvelle forme avec de l'argile. À la place, elle dit : « Cette idée ressemble le plus à la Brique n°42 ».
- Cela transforme un flou continu et désordonné en une étiquette discrète et claire. Cela force l'IA à dire : « J'utilise la brique 'Colère' », ou « J'utilise la brique 'Sports' », plutôt qu'un mélange vague des deux.
Le Décodeur (Le Reconstructeur) : La machine tente ensuite de reconstruire l'« étage supérieur » de l'usine en utilisant uniquement ces briques LEGO spécifiques. Si elle parvient à reconstruire l'étage supérieur en utilisant seulement la brique « Colère », alors nous savons avec certitude que « Colère » était un concept critique pour la décision de l'IA.

Pourquoi est-ce meilleur ? (Les Résultats)

Les chercheurs ont testé cette nouvelle machine contre les anciennes méthodes (comme l'observation d'un seul étage ou l'approche du « liquide ») sur trois tâches différentes : des critiques de films, la détection de commentaires toxiques et le tri d'articles de presse.

Voici ce qu'ils ont découvert :

Le « Test de Suppression » (Fidélité) : Lorsque les chercheurs ont retiré les « briques LEGO » (concepts) que la machine avait trouvés du cerveau de l'IA, les performances de l'IA se sont effondrées. Dans certains cas, l'IA est devenue 93 % moins performante dans sa tâche. Cela prouve que la machine a trouvé les vraies raisons pour lesquelles l'IA prenait ses décisions, et non de simples bruits aléatoires.
Le « Test du Juge » (Évaluation par LLM) : Ils ont demandé à d'autres modèles d'IA d'agir comme des juges et d'examiner les concepts trouvés par la nouvelle machine par rapport aux anciens. Les concepts de la nouvelle machine ont été classés dans les premiers 66,7 % du temps. Les juges ont estimé que ces concepts étaient plus cohérents et avaient plus de sens.
Le « Test Humain » (Interprétabilité) : Ils ont montré des nuages de mots (visualisations des concepts) à des volontaires humains.
- Lorsqu'ils voyaient les concepts de la nouvelle machine, les humains pouvaient deviner ce que l'IA pensait 78 % du temps.
- Lorsqu'ils voyaient les concepts de l'ancienne méthode, les humains ne devinaient correctement que 54 % du temps.
- De plus, les humains étaient beaucoup plus d'accord entre eux lorsqu'ils regardaient les résultats de la nouvelle machine, ce qui signifie que les concepts étaient plus clairs et moins déroutants.

La Recette Secrète

L'article souligne quelques « astuces » qui ont permis ce succès :

Échantillonnage par Température (Temperature Sampling) : Au lieu de toujours choisir la seule « meilleure » brique, la machine en choisit parfois parmi les 5 briques les plus proches. C'est comme donner à la machine un peu de hasard pour explorer différentes options, ce qui l'empêche de rester bloquée en utilisant toujours les mêmes quelques briques.
Sphérique vs Plat : Ils ont découvert que l'organisation des briques basée sur la direction qu'elles pointent (sphérique) plutôt que sur leur simple distance (plat) aidait les humains à mieux comprendre les concepts, même si la méthode « plat » était légèrement meilleure pour prédire les chiffres bruts de l'IA.

Résumé

En résumé, cet article présente une nouvelle façon de traduire les pensées désordonnées et superposées d'une grande IA en une liste propre et organisée de « concepts » distincts (comme des briques LEGO). En faisant cela à travers plusieurs couches de l'IA, nous pouvons voir clairement ce que l'IA pense et pourquoi elle prend ses décisions, rendant la « boîte noire » de l'IA beaucoup plus transparente et compréhensible pour les humains.

Résumé technique : Découverte de concepts discrets inter-couches pour l'interprétation des modèles de langage

Énoncé du problème

L'interprétation des grands modèles de langage (LLM) est entravée par la nature des flux résiduels des transformeurs, qui mélangent et dupliquent linéairement les caractéristiques à travers les couches adjacentes. Les méthodes d'analyse à couche unique échouent souvent à capturer cette structure inter-couches, manquant des motifs de calcul qui ne sont visibles que lorsque plusieurs couches sont examinées ensemble. Bien que des approches inter-couches récentes comme les auto-encodeurs creux (SAE) traitent le mélange de couches, elles opèrent dans des espaces continus. Dans ces espaces, les concepts se « divisent » sur de nombreux neurones sans frontières claires, forçant l'utilisation de seuils arbitraires ou de combinaisons multi-vecteurs pour isoler les activations. Ce désalignement avec le raisonnement humain, qui repose sur des catégories discrètes, limite l'interprétabilité de telles méthodes.

Méthodologie

Les auteurs proposent le CLVQ-VAE (Cross-Layer Vector Quantized-Variational Autoencoder), un cadre conçu pour découvrir des concepts discrets et interprétables en mappant les représentations d'une couche inférieure ( $l$ ) vers une couche supérieure ( $h$ ) à travers un goulot d'étranglement de quantification vectorielle discrète. Le cadre se compose de trois composants principaux :

Encodeur résiduel adaptatif : Pour préserver l'information sémantique tout en permettant la réassignation du codebook, ce composant applique un mécanisme d'interpolation apprenable aux plongements (embeddings) d'entrée de la couche $l$ . Il utilise un coefficient de mélange $\alpha$ (contraint à $[0, 0.5]$ ) pour équilibrer l'embedding original avec une version linéairement transformée, empêchant la destruction des caractéristiques linguistiques tout en permettant des raffinements ciblés pour la reconstruction inter-couches.
Quantificateur vectoriel : Il agit comme un goulot d'étranglement discret, mappant les sorties continues de l'encodeur vers un vecteur de codebook unique issu d'un ensemble appris $E = \{e_j\}_{j=1}^K$ $E = {e_{j}}_{j = 1}^{K}$ . Pour assurer une formation stable et une utilisation efficace du codebook, les auteurs emploient :
- Initialisation : K-means (euclidien ou sphérique) ou initialisation aléatoire.
- Échantillonnage stochastique : Au lieu d'une sélection déterministe, le modèle échantillonne parmi les $k$ vecteurs de codebook les plus proches à l'aide d'une distribution de probabilité contrôlée par température. Cela encourage une utilisation uniforme du codebook et la diversité des concepts.
- Mises à jour EMA : Les vecteurs du codebook sont mis à jour à l'aide de moyennes mobiles exponentielles (EMA) des comptes d'assignation et des vecteurs accumulés plutôt que par rétropropagation directe, garantissant ainsi la stabilité.
Décodeur Transformer : Un décodeur transformer bidirectionnel reconstruit les activations cibles de la couche $h$ en utilisant les vecteurs de codebook quantifiés. Il utilise des mécanismes d'attention croisée pour exploiter les informations provenant des sorties non quantifiées de l'encodeur, déchargeant ainsi les détails de reconstruction de bas niveau pour que le codebook puisse se concentrer sur des concepts de haut niveau distincts.

Le modèle est entraîné via une fonction de perte combinée : une perte de reconstruction (Erreur Quadratique Moyenne entre la sortie du décodeur et la représentation de la couche supérieure cible) et une perte d'engagement (encourageant les sorties de l'encodeur à s'engager vers les vecteurs du codebook).

Contributions clés

Mapping inter-couches discret : Contrairement aux VQ-VAE standards qui reconstruisent la même couche, le CLVQ-VAE agit comme un transcoder, compressant les caractières redondantes du flux résiduel des couches inférieures en vecteurs de concepts compacts et interprétables dans les couches supérieures.
Mécanisme d'échantillonnage stochastique : L'introduction de l'échantillonnage basé sur la température top- $k$ combinée aux mises à jour EMA du codebook permet une exploration contrôlée de l'espace latent discret, maintenant la diversité du codebook et évitant l'effondrement.
Évaluation complète : Le cadre est évalué sur des modèles basés sur l'encodeur (RoBERTa, BERT) et des modèles uniquement décodeurs (LLaMA-2-7B, Qwen2.5-3B-Instruct) sur trois jeux de données (ERASER-Movie, Jigsaw, AGNews).

Résultats

L'article évalue le CLVQ-VAE par rapport au clustering, au VQ-VAE à couche unique et aux bases SAE selon trois axes :

Fidélité (Ablation de concept) : Supprimer les concepts identifiés des représentations de phrases dégrade considérablement la précision du modèle. Le CLVQ-VAE a obtenu la précision perturbée la plus basse dans 5 des 12 configurations, la suppression de concepts causant des chutes de précision allant jusqu'à 93,2 % (sur RoBERTa/ERASER-Movie). Il a systématiquement surpassé les SAE, qui montraient des chutes incohérentes ou négligeables, particulièrement sur les modèles décodeurs.
Cohérence sémantique (LLM-as-a-Judge) : Un ensemble de LLM a classé les concepts du CLVQ-VAE en première position dans 66,7 % des comparaisons, avec une note moyenne de 1,890, surpassant le VQ-VAE à couche unique, le SAE et le clustering.
Interprétabilité humaine : Dans une étude humaine, les annotateurs ont pu récupérer les prédictions du modèle à partir des visualisations du CLVQ-VAE avec une précision de 78,2 %, contre 54,1 % pour le clustering. Les annotateurs ont également rapporté une confiance plus élevée (8,44 contre 5,98) et ont atteint un accord inter-annotateurs « presque parfait » ( $\kappa = 0,864$ ) avec les visualisations du CLVQ-VAE.

De plus, les auteurs ont constaté un compromis dans les stratégies d'initialisation : l'initialisation par K-means tendait à produire une fidélité fonctionnelle plus élevée (meilleurs résultats de perturbation), tandis que le K-means sphérique produisait des concepts avec une cohérence sémantique et un alignement humain plus élevés.

Signification

L'article affirme que le CLVQ-VAE fournit un cadre robuste pour traduire les mécanismes opaques des modèles en concepts fidèles et interprétables. En intégeant l'apprentissage de représentations discrètes avec l'analyse inter-couches, l'approche répond aux limites des SAE continus (division des concepts) et des analyses à couche unique (absence de structure inter-couches). Les résultats valident que les concepts découverts sont non seulement critiques pour les prédictions du modèle, mais s'alignent également avec la compréhension humaine, offrant une voie vers des modèles de langage plus transparents et responsables. Les auteurs notent que bien que la méthode soit efficace, elle nécessite une mémoire substantielle pour l'extraction des activations et un entraînement séparé pour différentes combinaisons de couches.