💬 NLP

Beyond Decodability: Reconstructing Language Model Representations with an Encoding Probe

Ce papier introduit une « sonde d'encodage » qui reconstruit les représentations des modèles de langage à partir de caractéristiques interprétables afin de surmonter les limites des sondes de décodage traditionnelles, révélant ainsi comment les caractéristiques acoustiques, syntaxiques et lexicales contribuent indépendamment aux représentations internes des transformateurs de texte et de parole.

Auteurs originaux : Gaofei Shen, Martijn Bentum, Tom Lentz, Afra Alishahi, Grzegorz Chrupała

Publié 2026-05-04

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gaofei Shen, Martijn Bentum, Tom Lentz, Afra Alishahi, Grzegorz Chrupała

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Comment Nous Regardons à l'Intérieur des Cerveaux de l'IA

Imaginez que vous avez un robot très intelligent, mais mystérieux, qui lit des livres et écoute les gens parler. Vous voulez savoir : Que se passe-t-il réellement dans son cerveau lorsqu'il traite une phrase ?

Pendant longtemps, les scientifiques ont utilisé une méthode appelée « Décodage » pour jeter un coup d'œil à l'intérieur. Pensez à cela comme à un traducteur inversé. Vous prenez les « pensées » internes du robot (ses motifs de données) et vous demandez : « Puis-je deviner quel mot c'est ? » ou « Puis-je deviner qui parle ? ». Si vous pouvez deviner correctement, vous supposez que le robot « sait » cette information.

Cependant, les auteurs de ce papier soutiennent que cette ancienne méthode présente deux angles morts majeurs. Ils proposent une nouvelle méthode appelée « Sonde d'Encodage » pour résoudre ces problèmes.

Les Deux Problèmes de l'Ancienne Méthode (Décodage)

1. Le Problème du « Tableau d'Affichage » (Vous Ne Pouvez Pas Comparer les Scores)

Imaginez que vous essayez de déterminer si un élève est meilleur en Mathématiques ou en Histoire.

Vous lui donnez un test de Mathématiques de 10 questions. Il en a 9 bonnes (90 %).
Vous lui donnez un test d'Histoire de 100 questions. Il en a 50 bonnes (50 %).

Si vous regardez simplement les pourcentages, vous pourriez penser qu'il est meilleur en Mathématiques. Mais attendez ! Le test d'Histoire était beaucoup plus difficile car il y avait plus de questions. Vous ne pouvez pas comparer directement les scores car les tests étaient différents.

Dans le papier : Les scientifiques entraînaient auparavant deux « jeux de devinettes » (sondes) différents sur le cerveau du robot. L'un devinait l'Identité du Parleur (qui parle), et l'autre devinait le Son Phonétique (quel son est produit).

Le jeu du Parleur pouvait être facile à 95 %.
Le jeu du Son pouvait être difficile à 58 %.
Le Défaut : Vous ne pouvez pas dire « Le robot se soucie plus du parleur » simplement parce que le score est plus élevé. Les jeux avaient des tailles et des difficultés différentes. L'ancienne méthode ne pouvait pas vous dire quelle caractéristique était réellement plus importante pour le cerveau du robot.

2. Le Problème de la « Liste de Triche » (Caractéristiques Corrélées)

Imaginez que vous essayez de deviner le Niveau Scolaire d'un élève en fonction de ses Chaussures.

Vous remarquez que presque tout le monde portant des « chaussures de pointure 45 » est en terminale.
Vous construisez une machine qui devine « Terminale » juste en regardant les chaussures, et elle a raison à 90 % !
Le Défaut : La machine a-t-elle appris le « Niveau Scolaire » ? Non. Elle a juste appris que « Grandes Chaussures = Terminale ». Elle a triché en utilisant un indice corrélé (la taille des chaussures) au lieu du concept réel (le niveau scolaire).

Dans le papier : Les scientifiques ont découvert que les robots pouvaient facilement deviner la Grammaire (comme « nom » ou « verbe »). Mais ils soupçonnaient que le robot trichait simplement. Il n'apprenait pas la grammaire ; il reconnaissait simplement le Mot lui-même. (Par exemple : le mot « courir » est presque toujours un verbe). L'ancienne méthode ne pouvait pas séparer l'indice « Mot » de l'indice « Grammaire ».

La Nouvelle Solution : La « Sonde d'Encodage »

Les auteurs retournent le problème. Au lieu de demander : « Pouvons-nous deviner la caractéristique à partir du cerveau ? », ils demandent : « Pouvons-nous reconstruire les pensées du cerveau en utilisant les caractéristiques ? »

Pensez à cela comme à une reconstruction en Lego.

L'Ancienne Façon : Vous regardez un château Lego fini et vous essayez de deviner : « Est-ce un château ou une maison ? »
La Nouvelle Façon : Vous avez un tas de briques Lego (les caractéristiques : sons, mots, grammaire, identité du parleur). Vous essayez de construire le château (l'état du cerveau du robot) en utilisant uniquement ces briques.

Si vous pouvez construire un château parfait en utilisant uniquement les briques « Parleur », alors le parleur est très important. Si vous avez besoin des briques « Grammaire » pour finir le toit, alors la grammaire est importante aussi.

Comment cela résout les problèmes :

Comparaison Équitable : Puisque vous construisez le même château avec différents ensembles de briques, vous pouvez mesurer exactement combien les briques « Parleur » ont aidé par rapport aux briques « Grammaire ». Vous pouvez les comparer équitablement.
Pas de Triche : Vous pouvez construire le château en utilisant à la fois les briques « Mot » et les briques « Grammaire » en même temps. Si vous retirez les briques « Grammaire » et que le château s'effondre, vous savez que la grammaire est vraiment importante, même si les briques « Mot » étaient aussi là.

Ce Qu'ils Ont Trouvé (Les Expériences)

L'équipe a testé cette nouvelle méthode sur des robots qui lisent du texte et des robots qui écoutent la parole.

Expérience 1 : Qui Parle ? (Identité du Parleur)

L'Ancienne Vue : Les robots pouvaient facilement deviner qui parlait.
La Nouvelle Vue (Encodage) :
- Dans un robot entraîné à reconnaître la parole (comme un assistant vocal), les briques « Parleur » contribuaient très peu à la construction des pensées du cerveau. Le robot se souciait principalement des sons et de la phonétique.
- Cependant, dans un robot spécifiquement entraîné à identifier qui parle, les briques « Parleur » sont devenues les principaux blocs de construction. Le cerveau du robot était presque entièrement composé d'informations « Parleur » dans ses couches supérieures.
- Insight Clé : Le simple fait que vous puissiez deviner le parleur ne signifie pas que le robot pense au parleur. Cela dépend de la façon dont le robot a été entraîné.

Expérience 2 : Grammaire vs Mots

L'Ancienne Vue : Les robots pouvaient deviner les règles de grammaire facilement.
La Nouvelle Vue (Encodage) :
- En essayant de reconstruire le cerveau du robot, les Mots (Lexique) étaient les plus grands blocs de construction.
- Cependant, la Grammaire ajoutait toujours des briques uniques que les Mots ne pouvaient pas fournir. Même lorsque vous aviez toutes les briques Mots, retirer les briques Grammaire rendait le château moins bon.
- Insight Clé : Les robots apprennent la grammaire, mais ils s'en reposent moins que sur la connaissance des mots eux-mêmes. L'ancienne méthode ne pouvait pas prouver cela car elle ne pouvait pas séparer les deux.

L'Essentiel

Le papier soutient que le Décodage (deviner la caractéristique) nous dit si une information est présente, mais que l'Encodage (reconstruire le cerveau) nous dit à quel point cette information est importante par rapport à tout le reste.

En utilisant cette nouvelle approche de « reconstruction en Lego », les auteurs ont montré que :

Nous pouvons comparer équitablement différents types d'informations (comme le son par rapport au parleur).
Nous pouvons empêcher les robots de « tricher » en utilisant des indices corrélés.
Nous pouvons voir que le focus interne d'un robot change radicalement en fonction de ce pour quoi il a été entraîné.

Le papier conclut que cette nouvelle méthode nous offre une image plus claire et plus honnête de ce qui se passe réellement à l'intérieur de la « boîte noire » des modèles d'IA.

1. Énoncé du problème

Le papier aborde les limitations critiques de l'approche standard du Decoding Probe utilisée pour analyser les grands modèles de langage (LLM) et les modèles de parole. Bien que les sondes de décodage (qui mappent les représentations du modèle $X$ vers des propriétés linguistiques $Y$ ) déterminent si une information est présente, elles souffrent de deux problèmes majeurs :

Contributions de caractéristiques incomparables : Les scores de précision de décodage (par exemple, 95 % pour l'identification du locuteur contre 58 % pour la phonétique) ne peuvent pas être directement comparés pour déterminer l'importance relative, car ils dépendent de facteurs spécifiques à la tâche, tels que le nombre de classes et les distributions d'étiquettes.
Artéfacts de corrélation de caractéristiques : Des corrélations élevées entre les caractéristiques (par exemple, l'identité du mot et la catégorie grammaticale) peuvent amener les sondes à s'appuyer sur une caractéristique (identité lexicale) pour prédire une autre (syntaxe), créant des conclusions trompeuses sur ce que le modèle encode réellement.

Les auteurs soutiennent que le domaine a besoin d'une méthode pour quantifier les contributions relatives des caractéristiques tout en contrôlant les corrélations.

2. Méthodologie : La sonde d'encodage

Les auteurs proposent une nouvelle sonde d'encodage qui inverse la direction de sondage traditionnelle. Au lieu de mapper les représentations vers les étiquettes ( $f: X \to Y$ ), la sonde d'encodage mappe des caractéristiques interprétables vers les représentations du modèle ( $g: Y \to X$ ).

Mécanisme central : La sonde utilise une régression Ridge multivariée pour reconstruire les activations d'états cachés internes ( $X$ ) d'un modèle cible à partir d'un ensemble de caractéristiques d'entrée interprétables ( $Y$ ).
Ensembles de caractéristiques : L'étude utilise divers ensembles de caractéristiques dérivés des formes d'onde audio et du texte, notamment :
- Acoustique : Hauteur, formants, MFCC.
- Phonétique : Postérieurs phonétiques (PPG).
- Identité du locuteur : Étiquettes de locuteurs encodées en one-hot.
- Syntaxe : Étiquettes POS, étiquettes de dépendance, profondeur de l'arbre.
- Lexique : Embeddings statiques de mots FastText.
Métrique d'évaluation : La performance est mesurée par la Variance Inexpliquée (UV), définie comme $1 - R^2$ . Une UV plus faible indique une meilleure reconstruction.
Stratégie d'ablation : Pour quantifier la contribution de caractéristiques spécifiques, les auteurs effectuent une ablation de caractéristiques. Ils comparent l'UV d'une sonde « Complète » (toutes les caractéristiques) avec celle de sondes où des caractéristiques spécifiques sont supprimées (par exemple, $Complète \setminus Syntaxe$ $C o m pl \overset{e}{ˋ} t e ∖ S y n t a x e$ ).
- L'augmentation de l'UV lors de la suppression d'une caractéristique représente la contribution unique et conditionnelle de cette caractéristique à la représentation, indépendamment des autres caractéristiques corrélées.
Modèles testés :
- Parole : Wav2vec2 (Base, ajusté pour la reconnaissance automatique de la parole (ASR), ajusté pour l'identification du locuteur (SID)).
- Texte : BERT (Base).
- Données : LibriSpeech (parole) et corpus textuels standards.

3. Contributions clés

Changement de paradigme : Introduction de la sonde d'encodage comme outil complémentaire à la sonde de décodage, déplaçant l'accent de « pouvons-nous extraire cela ? » vers « dans quelle mesure cela explique-t-il la représentation ? ».
Rigueur statistique : Application des principes standards de l'analyse de régression (spécifiquement la décomposition de la variance) à l'interprétabilité, permettant la comparaison directe de l'importance des caractéristiques entre différents types de caractéristiques (par exemple, acoustique vs sémantique).
Contrôle des corrélations : Démonstration d'une méthode robuste pour démêler les caractéristiques corrélées (par exemple, séparer la contribution de la syntaxe de l'identité du mot) en conditionnant la reconstruction sur plusieurs ensembles de caractéristiques simultanément.
Cadre unifié : Fourniture d'un cadre unique pour analyser à la fois les modalités texte et parole, révélant comment les objectifs d'entraînement (auto-supervisé, ASR, SID) modifient l'espace de représentation interne.

4. Résultats clés

Expérience 1 : Identité du locuteur dans les modèles de parole

Décodage vs Encodage : Bien que l'identité du locuteur soit décodable à partir de toutes les variantes de Wav2vec2, la sonde d'encodage révèle que sa contribution réelle varie considérablement en fonction des objectifs d'entraînement.
Modèles Base et ASR : Dans les modèles standards et ajustés pour l'ASR, les caractéristiques acoustiques et phonétiques contribuent de manière beaucoup plus significative à la reconstruction des états cachés que l'identité du locuteur. L'identité du locuteur ne contribue qu'à une fraction mineure de la variance.
Modèles ajustés SID : Dans les modèles finement ajustés spécifiquement pour l'identification du locuteur (SID), les couches supérieures sont presque exclusivement dédiées à l'encodage de l'identité du locuteur. Ici, la suppression des caractéristiques du locuteur provoque une augmentation massive de l'erreur de reconstruction, tandis que la suppression des caractéristiques phonétiques/acoustiques a un effet négligeable.
Insight : Les sondes de décodage montraient que l'ID du locuteur était présent dans les modèles ASR, mais les sondes d'encodage ont révélé qu'elle était marginale par rapport à la structure de la représentation par rapport à la phonétique.

Expérience 2 : Syntaxe vs Lexique

Indépendance : L'étude confirme que les caractéristiques syntaxiques et lexicales apportent des contributions indépendantes aux représentations du modèle. La suppression de la syntaxe augmente l'erreur de reconstruction même lorsque les caractéristiques lexicales sont présentes.
Importance relative : Les caractéristiques lexicales expliquent systématiquement une plus grande fraction de la variance que les caractéristiques syntaxiques, tant dans les modèles de texte (BERT) que dans les modèles de parole.
Différences de modalité : La contribution de la syntaxe et du lexique est plus marquée dans BERT (texte) que dans Wav2vec2 (parole), suggérant que les modèles de parole s'appuient davantage sur des signaux acoustiques/phonétiques.
Impact de l'ASR : L'ajustement fin pour l'ASR rend les représentations plus difficiles à reconstruire en termes absolus, mais augmente la contribution relative des caractéristiques lexicales et syntaxiques par rapport au modèle de base.

5. Signification et conclusion

Le papier établit que la décodabilité n'équivaut pas à l'importance. Une caractéristique peut être facilement décodable (haute précision) tout en contribuant très peu à la structure globale de la représentation du modèle (faible explication de la variance).

Perspective complémentaire : La sonde d'encodage fournit un contrepoids nécessaire aux sondes de décodage. Elle fait passer le domaine de questions binaires « oui/non » sur la présence d'information à des questions quantitatives sur la composition de l'information.
Implications pour l'interprétabilité : En contrôlant les corrélations, les chercheurs peuvent éviter les faux positifs où une sonde réussit en raison d'une caractéristique proxy corrélée plutôt que de la caractéristique cible elle-même.
Perspectives futures : Les auteurs notent des limites, telles que la dépendance à la régression linéaire (qui peut manquer des relations non linéaires) et le caractère observationnel de la méthode (elle montre une association, pas une causalité). Cependant, le cadre offre une méthode rigoureuse et statistiquement fondée pour disséquer la « boîte noire » des représentations des transformateurs.

En résumé, la sonde d'encodage est un outil puissant pour quantifier les contributions relatives et conditionnelles des caractéristiques linguistiques aux représentations neuronales, offrant une compréhension plus nuancée de la façon dont les modèles encodent le langage et la parole.