💬 NLP

Do Language Models Encode Semantic Relations? Probing and Sparse Feature Analysis

Cette étude combine le sondage linéaire et l'interprétabilité mécaniste pour révéler comment trois modèles de langage de différentes tailles encodent asymétriquement les relations sémantiques, montrant que l'hyperonymie est redondante et résistante tandis que l'hyponymie repose sur des caractéristiques compactes plus vulnérables, avec des signaux plus stables dans les couches intermédiaires et les voies MLP.

Auteurs originaux : Andor Diera, Ansgar Scherp

Publié 2026-03-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Andor Diera, Ansgar Scherp

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Grand Détective : Comment les IA "pensent"-elles vraiment ?

Imaginez que les grands modèles de langage (comme ceux qui écrivent des textes pour vous) soient de gigantesques usines à idées. On sait qu'elles produisent de belles phrases, mais à l'intérieur, c'est une boîte noire : on ne sait pas exactement comment elles rangent leurs connaissances.

Les auteurs de cet article, Andor Diera et Ansgar Scherp, ont décidé de devenir des détectives. Leur mission ? Ouvrir cette boîte noire pour voir comment les IA stockent les relations entre les mots.

Ils se sont posé quatre questions simples :

Synonymes : Comment l'IA sait-elle que "joyeux" et "heureux" signifient la même chose ?
Antonymes : Comment sait-elle que "joyeux" et "triste" sont opposés ?
Hiérarchie (Général) : Comment sait-elle qu'un "chien" est un type d'"animal" ?
Hiérarchie (Spécifique) : Comment sait-elle qu'un "beagle" est un type de "chien" ?

Pour répondre, ils ont utilisé trois "usines" de tailles différentes : une petite (Pythia), une moyenne (GPT-2) et une géante (Llama 3.1).

🔍 Les Outils du Détective : La Loupe et le Chiruricien

Pour voir à l'intérieur, ils ont utilisé deux outils magiques :

Le "Probe" (La Loupe) : Imaginez que vous posez une petite caméra sur chaque étage de l'usine. Cette caméra regarde les signaux électriques (les activations) et essaie de deviner : "Est-ce que l'IA pense ici à un synonyme ou à un opposé ?".
Le "Patch" (Le Chiruricien) : C'est encore plus fort. Ils prennent un signal précis (un petit circuit électrique) et disent : "Si on coupe ce fil, l'IA oublie-t-elle la relation ?" ou "Si on injecte ce signal dans une phrase sans sens, l'IA va-t-elle commencer à voir une relation ?". C'est comme tester si une pièce d'un moteur est essentielle en la retirant.

🎭 Les Découvertes Surprenantes

Voici ce qu'ils ont trouvé, traduit en langage courant :

1. L'IA n'est pas un livre de dictionnaire (C'est diffus)

On pourrait penser que l'IA a un étage spécial "Synonymes" et un étage "Opposés". Faux !
Les relations sont comme un brouillard qui se trouve au milieu de l'usine. Elles ne sont pas concentrées à un seul endroit précis, mais réparties sur plusieurs étages. C'est flou, mais ça fonctionne.

2. La différence entre les "Gros" et les "Petits"

Les petits modèles (comme Pythia) sont un peu comme des enfants : ils comprennent les opposés ("triste" vs "joyeux") assez bien, mais ils ont du mal avec les nuances complexes.
Les gros modèles (comme Llama 3.1) sont des génies. Ils distinguent tout parfaitement. Mais surtout, chez eux, on peut vraiment manipuler les circuits. Si on coupe un fil précis chez le géant, il perd sa capacité à voir la relation. Chez le petit, c'est moins clair.

3. Le mystère des "Opposés" vs "Similaires"

C'est le point le plus bizarre.

Les opposés (Antonymes) : L'IA les repère très facilement. C'est comme si elle avait un radar très sensible pour les contradictions.
Les synonymes : C'est le plus dur pour l'IA. Même si les mots sont pareils, l'IA a du mal à prouver qu'ils sont identiques. C'est comme essayer de prouver que deux jumeaux sont exactement la même personne : c'est subtil et difficile à isoler.

4. Le déséquilibre de la hiérarchie (Le "Chien" vs l'"Animal")

C'est ici que ça devient fascinant. L'IA a un biais (une préférence) :

Elle comprend très bien quand on va du spécifique au général (Beagle -> Chien -> Animal). C'est comme monter une échelle : facile.
Elle a beaucoup plus de mal quand on va du général au spécifique (Animal -> Chien). C'est comme descendre l'échelle : elle trébuche.
L'analogie : Imaginez que l'IA a une "mémoire de haut en bas" très forte, mais une "mémoire de bas en haut" fragile. Si on lui enlève un petit circuit, elle oublie vite ce qu'est un "beagle", mais elle se souvient toujours qu'un "beagle" est un "animal".

🧠 En Résumé : Ce que cela signifie pour nous

Cette étude nous dit deux choses importantes :

Les IA ne font pas que "mémoriser" : Elles ne se contentent pas de répéter ce qu'elles ont lu. Elles construisent de vraies structures mentales pour comprendre les relations entre les mots.
On peut les "piloter" : Parce qu'on a trouvé où et comment ces relations sont stockées (dans des circuits précis, surtout dans la partie "MLP" du cerveau de l'IA), on pourrait à l'avenir apprendre à modifier ces circuits pour rendre l'IA plus précise, moins biaisée, ou pour lui apprendre de nouvelles règles logiques sans tout réapprendre.

En une phrase : Les chercheurs ont prouvé que les IA ont une "carte mentale" des relations entre les mots, mais cette carte est un peu floue, déséquilibrée, et qu'il faut des modèles très puissants pour pouvoir la lire et la modifier avec précision.

1. Problématique et Contexte

La compréhension des mécanismes internes des grands modèles de langage (LLM) est essentielle pour avancer dans le domaine de l'interprétabilité. Bien que la recherche ait fait des progrès dans l'identification de concepts individuels, la manière dont les relations sémantiques structurées (synonymie, antonymie, hyperonymie, hyponymie) sont encodées reste peu explorée.

Les auteurs soulignent un paradoxe : les LLM semblent performants sur des tâches de relations sémantiques, mais il est incertain s'ils capturent une véritable structure conceptuelle ou s'ils reposent sur des associations de surface (co-occurrences lexicales). L'objectif de l'étude est de déterminer :

Si des signaux de relations sémantiques existent dans les représentations internes des LLM.
Où ces signaux sont localisés (couches, composants).
Dans quelle mesure ils peuvent être manipulés causalement.

2. Méthodologie

L'étude combine des techniques de sondage linéaire (linear probing) et d'interprétabilité mécaniste (sparse autoencoders et patching d'activation).

Modèles et Données

Modèles analysés : Trois modèles de tailles croissantes pour étudier l'effet de l'échelle :
- Pythia-70M (6 couches).
- GPT-2-124M (12 couches).
- Llama 3.1 8B (32 couches).
Relations étudiées : Synonymie, Antonymie, Hyperonymie (généralisation), Hyponymie (spécialisation).
Dataset : Construit à partir de WordNet 3.0, contenant 1 000 paires pour chaque relation, plus 1 000 paires aléatoires. Les paires sont enrichies de contextes neutres.

Techniques d'Analyse

Sondage Linéaire (Probing) :
- Des classificateurs logistiques multinomiaux sont entraînés sur les activations de chaque couche (sortie de l'attention, sortie du MLP, flux résiduel post-résiduel).
- Métriques : Précision moyenne, précision maximale (pic), profondeur du pic, et centre de masse (CoM) pour évaluer la distribution de l'information dans la profondeur du réseau.
Autoencodeurs Clairsemés (SAE) et Patching d'Activation :
- Utilisation de SAE pré-entraînés (via SAELens) pour extraire des caractéristiques latentes désintriquées.
- Patching d'activation : Technique d'intervention où les activations des caractéristiques SAE les plus pertinentes (top-k) sont soit supprimées (ablation) soit injectées dans des entrées neutres.
- Mesures Causales :
  - Nécessité : L'ablation des caractéristiques réduit-elle la capacité du modèle à détecter la relation ?
  - Suffisance : L'injection de ces caractéristiques dans des entrées neutres crée-t-elle un signal de relation ?
- Métrique principale : Différence de logit sémantique ( $LD_{sem}$ ), mesurant la marge entre la relation cible et son concurrent sémantique le plus proche.

3. Résultats Clés

A. Profils de Difficulté et d'Échelle

Ordre de difficulté constant : Quelle que soit la taille du modèle, la difficulté décroissante est : Antonymie (plus facile) > Hyponymie > Hyperonymie > Synonymie (plus difficile).
Effet de l'échelle : La précision augmente avec la taille du modèle (Llama 3.1 atteint des pics proches de 100% pour l'antonymie), mais la synonymie reste la relation la plus difficile à décoder.
Localisation : Les signaux ne sont pas concentrés dans une couche unique ("couche de relation"). Ils sont diffus, avec un pic d'activité dans les couches médianes (milieu de la pile).

B. Composants du Modèle

L'information relationnelle est plus forte dans le flux post-résiduel (sortie complète du bloc) que dans l'attention ou le MLP isolément.
Le MLP porte généralement plus de signal récupérable que l'attention, bien que cet avantage diminue avec l'échelle.

C. Asymétrie des Relations Hiérarchiques

Hyperonymie vs Hyponymie : Une asymétrie directionnelle marquée est observée.
- L'hyperonymie (ex: chien $\to$ animal) est encodée de manière redondante : elle est facile à renforcer (suffisance élevée) mais résiste à la suppression (nécessité faible).
- L'hyponymie (ex: animal $\to$ chien) repose sur des caractéristiques compactes : elle est facilement perturbée par l'ablation (nécessité élevée) mais aussi facilement induite.
Cette asymétrie se traduit par une chute de performance plus importante lors de l'inversion de l'ordre des mots pour l'hyponymie que pour l'hyperonymie.

D. Causalité et SAE

Dépendance à la capacité : Sur les petits modèles (Pythia, GPT-2), le patching guidé par SAE produit des effets faibles ou instables. Sur Llama 3.1, le patching induit des changements causaux fiables et significatifs au niveau du sondage.
Robustesse contextuelle : Les signaux relationnels sont majoritairement invariants par rapport à la formulation du prompt, bien que la précision de lecture (calibration) puisse varier.

4. Contributions Principales

Comparaison systématique : Une analyse comparative de l'encodage de quatre relations sémantiques à travers trois échelles de modèles (de 70M à 8B paramètres).
Cadre intégré : Combinaison de sondage linéaire et d'analyse de caractéristiques clairsemées (SAE) pour identifier les activations spécifiques aux relations et évaluer leur influence causale.
Cartographie de l'encodage : Démonstration que l'information relationnelle est diffuse (couches médianes) mais concentrée dans les composants MLP/post-résiduels, avec des pics de profondeur instables.
Preuve de causalité asymétrique : Mise en évidence d'une directionnalité biaisée dans les relations hiérarchiques via des interventions SAE (l'hyperonymie est redondante, l'hyponymie est compacte).

5. Signification et Implications

Nature de l'encodage : Les relations sémantiques ne sont pas encodées comme de simples similarités vectorielles (la similarité cosinus échoue à distinguer synonymes et antonymes), mais comme des caractéristiques structurées et sensibles au rôle.
Limites des modèles : La difficulté persistante pour la synonymie et l'asymétrie dans les relations hiérarchiques suggèrent que les LLM, même à grande échelle, ne possèdent pas toujours une compréhension conceptuelle équilibrée et symétrique.
Applications pratiques : Ces résultats peuvent guider des interventions ciblées pour des tâches dépendant de la connaissance relationnelle (complétion d'ontologies, inférence textuelle, recherche taxonomique), en identifiant quelles caractéristiques spécifiques doivent être ajustées ou renforcées.
Limites : L'étude se limite à la causalité au niveau du sondage (probe-level) et non au niveau de la génération de tokens, et utilise WordNet comme vérité terrain, ce qui introduit un biais lexical anglophone.

En conclusion, l'article fournit un cadre reproductible reliant les caractéristiques clairsemées aux preuves causales de niveau sondage, révélant que les LLM encodent des relations sémantiques de manière structurée, mais avec des biais directionnels et une distribution diffuse dans l'architecture du modèle.