🤖 AI

Polysemanticity or Polysemy? Lexical Identity Confounds Superposition Metrics

Cette étude démontre que la polysemanticité mesurée dans les réseaux de neurones est en grande partie confondue par des homonymes lexicaux plutôt que par une véritable superposition de concepts, un biais qui fausse les métriques et nuit aux tâches de désambiguïsation et d'édition de connaissances.

Auteurs originaux : Iyad Ait Hou, Rebecca Hwa

Publié 2026-04-02

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Iyad Ait Hou, Rebecca Hwa

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Grand Malentendu des IA : Quand le "Mot" trompe le "Sens"

Imaginez que vous avez un cerveau artificiel géant, un peu comme une immense bibliothèque remplie de milliers de petits employés (ce qu'on appelle des neurones). Chaque employé a pour tâche de reconnaître une idée précise.

1. Le problème : Le "Superposition" (L'entassement)

Jusqu'à présent, les chercheurs pensaient que quand un même employé reconnaissait deux choses très différentes, c'était parce que la bibliothèque était trop petite.

L'exemple classique : Un employé s'active pour le mot "Banque" (l'endroit où l'on met son argent) ET pour le mot "Banque" (le bord d'une rivière).
L'ancienne théorie (Superposition) : On pensait que l'employé était surchargé. Comme il n'y avait pas assez de place dans la bibliothèque, on a été obligé de lui donner deux casquettes différentes en même temps. C'est comme un déménageur qui doit empiler des meubles dans un camion trop petit : il faut tout tasser ensemble.

2. La découverte : Le "Conflit Lexical" (La confusion du mot)

Cette nouvelle étude dit : "Attendez une minute ! Ce n'est pas un problème de place."

En réalité, cet employé ne s'active pas parce qu'il a deux idées différentes. Il s'active simplement parce qu'il voit le même mot écrit : "Banque".

L'analogie du post-it : Imaginez que l'employé ne lit pas le sens de la phrase, mais qu'il colle un post-it sur le mot "Banque". Peu importe si vous parlez d'argent ou de rivière, le post-it "Banque" est collé.
La vraie raison : Le cerveau de l'IA ne fait pas encore la différence entre les deux sens au moment où il voit le mot. Il réagit à la forme du mot (l'orthographe), pas à son sens profond.

3. L'expérience : Le test des 4 scénarios

Pour prouver cela, les chercheurs ont créé un jeu de 4 situations avec des mots comme "Banque" (qui a plusieurs sens) et des synonymes (comme "Institution" pour la banque financière).

Scénario A (Même mot, même sens) : "Banque" (argent) + "Banque" (argent). → Beaucoup d'employés s'activent.
Scénario B (Même mot, sens différent) : "Banque" (argent) + "Banque" (rivière). → Beaucoup d'employés s'activent aussi !
Scénario C (Mot différent, même sens) : "Banque" (argent) + "Institution" (argent). → Moins d'employés s'activent.
Scénario D (Tout différent) : "Banque" + "Arbre". → Très peu d'employés s'activent.

Le résultat choc : Le Scénario B (le même mot, deux sens) a activé plus d'employés que le Scénario C (deux mots différents, mais le même sens).
Cela prouve que l'IA est plus obsédée par l'orthographe du mot que par la signification. Ce n'est pas de la compression d'idées, c'est de la confusion sur le mot lui-même.

4. Pourquoi c'est important ? (Les conséquences)

Si on ne fait pas attention à cela, on se trompe sur la façon dont l'IA fonctionne.

Le problème des "Super-Héros" (SAE) : Les chercheurs utilisent des outils pour essayer de trier les employés et voir qui fait quoi. Mais à cause de cette confusion, ils pensent que certains employés sont des "super-héros" capables de tout faire (argent ET rivière). En réalité, ce sont juste des employés qui réagissent à l'écriture du mot "Banque".
Les modifications dangereuses : Si vous essayez de modifier l'IA pour qu'elle oublie le sens "rivière" de "Banque" sans faire attention, vous risquez d'effacer aussi le sens "argent" ! C'est comme si vous vouliez enlever la peinture rouge d'une pomme, mais que vous peigniez toute la pomme en blanc parce que vous n'avez pas distingué la couleur de la forme.

5. La solution : Le "Filtre à Mots"

Les chercheurs proposent une nouvelle méthode :

Identifier les "Détecteurs de Mots" : Repérer les employés qui réagissent juste à l'orthographe (ils sont "aveugles au sens").
Les mettre de côté : Ne pas les compter quand on mesure la complexité de l'IA.
Cibler les vrais sens : Ne modifier que les employés qui comprennent vraiment la différence entre "argent" et "rivière".

En résumé :
Cette étude nous dit que les IA ne sont pas aussi "intelligentes" qu'on le pensait dans leur façon de mélanger les concepts. Souvent, elles ne font pas la différence entre un mot et son sens. C'est comme si un traducteur automatique traduisait "Banque" par "Rivière" simplement parce qu'il a vu le mot "Banque", sans écouter la phrase. En séparant le mot de son sens, on peut rendre les IA plus précises et éviter qu'elles ne fassent des erreurs bêtes quand on essaie de les corriger.

1. Problématique : La confusion entre Polysemanticité et Identité Lexicale

L'article aborde un problème fondamental dans l'interprétabilité des grands modèles de langage (LLM) : la polysemanticité. Ce phénomène, où un seul neurone s'active pour plusieurs concepts apparemment sans rapport (par exemple, un neurone qui réagit à la fois à « banque » au sens financier et à « banque » au sens de rivière), est traditionnellement expliqué par l'hypothèse de la superposition. Selon cette hypothèse, le modèle compresse plus de concepts qu'il n'a de dimensions disponibles, forçant les neurones à encoder plusieurs idées dans des directions presque orthogonales.

Cependant, les auteurs soulignent une confondance lexicale (lexical confound) négligée : l'activation simultanée pour deux sens d'un même mot (comme « bank ») peut ne pas être due à une compression de concepts, mais simplement au fait que le modèle traite d'abord la forme lexicale (le mot lui-même) avant de désambiguïser le sens. Les métriques standard ne parviennent pas à distinguer ces deux cas, risquant ainsi de surestimer la superposition et de mal interpréter le fonctionnement interne des modèles.

2. Méthodologie : Décomposition Factorielle 2x2

Pour isoler la contribution de la forme lexicale par rapport à celle du sens sémantique, les auteurs proposent une approche rigoureuse basée sur une décomposition factorielle 2x2 :

Conception Expérimentale : Ils construisent des paires de phrases croisant deux facteurs binaires :
- Même mot / Mot différent (Identité lexicale).
- Même sens / Sens différent (Identité sémantique).
  Cela génère quatre conditions :
- SL (Same-Lemma) : Même mot, même sens (ex: « bank » financier vs « bank » financier).
- PS (Polysemantic) : Même mot, sens différent (ex: « bank » financier vs « bank » rivière). Condition clé pour mesurer l'effet lexicale seul.
- SYN (Synonym) : Mot différent, même sens (ex: « bank » financier vs « institution »). Condition clé pour mesurer l'effet sémantique seul.
- CL (Cross-Lemma) : Mot différent, sens différent (base de référence).
Mesure de l'Overlap : Ils calculent le chevauchement neuronal (similarité cosinus, chevauchement Jaccard, divergence de magnitude) sur les activations intermédiaires des couches MLP (Multi-Layer Perceptron) pour ces paires.
Ratio de Contribution Lexicale ( $R_{lex}$ ) : Ils définissent une métrique normalisée pour quantifier l'apport de la forme lexicale :
$R_{lex} = \frac{\bar{M}_{PS} - \bar{M}_{SYN}}{\bar{M}_{SL} - \bar{CL}}$
Si $R_{lex} > 0$ , la forme lexicale contribue davantage au chevauchement que le sens partagé.
Classification et Intervention Causale :
- Indice de Sélectivité du Sens (SSI) : Classification des neurones en « sélectifs au sens » (SSI élevé) et « aveugles au sens » (SSI faible, réagissant à la forme du mot).
- Ablation : Suppression moyenne (mean-ablation) de ces groupes de neurones pour tester leur impact causal sur la désambiguïsation et l'édition de connaissances (méthode ROME).
- Analyse SAE : Vérification de la présence de cette confondance dans les Auto-encodeurs Epars (SAE).

3. Contributions Clés

Preuve de la Confondance Lexicale : Démonstration que la majorité du chevauchement neuronal observé pour les mots polysémiques est due à l'identité du mot (forme lexicale) et non à la compression de concepts superposés.
Nouvelle Métrique ( $R_{lex}$ ) : Introduction d'un indicateur pour corriger les mesures de polysemanticité existantes.
Classification Neuronal : Identification d'une sous-population de neurones « sense-blind » (aveugles au sens) qui détectent la forme du mot, distincte des neurones « sense-selective ».
Espace de Sous-espace Lexical (LIS) : Mise en évidence d'un sous-espace géométrique compact (≤1% des dimensions) où réside cette information lexicale, qui peut être retiré pour réduire le biais.
Impact sur les SAE : Démonstration que les SAE héritent de ce biais, avec 18 à 36 % de leurs caractéristiques (features) étant « aveugles au sens » pour les mots polysémiques.

4. Résultats Principaux

Les expériences ont été menées sur 9 modèles transformateurs (de 110M à 70B paramètres, incluant GPT-2, BERT, Pythia, LLaMA-2) et 407 mots polysémiques.

Primauté de la Forme Lexicale : La condition PS (même mot, sens différent) produit systématiquement un chevauchement neuronal plus élevé que la condition SYN (mot différent, même sens). Le ratio $R_{lex}$ est positif et significatif à travers toutes les couches et tous les modèles.
Distribution des Neurones : Les neurones « sense-selective » (qui distinguent les sens) sont extrêmement rares (< 1% de la population neuronale). La majorité des neurones activés par des mots polysémiques sont « sense-blind ».
Validation Causale :
- L'ablation des neurones « sense-selective » dégrade fortement la capacité du modèle à distinguer les sens (baisse de précision de 8 points), tandis que l'ablation des neurones « sense-blind » a un impact négligeable sur la désambiguïsation.
- En édition de connaissances (ROME), filtrer les neurones « sense-blind » rend les modifications beaucoup plus sélectives (réduction des dommages collatéraux sur l'autre sens du mot, $p = 0.002$ ).
Corrigibilité : En retirant les 20 à 50 dimensions du sous-espace d'identité lexicale (LIS), l'écart entre les conditions PS et SYN s'inverse ou disparaît, prouvant que le biais est localisable et supprimable.
Robustesse : Les résultats se maintiennent sur des textes modernes (Wikipedia) et ne sont pas un artefact du corpus SemCor (années 60).

5. Signification et Implications

Ce travail remet en cause l'interprétation courante de la polysemanticité comme étant uniquement un artefact de compression (superposition).

Révision de l'Interprétabilité : Une grande partie de ce que l'on croyait être des concepts superposés est en réalité une représentation pré-désambiguïsée de la forme du mot. Les métriques actuelles surestiment la complexité de la compression.
Amélioration des SAE : Les Auto-encodeurs Epars doivent être évalués en tenant compte de cette confondance. Les caractéristiques qui semblent polysémiques peuvent simplement être des détecteurs de forme lexicale.
Édition de Modèles Plus Sûre : Pour des tâches comme l'édition de connaissances (Knowledge Editing) ou le steering (pilotage) de modèles, il est crucial de cibler uniquement les neurones « sense-selective ». Ignorer cette distinction conduit à des modifications indésirables affectant tous les sens d'un mot.
Perspectives Futures : Les auteurs suggèrent l'intégration de pénalités d'identité lexicale dans l'entraînement des SAE pour obtenir des caractéristiques véritablement monosémantiques au niveau du concept, et non de la forme du mot.

En conclusion, l'article démontre que la forme lexicale est un moteur principal de l'activation neuronale, souvent confondu avec la superposition de concepts, et propose des outils méthodologiques pour séparer ces deux phénomènes afin d'améliorer la précision de l'analyse des modèles.