💬 NLP

A graph-based analysis of semantic types and coercion in contextualized word embeddings

Cet article propose une analyse basée sur un graphe utilisant les métriques de probabilité de type de voisin et d'entropie sur des embeddings BERT et enrichis de sens pour démontrer que les informations de type sémantique et les phénomènes de coercition sont mieux capturés dans les modèles enrichis de sens, permettant ainsi de distinguer les paires nom-contexte correspondantes des paires non correspondantes.

Auteurs originaux : Long Chen, Deniz Ekin Yavas

Publié 2026-05-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Long Chen, Deniz Ekin Yavas

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une bibliothèque géante et invisible où chaque livre représente un seul mot utilisé dans une phrase. Dans cette bibliothèque, les livres sont regroupés sur des étagères en fonction de leur ressemblance les uns aux autres. Ce papier est comme une expédition de cartographie dans cette bibliothèque pour voir à quel point les étagères sont bien organisées.

Les chercheurs voulaient répondre à une question précise : Ces « étagères » numériques (appelées plongements de mots) savent-elles faire la différence entre ce qu'un mot est et ce qu'un mot fait dans une phrase spécifique ?

Voici une décomposition de leur voyage en utilisant des analogies simples :

1. Le Problème : Le Paradoxe de la « Pizza »

Pensez au mot « pizza ».

Ce qu'il est (Type lexical) : C'est de la nourriture. Il appartient à la section « Nourriture » de la bibliothèque.
Ce qu'il fait (Type contextuel) :
- Dans la phrase « Je mange une délicieuse pizza », la pizza agit comme de la nourriture. C'est une Correspondance.
- Dans la phrase « J'ai fini la pizza », le mot « fini » attend généralement une activité (comme une course ou un film), et non une part de fromage. Ici, la pizza est forcée d'agir comme une activité. Cela s'appelle la Coercition. C'est comme demander à un poisson de grimper à un arbre ; le poisson reste un poisson, mais le contexte le traite comme un grimpeur.

Les chercheurs voulaient voir si la « bibliothèque » de l'ordinateur pouvait faire la différence entre une phrase normale sur la pizza et une phrase de pizza « coercée » simplement en regardant quels autres livres se trouvaient sur la même étagère.

2. L'Expérience : Construire Deux Cartes

Pour tester cela, ils ont pris 10 catégories différentes de mots (comme animal, nourriture, humain, lieu) et ont trouvé 20 phrases pour chacune. Ils ont ensuite construit deux « cartes » (graphes) différentes de ces phrases :

Carte A (La Carte Standard) : Construite à l'aide d'un modèle d'IA standard appelé BERT. Ce modèle est comme un bibliothécaire généraliste qui connaît beaucoup de mots mais qui pourrait se laisser distraire par la fréquence à laquelle les mots apparaissent ensemble (par exemple, « étudiant » et « école » apparaissent souvent ensemble, même s'ils ne sont pas du même type).
Carte B (La Carte Améliorée) : Construite à l'aide d'un modèle Amélioré par le Sens. C'est comme un bibliothécaire qui possède un dictionnaire spécial (WordNet) qui lui indique explicitement le « titre de poste » ou la « catégorie » de chaque mot.

Ils ont également créé une astuce : ils ont couvert le mot principal de la phrase avec un « masque » (comme un espace vide) pour voir si la carte pouvait deviner le rôle du mot uniquement à partir du contexte environnant, en ignorant ce que le mot est réellement.

3. Les Outils : Mesurer le Quartier

Une fois les cartes construites, ils ont utilisé deux règles pour mesurer les étagères :

Règle 1 : La « Correspondance des Voisins » (NTP) : Si vous choisissez un mot, combien de ses voisins sur l'étagère appartiennent à la même catégorie ?
- Exemple : Si vous choisissez « chien », la plupart de ses voisins disent-ils aussi « chat » ou « cheval » (Animal) ? Ou disent-ils « laisse » ou « parc » (Lieu) ?
Règle 2 : Le « Mètre de Chaos » (NTE) : À quel point l'étagère est-elle mélangée ?
- Faible Chaos : L'étagère ne contient que des « Animaux ».
- Chaos Élevé : L'étagère contient des « Animaux », des « Voitures », des « Nuages » et des « Chaussures » tous mélangés.

4. Ce qu'ils ont trouvé

Les résultats étaient comme la découverte qu'un bibliothécaire était beaucoup meilleur pour organiser la bibliothèque que l'autre.

La Carte Améliorée (Améliorée par le Sens) était la meilleure organisatrice.
Lorsqu'ils ont examiné les phrases de « Correspondance » (où le mot s'intègre parfaitement), la Carte Améliorée a placé les mots du même type les uns à côté des autres. Par exemple, les « étudiants » étaient entourés d'autres « humains », et non de « salles de classe ». La carte standard (BERT) s'est confondue par la fréquence d'apparition des mots ensemble, mélangeant les types.
Le Mystère de la « Coercition » :
Lorsqu'ils ont examiné les phrases de « Coercition » (où le mot est forcé dans un nouveau rôle, comme un « stade » qui rugit comme un « humain ») :
- Sur la Carte Améliorée, le mot « stade » est resté principalement avec d'autres « lieux ». Il n'a pas sauté magiquement sur l'étagère « humain ». Cela suggère que l'ordinateur sait toujours ce que le mot est, même lorsque la phrase le traite différemment.
- Cependant, lorsqu'ils ont utilisé la version Masquée (en cachant le mot), la carte a commencé à montrer le rôle contextuel. Les voisins sont devenus plus diversifiés, montrant que le système pouvait sentir l'« activité » que le contexte exigeait, même si ce n'était pas parfait.
Les Phrases « Non Restreintes » :
Pour les phrases où le contexte ne se souciait pas de ce que le mot était (par exemple, « Vous avez besoin d'un [linguiste] » pourrait être remplacé par presque n'importe quoi), le « Mètre de Chaos » (NTE) a considérablement augmenté. Les étagères étaient un désordre de types différents, ce qui est exactement ce à quoi on s'attend si le contexte ne restreint pas le mot.

5. La Conclusion

Le papier conclut que :

Les Bibliothécaires Spécialisés Gagnent : Le modèle « Amélioré par le Sens » organise les mots selon leur type sémantique réel beaucoup mieux que le modèle standard.
Le Contexte Laisse une Trace : Même lorsqu'un mot est « coercé » dans un nouveau rôle, le graphe montre un mélange. Le mot conserve son identité originale (il reste sur l'étagère « Lieu »), mais le contexte ajoute une couche de diversité à ses voisins.
Détecter l'Étrangeté : En mesurant à quel point les voisins sont « mélangés » (Entropie), on peut dire si une phrase est une correspondance normale, une coercition étrange ou une phrase vague.

En bref, les chercheurs ont construit une carte des relations entre les mots et ont prouvé qu'avec les bons outils, nous pouvons voir exactement comment les ordinateurs comprennent la différence entre ce qu'un mot est et ce qu'une phrase veut qu'il soit.

Résumé technique : Une analyse basée sur les graphes des types sémantiques et de la coercition dans les plongements de mots contextualisés

Énoncé du problème
Le décalage de type sémantique entre un nom et son contexte est au cœur du phénomène linguistique de la coercition, où le type sémantique lexical d'un nom entre en conflit avec le type requis par le contexte environnant (par exemple, « finir la pizza », où pizza est un aliment mais finir sélectionne typiquement une activité). Bien que des cadres théoriques tels que le Lexique Génératif et la Logique Compositionnelle des Types aient proposé des mécanismes pour résoudre ces décalages, les travaux computationnels opérationnalisant directement ces théories restent rares. Les études existantes sur les modèles de langage préentraînés (PLM) se concentrent largement sur des tâches de prédiction de mots pour détecter des événements cachés dans la coercition, produisant souvent des résultats incohérents. Cet article examine une question différente : comment l'information relative aux types sémantiques se reflète-t-elle dans les plongements de mots contextualisés d'instances nominales, en distinguant spécifiquement la prédication typique (correspondance) de la coercition (décalage) ?

Méthodologie
Les auteurs proposent une analyse basée sur les graphes des plongements de mots contextualisés pour examiner la distribution des types sémantiques dans le voisinage des instances nominales.

Construction de l'ensemble de données :
- Types sémantiques : Dix types sémantiques ont été sélectionnés : animal, artefact, activité, aliment, humain, info, lieu, humeur, processus, état. Ces types forment une hiérarchie conceptuelle compatible avec les super-sens de WordNet.
- Instances : 20 phrases par nom ont été extraites de BookCorpus pour 5 à 10 noms fréquents par type.
- Annotation : Les phrases ont été annotées pour le Type Lexical (lt) (le type inhérent du nom) et le Type Contextuel (ct) (le type requis par le contexte, inféré en masquant le nom).
- Catégories : Les phrases ont été classées en quatre types :
  - CORRESPONDANCE : $lt = ct$ (par exemple, « manger une pizza »).
  - COERCITION : $lt \neq ct$ due à la sélection du prédicat (par exemple, « le stade rugissait »).
  - AUTRE_DÉCALAGE : $lt \neq ct$ due à la métaphore ou à la métonymie.
  - NON_RESTRINT : $ct = \emptyset$ (le contexte n'impose aucun type spécifique).
Plongements et construction de graphes :
- Modèles : Deux modèles ont été utilisés : BERT standard (base, non cased) et BERT enrichi par le sens (affiné sur SemCor avec des étiquettes de super-sens WordNet).
- Masquage : Pour isoler l'information contextuelle de l'information lexicale, les mots cibles ont été remplacés par des tokens [MASK].
- Graphes : Quatre graphes dirigés ont été construits ( $G_b, G_s, G_{mb}, G_{ms}$ ) basés sur la similarité cosinus entre les plongements (moyenne des 4 dernières couches). Les arêtes relient les $k=10$ plus proches voisins de mots cibles différents pour éviter le chevauchement lexical.
Métriques proposées :
- Probabilité de Type de Voisin (PTV) : Mesure la proportion des voisins d'un nœud appartenant à un type sémantique spécifique.
  - PTV_Lex (Lexical) : $PTV(lt, v)$
  - PTV_Con (Contextuel) : $PTV(ct, v)$
- Entropie de Type de Voisin (ETV) : Mesure la diversité des types sémantiques parmi les voisins. Une faible entropie indique que les voisins partagent le même type ; une forte entropie indique des types diversifiés.

Résultats clés

Qualité des plongements : Les graphes construits avec des plongements enrichis par le sens ( $G_s, G_{ms}$ ) reflètent l'information sur les types sémantiques de manière significativement meilleure que les graphes BERT standard. Par exemple, dans les phrases de CORRESPONDANCE, la PTV_Lex moyenne pour les types artefact et humain a augmenté considérablement sur $G_s$ par rapport à $G_b$ .
Reflet lexical vs contextuel :
- Les graphes non masqués ( $G_b, G_s$ ) reflètent principalement les types lexicaux. Dans les phrases de COERCITION, les voisins partagent toujours majoritairement le type lexical du nom plutôt que le type contextuel, suggérant que les plongements conservent le type inhérent du nom même dans des contextes de décalage.
- Les graphes masqués ( $G_{mb}, G_{ms}$ ) montrent une sensibilité plus élevée aux types contextuels, bien que le signal reste partiel (PTV_Con < 0,5).
Distinction des types de phrases via l'entropie (ETV) :
- Les phrases de CORRESPONDANCE présentent une faible ETV (les voisins partagent le même type).
- Les phrases NON_RESTRINTES présentent la plus forte ETV (les voisins sont très diversifiés).
- Les phrases de COERCITION montrent un comportement intermédiaire. Sur les graphes masqués ( $G_{mb}, G_{ms}$ ), les phrases de COERCITION ont une ETV significativement plus faible que les phrases NON_RESTRINTES mais plus élevée que les phrases de CORRESPONDANCE. Cela suggère que, bien que les instances de coercition ne basculent pas entièrement vers le type contextuel, elles présentent plus de diversité de types que les instances de correspondance standard.
Hiérarchie des types : L'analyse PTV sur $G_s$ a révélé des proximités taxonomiques (par exemple, processus, état et humeur formant un cluster ; info proche de humeur), permettant l'induction d'une nouvelle hiérarchie de types sémantiques.

Signification et affirmations
L'article affirme être la première étude à se concentrer sur les relations de types sémantiques et la coercition au niveau de la représentation des plongements contextualisés, plutôt que de se fier uniquement aux tâches de prédiction de mots.

Contribution méthodologique : Les métriques basées sur les graphes proposées (PTV et ETV) distinguent efficacement les phrases de correspondance, de coercition et non restreintes.
Insight théorique : Les résultats suggèrent que dans la coercition, le type lexical n'est pas complètement écrasé par le contexte ; plutôt, la structure du graphe reflète un équilibre où le type lexical reste dominant dans les plongements non masqués, tandis que les plongements masqués capturent partiellement le basculement contextuel.
Potentiel futur : Les auteurs suggèrent modestement qu'avec des ensembles de données plus vastes, leur méthode pourrait induire automatiquement des hiérarchies de types sémantiques et détecter de manière cohérente les phrases de décalage. Ils notent également le potentiel d'explorer davantage la distinction entre la coercition et d'autres mécanismes de décalage (métaphore/métonymie) étant donné suffisamment de données.

L'étude conclut que les plongements enrichis par le sens fournissent une représentation plus riche des types sémantiques, et que l'analyse basée sur les graphes proposée offre un outil viable pour étudier comment l'information lexicale et contextuelle interagissent au sein des PLM.