💬 NLP

A visual observation on the geometry of UMAP projections of the difference vectors of antonym and synonym word pair embeddings

Cet article exploratoire révèle la présence d'une curieuse structure en « tourbillon » dans les projections géométriques des vecteurs de différence des paires de mots antonymes et synonymes au sein de divers modèles d'incorporation.

Auteurs originaux : Rami Luisto

Publié 2026-03-26

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Rami Luisto

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌪️ Le Tourbillon Secret des Mots : Une Découverte Géométrique

Imaginez que chaque mot que nous connaissons (comme "chat", "liberté" ou "rouge") est une étoile dans un immense ciel invisible. Dans les ordinateurs modernes (les modèles d'IA comme BERT ou GPT), ces étoiles ne sont pas placées au hasard. Elles forment des constellations complexes où la position d'un mot par rapport à un autre raconte toute son histoire.

L'auteur de cet article, Rami, s'est demandé : "Si je prends deux mots qui sont opposés (comme 'chaud' et 'froid') ou deux mots qui sont semblables (comme 'chaud' et 'tiède'), est-ce que leur différence a une forme particulière dans le ciel des ordinateurs ?"

1. La Carte au Trésor (Les Données)

Pour répondre à cette question, Rami a utilisé une vieille carte au trésor appelée le "jeu de données de Stuttgart". C'est une liste géante de paires de mots :

Des antonymes (des opposés : grand/petit, jour/nuit).
Des synonymes (des semblables : rapide/vite, bon/excellent).
Et, pour être sûr de ne pas se tromper, il a créé des paires mélangées (comme si on prenait le mot "grand" d'une paire et le mot "nuit" d'une autre, juste pour voir si l'ordinateur se perdait).

2. Le Tourbillon Magique (La Découverte)

Rami a pris ces mots et les a transformés en vecteurs (des flèches mathématiques). Ensuite, il a regardé la différence entre les flèches des paires opposées.

C'est là que la magie opère. Quand il a utilisé une technique spéciale pour réduire la complexité de ces flèches (une technique appelée UMAP, qui agit comme un objectif de caméra très puissant), il a vu quelque chose d'étonnant :

Un immense tourbillon (ou "swirl") s'est formé !

Imaginez que vous versez de la peinture bleue (les opposés) et de la peinture rouge (les semblables) dans un tourbillon d'eau. Au lieu de se mélanger en une boue grise, les couleurs s'organisent en une belle spirale.

Les mots opposés ("chaud/froid") se placent sur une partie de la spirale.
Les mots semblables ("chaud/tiède") se placent sur une autre partie.
Les paires mélangées (le "bruit" de fond) s'éparpillent ailleurs.

Ce qui est fascinant, c'est que ce tourbillon apparaît quel que soit le modèle d'IA utilisé, qu'il soit vieux (Word2Vec) ou très récent (les derniers modèles d'OpenAI). C'est comme si la géométrie des opposés avait une "signature" universelle dans l'esprit des machines.

3. Pourquoi est-ce si spécial ?

Habituellement, les scientifiques pensent que les opposés sont juste "loins" les uns des autres, comme deux points aux extrémités d'une ligne droite. Rami a découvert que non, c'est beaucoup plus organique. C'est comme si l'IA avait appris à ranger les opposés dans un cercle de danse spécifique.

Il a aussi remarqué que si on changeait un seul petit paramètre de la caméra (par exemple, en utilisant une autre méthode de projection ou une autre façon de mesurer la distance), le tourbillon disparaissait instantanément. C'est comme si le tourbillon n'était visible que sous un angle très précis, un peu comme un hologramme qui ne s'allume que si vous êtes exactement au bon endroit.

4. À quoi ça sert ? (Le Détective)

Grâce à ce tourbillon, Rami a créé un petit "détective" automatique.

Il prend une nouvelle paire de mots inconnue.
Il la place sur la carte du tourbillon.
Si elle atterrit dans la zone bleue, le détective dit : "Ce sont des opposés !"
Si elle atterrit dans la zone rouge, il dit : "Ce sont des synonymes !"

Ce détective fonctionne étonnamment bien, parfois même mieux que les méthodes les plus sophistiquées utilisées par les experts, simplement en regardant la forme globale du nuage de points.

En Résumé

Cet article est une belle observation visuelle. Il nous dit que même si les ordinateurs ne comprennent pas le sens des mots comme nous, ils ont développé une géométrie secrète pour ranger les opposés et les semblables. Cette géométrie ressemble à un tourbillon coloré et stable, qui apparaît de manière surprenante à travers différentes technologies.

C'est un peu comme si, en regardant les étoiles à travers une lunette spéciale, on découvrait soudainement que les planètes s'alignaient pour former un visage souriant que personne n'avait jamais vu auparavant. L'auteur nous invite à regarder cette forme avec curiosité, sans savoir exactement pourquoi elle existe, mais en sachant qu'elle est là, belle et constante.

1. Problématique et Contexte

L'article s'interroge sur la représentation géométrique des antonymes (mots opposés) et des synonymes dans les espaces d'embeddings des modèles de langage modernes (transformers, word2vec, GloVe).

Définition linguistique : Selon Murphy, les antonymes partagent toutes les propriétés contextuelles pertinentes sauf une. L'auteur propose de traduire cela géométriquement : des paires de mots qui coïncident sur toutes les dimensions contextuelles sauf une.
Hypothèse de départ : Si les concepts sont codés comme des directions dans des espaces de haute dimension, la « relation d'antonymie » devrait-elle correspondre à une direction euclidienne spécifique ou à une structure géométrique détectable dans les vecteurs de différence ( $D = E_2 - E_1$ ) ?
État de l'art : La littérature suggère généralement que la distinction entre antonymes et synonymes n'est pas linéaire (elle nécessite des frontières non-linéaires complexes). L'objectif est de déterminer s'il existe une structure géométrique sous-jacente visible dans les projections.

2. Méthodologie

L'étude est une exploration visuelle et expérimentale basée sur le Stuttgart dataset (contenant des paires d'adjectifs, noms et verbes, synonymes et antonymes).

Modèles utilisés :
- Modèles statiques : Word2Vec, GloVe.
- Modèles contextuels (embeddings sans contexte) : BERT Base.
- Modèles propriétaires (API OpenAI) : text-embedding-3-small et text-embedding-3-large.
Construction des données :
- Pour chaque paire de mots $(w_1, w_2)$ , les vecteurs d'embedding $E_1$ et $E_2$ sont extraits.
- Le vecteur de différence est calculé : $D_{12} = E_2 - E_1$ .
- Ensembles de contrôle : Pour éviter les biais liés aux mots spécifiques, l'auteur crée des ensembles « mélangés » (shuffled) où les mots des paires antonymes/synonymes sont réarrangés aléatoirement.
Réduction de dimensionnalité :
- Les nuages de points de vecteurs de différence sont projetés en 2D principalement via l'algorithme UMAP (Uniform Manifold Approximation and Projection).
- Paramètres critiques : L'observation clé n'apparaît qu'avec la métrique Euclidienne (et non la similarité cosinus) et nécessite l'inclusion des ensembles de contrôle mélangés.
- Des comparaisons sont faites avec d'autres méthodes (PCA, t-SNE) et d'autres constructions vectorielles (concaténation) pour valider la spécificité du phénomène.

3. Contributions Clés et Observations

A. La Découverte du « Swirl » (Tourbillon)

L'observation principale est la présence d'une structure en forme de tourbillon (swirl) ou de boucle dans les projections UMAP des vecteurs de différence.

Stabilité : Cette structure apparaît de manière cohérente à travers différents modèles (de Word2Vec aux derniers modèles d'OpenAI) et différentes configurations d'hyperparamètres UMAP.
Séparation des classes : Dans ces projections, les points correspondant aux vrais antonymes (bleu) et aux vrais synonymes (orange) forment des structures unidimensionnelles distinctes et séparées des ensembles mélangés (shuffled).
- Les antonymes réels sont séparés des antonymes mélangés.
- Les synonymes réels sont séparés des synonymes mélangés.
Spécificité : Le phénomène disparaît si l'on utilise la métrique cosinus, si l'on utilise la concaténation des vecteurs, ou si l'on utilise t-SNE/PCA (sauf pour le modèle text-embedding-3-large qui montre des structures non triviales même sans UMAP).

B. Classification Transductive

L'auteur propose une méthode de classification basée sur cette structure géométrique :

Projeter l'ensemble complet (train + test + données mélangées) via UMAP.
Supprimer les données mélangées de la visualisation.
Appliquer un algorithme de clustering sur le nuage de points restant.
Utiliser les données d'entraînement pour voter sur l'étiquette de chaque cluster, puis attribuer cette étiquette aux points de test appartenant au même cluster.

Nature : C'est une méthode transductive (elle infère les étiquettes du jeu de test en utilisant la structure globale du test, et non un modèle inductif entraîné séparément).

4. Résultats

Performance de classification : La méthode basée sur UMAP améliore significativement les scores de classification (F1-score) par rapport à l'utilisation des vecteurs bruts.
- Sur la division lexicale (où aucun mot ne se retrouve à la fois dans l'entraînement et le test), le modèle text-embedding-3-large atteint un F1-score de 0.966 avec UMAP + KMeans/Spectral, surpassant les méthodes inductives de l'état de l'art (SOTA) comme ICE-NET ou MoE-ASD sur ce même split difficile.
- Même sans projection UMAP, text-embedding-3-large obtient de bons résultats, mais la projection booste les performances des modèles plus anciens (Word2Vec, BERT).
Robustesse : L'effet « swirl » persiste à travers les types de modèles, suggérant une structure intrinsèque aux embeddings d'antonymes/synonymes plutôt qu'un artefact d'un modèle spécifique.

5. Signification et Conclusion

Nature du phénomène : L'auteur rejette l'hypothèse d'un simple « p-hacking » (trouvaille aléatoire) car la structure est stable sur des modèles très différents et des paramètres variés.
Implications géométriques : Bien que l'auteur n'ait pas d'hypothèse définitive sur pourquoi cette structure en tourbillon existe, elle suggère que la géométrie des embeddings capture des relations sémantiques complexes (comme l'antonymie) d'une manière que les métriques linéaires simples (comme la distance euclidienne directe) ne révèlent pas immédiatement, mais que des méthodes de manifold learning comme UMAP peuvent déplier.
Lien avec les structures universelles : L'article fait un lien tentatif avec des recherches récentes suggérant l'émergence de structures universelles dans les grands modèles de langage (LLMs).
Conclusion : Ce travail offre une observation visuelle fascinante (« le tourbillon ») qui ouvre de nouvelles pistes pour comprendre la géométrie sémantique et propose une méthode de classification compétitive, bien que transductive, pour la tâche de différenciation antonyme/synonyme (ASD).

En résumé, l'article démontre que les vecteurs de différence des paires antonymes et synonymes, lorsqu'ils sont projetés via UMAP avec une métrique euclidienne, révèlent une structure géométrique stable et séparable, permettant une classification de haute performance et suggérant une organisation sous-jacente non triviale dans les espaces d'embeddings modernes.