💬 NLP

A visual observation on the geometry of UMAP projections of the difference vectors of antonym and synonym word pair embeddings

Dit exploratieve paper beschrijft een opvallende 'spiraal' in de geometrie van UMAP-projecties van verschilvectoren van antoniemen en synoniemen, die consistent voorkomt in diverse transformer-embeddingsmodellen.

Oorspronkelijke auteurs: Rami Luisto

Gepubliceerd 2026-03-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Rami Luisto

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat woorden niet zomaar losse blokjes zijn, maar punten in een gigantische, onzichtbare ruimte. In de wereld van kunstmatige intelligentie (AI) worden woorden omgezet in deze punten, waarbij woorden met een vergelijkbare betekenis dicht bij elkaar liggen.

Rami Luisto, een onderzoeker, heeft gekeken naar wat er gebeurt met woorden die tegenovergestelden zijn (zoals 'warm' en 'koud') versus woorden die synoniemen zijn (zoals 'warm' en 'heet'). Zijn ontdekking is zo vreemd en mooi dat hij het een "swirl" (een spiraal of kringloop) noemt.

Hier is het verhaal in simpele taal, met een paar creatieve vergelijkingen:

1. Het Grote Woorden-Universum

Stel je de AI-ruimte voor als een enorme, donkere zee.

Synoniemen (woorden die hetzelfde betekenen) zijn als twee schepen die naast elkaar varen. Ze bewegen in precies dezelfde richting.
Antoniemen (woorden die tegenovergesteld zijn) zijn als twee schepen die in precies de tegengestelde richting varen.

De vraag die Rami stelde was: Als we het verschil tussen deze twee schepen berekenen (de afstand en richting ertussen), zien we dan een patroon?

2. De Magische Spiraal (De "Swirl")

Rami nam duizenden paar woorden en plakte ze op een platte kaart (een 2D-projectie) met een slimme techniek genaamd UMAP. Dit is als een soort "magische lens" die de complexe 3D-ruimte platdrukt zodat we het kunnen zien.

Wat hij zag, was verrassend:

De punten vormden geen willekeurige vlekken.
Ze vormden een duidelijke spiraal of een kringloop, alsof de punten een dansje doen.
Het was alsof je een grote draaimolen zag draaien, waarbij de antoniemen en synoniemen op specifieke plekken in de draaimolen zaten.

De analogie:
Stel je voor dat je een grote pot met gekleurd zand schudt. Normaal zou je een willekeurige brij verwachten. Maar hier gebeurde het tegenovergestelde: het zand ordende zichzelf in een perfecte, gekleurde spiraal. Dit gebeurde niet alleen bij één type AI, maar bij verschillende modellen (van oude tot zeer nieuwe). Dat suggereert dat er iets fundamenteels aan de hand is in hoe AI woorden begrijpt.

3. De "Shuffled" Controle (Het Belangrijke Detail)

Om zeker te weten dat dit geen toeval was, deed Rami een experiment. Hij nam de woorden en vermengde ze willekeurig (zoals een deck kaarten dat je opnieuw schudt).

Toen hij dit deed, verdween de mooie spiraal grotendeels.
De "echte" antoniemen en synoniemen bleven echter in hun mooie, gescheiden banen zitten binnen de spiraal.

Dit is als het verschil tussen een goed georganiseerd orkest (de echte woorden) en een luidruchtige menigte die willekeurig rondloopt (de gemengde woorden). De structuur van de spiraal kwam dus echt voort uit de betekenis van de woorden, niet uit toeval.

4. Waarom is dit belangrijk?

Rami zegt niet dat hij precies weet waarom deze spiraal er is. Het is een mysterie. Maar het is wel belangrijk omdat:

Het een nieuw inzicht geeft: Het laat zien dat AI antoniemen niet zomaar "anders" vindt, maar dat er een heel specifieke geometrische structuur (een vorm) aan vastzit.
Het werkt als een filter: Omdat de spiraal zo duidelijk is, kan je de AI gebruiken als een super-slimme detector. Als je een nieuw woordpaar in de machine stopt, kun je aan de vorm van de spiraal zien of het een tegenstelling is of niet. In tests deed dit zelfs beter dan veel andere geavanceerde methoden.

Samenvattend

Rami Luisto heeft ontdekt dat als je kijkt naar de "afstand" tussen tegenwoordige woorden in de hersenen van een AI, ze een prachtige, mysterieuze spiraal vormen. Het is alsof de wiskunde van taal een verborgen dans heeft die we eindelijk kunnen zien. Het is een mooi voorbeeld van hoe kunstmatige intelligentie soms structuren ontdekt die we met het blote oog niet zouden zien, maar die toch heel logisch en schoon zijn.

Kortom: Woorden dansen in de AI, en als je goed kijkt, zie je dat ze een perfecte spiraal dansen.

Titel en Context

Het paper onderzoekt de geometrische structuur van woordembeddings in moderne taalmodellen, specifiek gericht op de relatie tussen antoniemen (tegenovergestelde woorden) en synoniemen. De auteur onderzoekt of het concept van "tegenovergestelde" een meetbaar geometrisch patroon vertoont in de vectorruimtes van transformer-modellen, in lijn met de theorie dat concepten als richtingen in deze ruimtes worden gecodeerd.

1. Het Probleem

Definitie: Antoniemen worden vaak gedefinieerd als woordparen die in alle contextuele eigenschappen overeenkomen, behalve in één specifieke eigenschap. Synoniemen delen daarentegen bijna alle eigenschappen.
De Vraag: Bestaat er een lineaire, Euclidische richting in de embedding-ruimte die deze "antoniem-richting" vertegenwoordigt?
Aanwezige Literatuur: Bestaand onderzoek suggereert dat het onderscheid tussen antoniemen en synoniemen vaak niet-lineair is en dat er geen enkele hyperplaatse bestaat die ze perfect scheidt. Echter, de vraag blijft open welke specifieke geometrie in de embedding-ruimte overeenkomt met het concept van antoniemen.

2. Methodologie

De auteur voerde een exploratief experiment uit met de volgende stappen:

Datasets:
- Stuttgart Dataset: Een grote collectie van antoniem- en synoniemparen (bijvoeglijke naamwoorden, zelfstandige naamwoorden, werkwoorden).
- Controle-datasets: Om te voorkomen dat een classifier de individuele woorden leert in plaats van de relatie, werden twee synthetische datasets gemaakt: "geschudde antoniemen" en "geschudde synoniemen". Hierbij worden de woorden willekeurig over de paren verdeeld, waardoor de semantische relatie wordt verbroken.
Modellen: Er werden vijf verschillende embedding-modellen getest:
- Klassiek: Word2Vec en GloVe.
- Transformer (context-vrij): BERT Base.
- Propriëtaire API-modellen (OpenAI): text-embedding-3-small en text-embedding-3-large.
Vectorconstructie: Voor elk woordpaar $(w_1, w_2)$ werden de embedding-vectoren $(E_1, E_2)$ gegenereerd. De focus lag op het differentievector $D_{12} = E_2 - E_1$ .
Projectie: De verzameling differentievectoren werd geprojecteerd van de hoge dimensie naar 2D met behulp van UMAP (Uniform Manifold Approximation and Projection).
- Kritieke parameter: De observatie treedt alleen op bij gebruik van de Euclidische metriek in UMAP, niet bij cosine-afstand.
- Label-agnostisch: De projectie gebeurt zonder labels; de kleuren (antoniem vs. synoniem) worden pas na de projectie toegevoegd.

3. Kernbijdrage: "The Swirl" (De Draai)

De belangrijkste ontdekking is een visueel opvallend, consistent spiraal- of draaipatroon ("swirl") in de UMAP-projecties van de differentievectoren.

Observatie: Wanneer de data wordt geprojecteerd, vormen de vier datasets (echte antoniemen, echte synoniemen, geschudde antoniemen, geschudde synoniemen) een duidelijke, één-dimensionale structuur binnen de spiraal.
Scheiding:
- De echte antoniemen (blauw) en de geschudde antoniemen (rood) blijven gescheiden.
- De echte synoniemen (groen) en de geschudde synoniemen (oranje) blijven gescheiden.
- Dit suggereert dat het model de relatie tussen de woorden onderscheidt, niet alleen de woorden zelf.
Robuustheid: Het patroon is stabiel over verschillende hyperparameters van UMAP en verschijnt in vrijwel alle geteste modellen (Word2Vec, GloVe, BERT, OpenAI), mits de juiste configuratie (Euclidische afstand + differentievectoren + inclusie van geschudde controle-data) wordt gebruikt.
Ablatie-studies: Het patroon verdwijnt als:
- Andere projectiemethoden worden gebruikt (t-SNE, PCA).
- Cosine-afstand in plaats van Euclidische afstand wordt gebruikt.
- Concatenatie van vectoren in plaats van differentie wordt gebruikt.
- De geschudde controle-datasets worden weggelaten (dan wordt de structuur rommeliger, behalve bij het text-embedding-3-large model).

4. Resultaten: Classificatie

Naast de visuele observatie toetste de auteur of deze geometrie bruikbaar is voor classificatie (het onderscheiden van antoniemen en synoniemen).

Transductieve Classificatie: De auteur ontwikkelde een transductieve classifier. In plaats van een model te trainen op traindata om testdata te voorspellen, worden train- en testdata samen geprojecteerd, geclusterd, en krijgen testpunten het label van hun cluster (gebaseerd op de meerderheid van de trainpunten in die cluster).
Prestaties:
- De UMAP-projectie verbeterde de nauwkeurigheid aanzienlijk ten opzichte van het werken met ruwe vectoren.
- Het text-embedding-3-large model presteerde het beste, met F1-scores tot 0.97 op de "Lexical split" (waarbij geen enkel woord in zowel train- als testset voorkomt).
- Deze resultaten zijn vergelijkbaar met of beter dan de State-of-the-Art (SOTA) methoden in de literatuur, zelfs zonder complexe inductieve modellen.

5. Betekenis en Conclusie

Geometrische Structuur: Het paper suggereert dat er een fundamentele, niet-lineaire geometrische structuur bestaat in de embedding-ruimtes van taalmodellen die correleert met het linguïstische concept van antoniemen. Dit is geen artefact van p-hacking, gezien de consistentie over verschillende modelarchitecturen.
UMAP vs. Andere Methoden: Het resultaat benadrukt dat UMAP, specifiek met Euclidische afstand, unieke inzichten kan bieden die lineaire methoden (PCA) of andere niet-lineaire methoden (t-SNE) missen.
Toekomstige Richting: De auteur speculeert dat deze "swirl" mogelijk een voorbode is van universele structuren die in Large Language Models (LLMs) ontstaan. Het paper fungeert als een visuele observatie die verdere theoretisch onderzoek uitlokt naar hoe semantische relaties in vectorruimtes worden gecodeerd.

Samenvattend: Het paper rapporteert een verrassende, stabiele spiraalvormige structuur in UMAP-projecties van woordpaar-differenties, die een robuust onderscheid maakt tussen antoniemen en synoniemen (en hun geschudde varianten), en die leidt tot zeer hoge classificatiescores.