A visual observation on the geometry of UMAP projections of the difference vectors of antonym and synonym word pair embeddings

Titolo e Contesto

Il paper esplora la geometria degli spazi di embedding (rappresentazioni vettoriali) delle parole nei modelli linguistici moderni, focalizzandosi specificamente sulla distinzione tra antonomi (parole con significati opposti) e sinonimi. L'obiettivo è verificare se la definizione linguistica di antonimia ("parole che condividono tutte le proprietà contestuali tranne una") si traduca in una struttura geometrica rilevabile negli spazi vettoriali ad alta dimensione.

1. Il Problema

La letteratura esistente suggerisce che la distinzione tra antonomi e sinonimi non è lineare negli spazi di embedding standard (es. Word2Vec, GloVe, BERT). Studi precedenti indicano che i confini di classificazione sono spesso non lineari e complessi.
La domanda di ricerca centrale è: esiste una direzione euclidea o una struttura geometrica specifica negli spazi di embedding che corrisponde al concetto di "antonimia"?
In particolare, l'autore indaga se i vettori di differenza tra le coppie di parole (ovvero $D = E_{word2} - E_{word1}$) rivelino pattern geometrici distintivi quando proiettati in spazi a due dimensioni.

2. Metodologia

Dati e Modelli

• Dataset: Utilizzo del "Stuttgart dataset" ([NiWV17a]), contenente coppie di antonomi e sinonimi (aggettivi, nomi, verbi).
• Dataset di Controllo: Per evitare bias legati alle parole stesse, sono stati creati dataset sintetici "mescolati" (shuffled), dove le parole delle coppie originali sono riassegnate casualmente. Questo permette di distinguere se la struttura osservata deriva dalla relazione semantica o solo dalle parole coinvolte.
• Modelli di Embedding: Sono stati testati cinque modelli diversi per verificare la generalità del fenomeno:
  • Modelli statici: Word2Vec, GloVe.
  • Modelli contestuali (context-free): BERT Base.
  • Modelli proprietari (API OpenAI): text-embedding-3-small e text-embedding-3-large.

Procedura Sperimentale

1. Costruzione dei Vettori: Per ogni coppia $(w_1, w_2)$, sono stati calcolati i vettori di embedding $E_1$ e $E_2$.
2. Vettori di Differenza: È stato calcolato il vettore differenza $D = E_2 - E_1$.
3. Proiezione: I vettori di differenza sono stati proiettati in 2D utilizzando l'algoritmo UMAP (Uniform Manifold Approximation and Projection).
4. Variabili Critiche:
   • Metrica di distanza: È stato cruciale utilizzare la distanza euclidea invece della similarità del coseno.
   • Parametri UMAP: Sono state testate diverse configurazioni (numero di vicini, distanza minima).
   • Confronto: Sono state confrontate proiezioni di differenze, concatenazioni e l'uso di t-SNE o PCA.

3. Contributi Chiave e Scoperte

L'Osservazione del "Vortice" (The Swirl)

Il contributo principale è l'osservazione visiva di una struttura a "vortice" o spirale coerente nelle proiezioni UMAP dei vettori di differenza.

• Stabilità: Questo pattern appare in modo stabile attraverso diverse configurazioni di iperparametri di UMAP e attraverso modelli di embedding radicalmente diversi (da Word2Vec a modelli LLM avanzati).
• Separazione delle Classi: Nel vortice, le quattro classi di dati (antonomi, sinonimi, antonomi mescolati, sinonimi mescolati) mostrano una struttura unidimensionale distinta. In particolare, le coppie reali (blu/verde) rimangono separate dalle coppie mescolate (rosso/arancione), suggerendo che la relazione semantica influenza la geometria del vettore differenza.
• Condizioni Necessarie: Il pattern scompare se:
  • Si usa la similarità del coseno invece della distanza euclidea in UMAP.
  • Si usano metodi di proiezione diversi (PCA, t-SNE) - con l'eccezione del modello text-embedding-3-large che mostra strutture non banali anche con PCA/t-SNE.
  • Si utilizzano vettori concatenati invece di vettori di differenza.
  • Si rimuovono i dataset di controllo "mescolati" (il vortice diventa più rumoroso e meno definito, tranne nel modello più grande).

Classificazione Transduttiva

L'autore propone un metodo di classificazione transduttivo basato sulla struttura geometrica osservata:

1. Proiettare tutti i dati (train + test) in UMAP.
2. Rimuovere i dati di controllo mescolati.
3. Clusterizzare i punti rimanenti.
4. Assegnare le etichette ai punti di test basandosi sul voto della classe dominante nel cluster di appartenenza (usando i dati di train).

4. Risultati

• Performance di Classificazione: Il metodo basato su UMAP ha dimostrato prestazioni eccellenti nel compito di differenziazione tra antonomi e sinonimi (ASD).
  • Nel dataset Stuttgart (split casuale), il modello text-embedding-3-large combinato con UMAP e clustering (KMeans o Spectral) ha raggiunto un F1-score del 97.21%, superando o eguagliando i metodi SOTA (State-of-the-Art) come ICE-NET.
  • Nel dataset Lexical (split più rigoroso dove le parole non si sovrappongono tra train e test), le performance rimangono molto alte (fino al 96.60%), dimostrando che il metodo non si limita a memorizzare le parole ma cattura la struttura relazionale.
• Impatto della Proiezione: L'uso di UMAP ha migliorato significativamente l'accuratezza rispetto alla classificazione diretta sui vettori grezzi (Non-UMAP) per tutti i modelli, specialmente per Word2Vec e BERT.

5. Significato e Conclusioni

• Non è un Artefatto: L'autore argomenta che il "vortice" non è un artefatto di proiezione casuale o un risultato di p-hacking, data la sua stabilità attraverso modelli eterogenei e configurazioni diverse.
• Implicazioni Geometriche: La scoperta suggerisce che, sebbene non esista una singola direzione euclidea lineare per l'antonimia, esiste una struttura topologica complessa (una varietà a spirale) negli spazi di embedding che codifica le relazioni semantiche opposte.
• Differenze tra Metodi: Lo studio evidenzia come UMAP, con la metrica euclidea, sia in grado di rivelare strutture latenti che altri metodi (come PCA o t-SNE con metriche diverse) non riescono a visualizzare chiaramente.
• Connessione Teorica: L'autore ipotizza un possibile collegamento con le "strutture universali" che potrebbero emergere nei Large Language Models (LLM), suggerendo che la geometria degli embedding potrebbe riflettere principi linguistici fondamentali in modi non ancora pienamente compresi.

In sintesi, il paper offre una prova visiva e quantitativa che la geometria delle differenze tra vettori di embedding contiene informazioni strutturate sulla relazione antonimica, aprendo nuove strade per l'analisi geometrica del linguaggio naturale e per la creazione di classificatori efficienti basati sulla topologia dei dati.