Geometry of Semantic Space: Comparative Study of Discrete and Continuous Models

Sintesi Tecnica: Geometria dello Spazio Semantico – Studio Comparativo tra Modelli Discreti e Continui

Definizione del Problema
Il documento affronta la sfida di valutare la qualità dei modelli di Elaborazione del Linguaggio Naturale (NLP) analizzando la coerenza geometrica delle strutture semantiche che essi inducono. Sebbene i modelli di embedding vettoriali supervisionati (es. CamemBERT) raggiungano prestazioni elevate, le loro geometrie indotte presentano spesso distribuzioni insoddisfacenti che possono distorcere l'organizzazione del significato. Al contrario, i modelli basati su grafi che si affidano a co-occorrenze lessicali discrete offrono strutture di vicinato più esplicite. Gli autori ipotizzano che confrontare le geometrie derivate da questi due paradigmi sullo stesso corpus possa rivelare i rispettivi limiti e le loro complementarità, specificamente riguardo a quanto bene esse riflettano l'organizzazione del significato concepita dall'essere umano.

Metodologia
Lo studio impiega un framework comparativo applicato al corpus "Grand Débat National" (circa 10 milioni di frasi della consultazione pubblica francese del 2019). Per garantire un confronto equo, entrambi i modelli utilizzano le stesse unità linguistiche: clique di co-occorrenza regolare. Queste clique sono insiemi di parole che appaiono insieme con alta probabilità (misurata tramite l'Informazione Mutua Punto per Punto, PMI), fungendo da unità semantiche contestualizzate anziché come parole isolate.

Vengono costruiti due modelli distinti:

1. Modello a Grafo ($G_c$): Un grafo discreto dove i nodi sono clique di co-occorrenza. Gli archi sono definiti da una funzione di similarità $s$ che combina la sovrapposizione lessicale e la similarità contestuale (pesata tramite $\lambda$) utilizzando la PMI Positiva (PPMI).
2. Modello Vettoriale Supervisionato ($G_b$): Un modello continuo che utilizza CamemBERT (un Transformer basato su RoBERTa pre-addestrato su testi francesi). Le clique di co-occorrenza vengono rappresentate tramite la media degli embedding contestuali delle loro parole costituenti attraverso le frasi rilevanti, risultando in vettori a 768 dimensioni. Un grafo $G_b$ viene successivamente derivato da questi vettori basandosi sulla similarità coseno o euclidea.

Tecniche di Confronto
Gli autori utilizzano due approoli primari per confrontare le geometrie semantiche:

• Embedding di Grafo: Il grafo discreto $G_c$ viene incorporato in spazi vettoriali utilizzando quattro metodi (Force-Directed, Spectral, Isomap, Node2Vec) per consentire un confronto geometrico diretto con lo spazio di CamemBERT.
• Analisi Strutturale: Lo spazio vettoriale viene convertito in un grafo $G_b$, e sia $G_c$ che $G_b$ vengono analizzati utilizzando strumenti della teoria dei grafi, tra cui:
  • Sottotree BFS: Per esaminare i vicinati semantici locali.
  • Correlazione Metrica: Confronto tra le distanze basate sul grafo e le similarità basate sui vettori.
  • Misure di Centralità: Analisi delle distribuzioni di centralità di grado e di intermediazione (betweenness centrality).
  • Clustering: Utilizzo dell'algoritmo Infomap per rilevare comunità ed valutare l'omogeneità dei cluster e la coerenza semantica.
  • Affidabilità (Trustworthiness, $T_w$): Misurazione di quanto bene la struttura locale del grafo sia preservata nello spazio di embedding al variare della dimensionalità.

Risultati Chiave

• Coerenza Locale vs. Globale: I modelli mostrano topologie locali simili; gli embedding di CamemBERT si allineano bene con la struttura del grafo discreto nel vicinato immediato di una clique radice. Tuttavia, questa correlazione decade rapidamente (entro 10–15 nodi), indicando che il modello continuo non riesce a preservare l'organizzazione graduale e progressiva del significato presente nel grafo discreto.
• Distorsione Semantica nello Spazio Continuo: Nello spazio di CamemBERT, le distinzioni semantiche vengono "smussate" e mediate rapidamente. La distribuzione delle similarità coseno è centrata intorno a 0.9 (anziché 0), suggerendo un "cono" di vettori concentrati e una mancanza di utilizzo efficace dello spazio ad alta dimensionalità (una manifestazione della Maledizione della Dimensionalità).
• Divergenza Strutturale:
  • $G_b$ (derivato da vettori): Presenta una struttura eterogenea con pochi nodi iper-connessi (grado fino a 100) e molti nodi isolati. Manca di nodi con alta centralità di intermediazione, il che significa che nessuna singola clique agisce come un ponte significativo tra i campi lessicali.
  • $G_c$ (derivato da grafo): Mostra una struttura più omogenea con un grado massimo inferiore (25) e un intervallo più ampio di centralità di intermediazione. Specifiche clique (ad esempio, che collegano ecologia e agricoltura) fungono da ponti strutturali, creando una geometria stratificata di prossimità lessicale.
• Qualità dei Cluster: Il clustering tramite Infomap rivela che $G_c$ produce cluster più omogenei con maggiore coerenza semantica. Al contrario, i cluster di $G_b$ contengono spesso clique tematicamente non correlate (ad esempio, "energia eolica" e "conversazione rumorosa").
• Dimensionalità: L'embedding di grafo di $G_c$ raggiunge un'alta affidabilità (>0.7) con dimensioni inferiori a 100, suggerendo che la struttura semantica discreta può essere rappresentata efficacemente in dimensioni inferiori rispetto alle 768 dimensioni utilizzate da CamemBERT.

Significato e Rivendicazioni
Il documento sostiene che, sebbene i modelli profondi supervisionati siano efficaci per i compiti di contesto locale, essi soffrono di limitazioni strutturali nella rappresentazione dell'organizzazione globale dello spazio semantico. Il modello a grafo discreto basato su clique di co-occorrenza dimostra:

1. Una migliore gradazione delle distanze semantiche.
2. Una distribuzione più uniforme dello spazio di embedding.
3. Una struttura di grafo più omogenea in termini di connettività e coerenza dei cluster.

Gli autori suggeriscono che queste scoperte indicano una prospettiva complementare: l'integrazione di approfondimenti strutturali basati su grafi potrebbe guidare le architetture neurali verso una convergenza più stabile e interpretabile e, potenzialmente, ridurre la dimensionalità effettiva richiesta per la rappresentazione semantica. Lo studio è di modesta portata, dichiarando di essere limitato alla lingua francese, a un singolo corpus e a un modello specifico, e invita a ulteriori ricerche per validare queste scoperte in altre lingue e architetture.