Rethinking Metrics for Lexical Semantic Change Detection

Titolo: Ripensare le Metriche per il Rilevamento del Cambiamento Semantico Lessicale (LSCD)

Autori: Roksana Goworek e Haim Dubossarsky (Queen Mary University of London, The Alan Turing Institute, University of Cambridge).

---

1. Il Problema

Il rilevamento del cambiamento semantico lessicale (LSCD) mira a quantificare automaticamente l'evoluzione dei significati delle parole nel tempo analizzando corpora diacronici. Con l'avvento dei modelli linguistici contestualizzati (come i Transformer), l'approccio standard è passato da rappresentazioni statiche a livello di tipo (una vettore per parola) a embedding a livello di uso (una vettore per ogni occorrenza della parola nel contesto).

Tuttavia, la maggior parte degli approcci attuali quantifica il cambiamento utilizzando un set limitato di metriche globali, principalmente:

• APD (Average Pairwise Distance): La distanza media tra tutte le coppie di usi tra due corpora.
• PRT (Prototype Distance): La distanza tra i centroidi (prototipi) delle distribuzioni di uso dei due periodi.

Limitazioni attuali:
Queste metriche aggregano le informazioni globalmente. Questo approccio tende a oscurare fenomeni localizzati, come la comparsa di un nuovo senso, la scomparsa di uno vecchio, o cambiamenti che interessano solo un sottoinsieme di usi (spesso rari). Inoltre, le metriche globali sono spesso sensibili al rumore e degradano significativamente quando gli embedding vengono proiettati in spazi a dimensionalità ridotta o quando si utilizzano encoder non specializzati.

---

2. Metodologia Proposta

Gli autori introducono due nuove metriche basate sulla corrispondenza locale tra gli usi delle parole nei diversi periodi temporali, invece di aggregare le distribuzioni globalmente.

Le Nuove Metriche:

1. AMD (Average Minimum Distance):
   • Per ogni occorrenza (uso) in un corpus, calcola la distanza verso l'uso più simile (nearest neighbor) nell'altro corpus.
   • Calcola la media di queste distanze minime in entrambe le direzioni (dal corpus 1 al 2 e viceversa).
   • Permette una decomposizione direzionale, utile per analizzare asimmetrie (es. allargamento o restringimento del senso).
2. SAMD (Symmetric Average Minimum Distance):
   • Una variante che impone un allineamento uno-a-uno (one-to-one) tra le istanze di uso dei due periodi.
   • Utilizza un algoritmo "greedy" (o di ottimizzazione) per accoppiare le occorrenze minimizzando la distanza totale, evitando che più punti mappino sullo stesso vicino (problema dell'"hubness" negli spazi ad alta dimensionalità).

Setup Sperimentale:

• Dataset: Valutazione su benchmark in 7 lingue (Inglese, Tedesco, Svedese, Latino, Spagnolo, Norvegese, Cinese) provenienti da SemEval-2020 e altri dataset.
• Modelli (Encoder):
  • Specializzati: XL-LEXEME (fine-tuned per LSCD).
  • Non specializzati: Encoder multilingue (XLM-RoBERTa, mmBERT, mE5) e monolingue specifici per lingua (RoBERTa, GBERT, ecc.).
• Spazi di Rappresentazione:
  • Embedding completi (FULL).
  • Spazio basato su definizioni (DEF): Proiezione degli usi su vettori derivati da definizioni testuali generate da un LLM (Gemini 2.5 Pro).
  • Spazi ridotti: PCA (analisi delle componenti principali) e selezione casuale di dimensioni (RAND) per testare la robustezza.

---

3. Risultati Chiave

Gli esperimenti mostrano che AMD e SAMD offrono prestazioni più robuste e complementari rispetto ad APD e PRT, specialmente in condizioni di vincoli rappresentativi.

• Robustezza alla Riduzione di Dimensionalità:
  • Le metriche globali (APD, PRT) crollano drasticamente quando la dimensionalità viene ridotta (es. tramite PCA o selezione casuale), con correlazioni che spesso scendono vicino allo zero.
  • AMD e SAMD mantengono prestazioni elevate anche con poche dimensioni (fino a 4 dimensioni), dimostrando di non dipendere fortemente dalla struttura geometrica globale ad alta dimensionalità.
• Prestazioni con Encoder Non Specializzati:
  • Con encoder generici (multilingue o monolingue non fine-tuned), le metriche basate sulla corrispondenza locale superano costantemente quelle globali.
  • Gli encoder monolingue tendono a performare meglio di quelli multilingue per compiti di livello senso, ma AMD/SAMD rimangono superiori alle metriche tradizionali in entrambi i casi.
• Spazio Basato su Definizioni (DEF):
  • AMD mostra un miglioramento significativo quando utilizzato nello spazio delle definizioni, raggiungendo le prestazioni medie più alte in questo contesto. Questo suggerisce che il cambiamento semantico è meglio catturato dall'allineamento della forma delle distribuzioni rispetto alla concentrazione delle distribuzioni.
  • Al contrario, APD e PRT subiscono un calo di prestazioni in questo spazio interpretabile.
• Encoder Specializzati (XL-LEXEME):
  • Anche con modelli di stato dell'arte, SAMD (con PCA) ottiene la correlazione di Spearman più alta (.694), superando APD e PRT.

---

4. Contributi Principali

1. Introduzione di AMD e SAMD: Nuove metriche che spostano il focus dall'aggregazione globale alla corrispondenza locale tra usi, catturando meglio i cambiamenti sottili e localizzati.
2. Analisi della Robustezza: Dimostrazione empirica che le metriche basate sulla corrispondenza locale sono molto più resilienti alla riduzione della dimensionalità e alla qualità variabile degli encoder rispetto alle metriche globali.
3. Interpretabilità: L'uso di AMD nello spazio delle definizioni dimostra che è possibile combinare alta performance quantitativa con spazi semantici interpretabili e comprensibili dall'uomo.
4. Decomposizione Direzionale: La capacità di AMD di analizzare le asimmetrie (es. come gli usi del passato sono spiegati dal futuro e viceversa) offre nuovi spunti per l'analisi di fenomeni come l'emergere o la scomparsa di sensi.

---

5. Significato e Implicazioni

Il paper suggerisce che non esiste un approccio "taglia unica" per la misurazione del cambiamento semantico.

• Superamento dei Limiti Attuali: Le metriche tradizionali (APD/PRT) sono vulnerabili quando applicate a scoperte su larga scala o in scenari con risorse limitate (lingue storiche, domini specializzati) dove gli embedding possono essere rumorosi o meno strutturati.
• Nuovo Toolkit Metodologico: AMD e SAMD non dovrebbero essere visti come sostituti totali, ma come strumenti complementari essenziali per l'analisi basata su embedding contestualizzati.
• Scoperta vs. Benchmark: Le metriche globali potrebbero essere ottimizzate per i benchmark curati ma fallire nel rilevare cambiamenti reali e sfumati in corpora non filtrati. Le metriche locali proposte sono più adatte per scenari esplorativi di scoperta del cambiamento semantico.
• Interpretabilità: La capacità di funzionare bene in spazi a bassa dimensionalità (come quelli basati su definizioni) apre la strada a framework di analisi più trasparenti, riducendo l'approccio "black-box" tipico dei modelli di embedding profondi.

In conclusione, gli autori raccomandano di integrare AMD e SAMD nel toolkit standard per l'LSCD, specialmente quando si lavora con rappresentazioni ridotte, encoder non specializzati o quando è richiesta un'analisi più fine e interpretabile dell'evoluzione del significato.