Targeted Syntactic Evaluation of Language Models on Georgian Case Alignment

Titolo: Valutazione Sintattica Mirata dei Modelli Linguistici sull'Allineamento dei Casi in Georgiano

1. Il Problema

Il lavoro affronta la sfida di valutare la comprensione della struttura linguistica da parte dei Large Language Models (LLM), con un focus specifico sulle lingue a risorse limitate (LRL). Mentre esistono benchmark consolidati per lingue ad alto risorse (come l'inglese), c'è una carenza significativa di valutazioni sintattiche per lingue come il georgiano.
In particolare, il paper si concentra sul sistema di allineamento dei casi split-ergativo del georgiano, un sistema raro (presente in solo tre altre lingue secondo WALS) in cui l'assegnazione dei casi grammaticali (soggetto e oggetto) varia in base al tempo, all'aspetto e al modo del verbo (screeves). I modelli linguistici faticano a generalizzare queste regole complesse, specialmente a causa della scarsità di dati di addestramento e della rarità di certi casi grammaticali.

2. Metodologia

Gli autori hanno sviluppato un approccio basato su query per generare coppie minime (minimal pairs) e insiemi minimi di test sintattici, sfruttando il treebank GLC UD (Georgian Language Corpus Universal Dependencies).

• Generazione dei Dati: Utilizzando il linguaggio di query Grew (basato su grafi), sono stati estratti dal treebank pattern sintattici specifici per identificare le tre configurazioni di allineamento:
  1. Accusativo (Nominativo-Soggetto / Dativo-Oggetto): per tempi presenti/futuri.
  2. Ergativo (Ergativo-Soggetto / Nominativo-Oggetto): per tempi passati.
  3. Invertito (Dativo-Soggetto / Nominativo-Oggetto): per tempi perfettivi.
• Dataset: È stato creato un dataset di 370 test sintattici, suddivisi in 7 task (50-70 campioni ciascuno). Ogni test presenta una frase con un verbo e un sostantivo target, dove il modello deve scegliere la forma corretta del sostantivo tra tre opzioni (Nominativo, Ergativo, Dativo) per completare la frase grammaticalmente.
• Modelli Valutati: Sono stati testati 7 modelli linguistici:
  • 5 modelli Encoder-only (XLM-RoBERTa base/large, mBERT, RemBERT, HPLT-BERT-ka).
  • 2 modelli Decoder-only (GPT2-geo, mGPT-ka).
• Metriche: L'accuratezza è stata misurata a due livelli:
  • Livello Parola (Word-Level): Confronto delle probabilità assegnate ai token target specifici.
  • Livello Frase (Sentence-Level): Probabilità congiunta dell'intera sequenza tokenizzata.

3. Risultati Chiave

L'analisi dei risultati rivela pattern distinti nelle prestazioni dei modelli:

• Prestazioni Generali: I modelli hanno ottenuto le prestazioni migliori nell'assegnazione corretta del caso Nominativo, seguiti dal Dativo, e hanno mostrato le prestazioni peggiori con l'Ergativo.
• Correlazione con la Frequenza: Esiste una forte correlazione tra la frequenza dei casi nel corpus di addestramento e l'accuratezza del modello:
  • Nominativo (più frequente) > Dativo > Ergativo (molto raro).
  • L'ergativo appare nel treebank circa 24 volte meno frequentemente del nominativo, rendendolo difficile da apprendere.
• Bias Nominativo: I modelli mostrano un forte "bias" verso il caso nominativo. Anche quando il contesto richiede un dativo o un ergativo, i modelli tendono a scegliere erroneamente il nominativo (circa l'83% degli errori sul dativo e il 74% su quello ergativo sono sostituiti dal nominativo).
• Impatto della Tokenizzazione: L'analisi di correlazione di Pearson ha dimostrato che la lunghezza dei token o delle frasi non è un fattore determinante per le prestazioni, escludendo problemi di tokenizzazione come causa principale degli errori.
• Modelli Decoder vs Encoder: Il modello decoder-only più grande (mGPT-ka) ha ottenuto le prestazioni migliori in assoluto, suggerendo che una maggiore capacità parametrica e l'addestramento su più lingue possono aiutare, sebbene le difficoltà con l'ergativo persistano.

4. Contributi Principali

1. Dataset Pubblico: Creazione e rilascio pubblico del primo dataset specifico per la valutazione dell'allineamento dei casi in georgiano (disponibile su Hugging Face).
2. Metodologia Innovativa: Implementazione di un approccio basato su query (Grew) per generare automaticamente test sintattici mirati da treebank UD, un metodo che può essere generalizzato ad altre lingue a risorse limitate.
3. Analisi di Linguaggio Raro: Fornisce una delle prime valutazioni quantitative su come i modelli LLM gestiscono la split-ergatività, un fenomeno linguistico complesso e raro.

5. Significato e Conclusioni

Il paper dimostra che, nonostante i progressi dei modelli linguistici, la scarsità dei dati e la rarità specifica di certi fenomeni sintattici (come il caso ergativo in georgiano) costituiscono ostacoli significativi all'apprendimento.

• I modelli non hanno generalizzato le regole sintattiche per l'ergativo, fallendo nel riconoscere i "trigger" specifici (screeves perfettivi) necessari per attivarlo.
• L'elevato bias verso il caso nominativo suggerisce che i modelli tendono a sovrappensare (over-generalize) le forme più frequenti, ignorando le regole morfologiche più marcate.
• Questo lavoro sottolinea la necessità di sviluppare benchmark specifici per lingue non inglesi e di considerare la distribuzione dei dati di addestramento come fattore critico per la valutazione della competenza sintattica reale dei modelli.

In sintesi, lo studio evidenzia che la semplice presenza di dati non è sufficiente; la qualità e la distribuzione dei dati per fenomeni linguistici specifici sono cruciali per l'acquisizione di una sintassi complessa da parte delle macchine.