Riepilogo Tecnico: ChiKhaPo

Problematica

Gli attuali benchmark per i Large Language Models (LLM) sono prevalentemente limitati alle lingue ad alta risorsa (HRL) e si concentrano su compiti di ordine superiore come il ragionamento complesso e la generazione di contenuti. Di conseguenza, esiste una lacuna significativa nella valutazione della competenza linguistica di base degli LLM attraverso le oltre 3.800 lingue scritte del mondo. I benchmark multilingue esistenti, come FLORES+, coprono solo una frazione di queste lingue (ad esempio, 212 lingue), lasciando la stragrande maggioranza delle lingue mondiali non valutata nemmeno per capacità fondamentali come la comprensione e la generazione a livello di parola. Questa mancanza di valutazione ostacola l'identificazione delle iniquità linguistiche nell'elaborazione del linguaggio naturale (NLP).

Metodologia

Gli autori introducono ChiKhaPo, un benchmark massivamente multilingue progettato per valutare le capacità di comprensione e generazione lessicale negli LLM. Il benchmark è costruito utilizzando risorse pubbliche esistenti, tra cui lessici, dati monolingue e bitext, permettendo di coprire oltre 2.700 lingue.

Struttura del Benchmark

ChiKhaPo consiste in otto sottotask derivati da quattro compiti principali, ciascuno valutato in due direzioni:

1. Comprensione ($X \to \text{modello}$): Valutare la capacità del modello di comprendere una parola in una lingua target $X$ (spesso traducendola in inglese).
2. Generazione ($\text{modello} \to X$): Valutare la capacità del modello di generare una parola in una lingua target $X$ dato un prompt in inglese.

I quattro compiti principali sono:

• Traduzione di Parole (WT): Prompt diretto per tradurre una singola parola. Questo compito si basa esclusivamente sui lessici e copre 2.746 lingue.
• Traduzione di Parole con Contesto (WTWC): Tradurre una parola dato un contesto di frase sorgente. Ciò richiede dati monolingue e copre 525 lingue.
• Modellazione del Linguaggio Condizionata alla Traduzione (TCLM): Misurare la probabilità di generazione di una parola target dato una frase sorgente e un contesto parziale della parola target. Questo utilizza coppie di frasi parallele (bitext) e copre 211 lingue.
• Traduzione Automatica Bag-of-Words (BOW MT): Valutare se specifiche parole target compaiono in un output di traduzione a livello di frase, indipendentemente dall'ordine sintattico. Anche questo utilizza bitext e copre 211 lingue.

Punteggio e Valutazione

Il benchmark impiega metriche di punteggio a livello di parola. Per i compiti binari (WT, WTWC), la correttezza è determinata tramite corrispondenze esatte, gestione delle inflessioni, corrispondenza di sottostringhe e sinonimia (utilizzando WordNet per gli output in inglese). Per i compiti probabilistici (TCLM), la metrica è la probabilità di generazione della parola corretta. Per BOW MT, i punteggi sono aggregati in base alla presenza delle parole target nell'output.

Gli autori hanno valutato sei modelli multilingue allo stato dell'arte (SOTA): aya-101, aya-23-8b, bloomz-7b1-mt, falcon-7b-instruct, gemma-2b-it e Llama-3.1-8B-Instruct. A causa di vincoli computazionali, è stata utilizzata una versione "lite" del benchmark, campionando fino a 300 voci di vocabolario per lingua per WT/WTWC e il 30% dei dati disponibili per i compiti a livello di frase.

Risultati Chiave

• Gap di Prestazione: Tutti i sei modelli valutati hanno dimostrato un margine di miglioramento significativo, in particolare sulle lingue a bassa risorsa (LRL). Il benchmark funge con successo da misura impegnativa della performance multilingue.
• Disparità Direzionale: I modelli hanno costantemente performato meglio nella direzione di comprensione ($X \to \text{modello}$) rispetto alla direzione di generazione ($\text{modello} \to X$), evidenziando un divario tra la Comprensione del Linguaggio Naturale (NLU) e la Generazione del Linguaggio Naturale (NLG) in contesti multilingue.
• Correlazione tra Risorse e Famiglie: La performance era fortemente correlata ai livelli di risorse linguistiche (proxied dal conteggio dei documenti Wikipedia) e alle famiglie linguistiche. Le lingue indoeuropee hanno costantemente superato famiglie meno rappresentate come l'austronesiano e l'atlantico-congo. La relazione tra livello di risorse e performance è stata trovata essere approssimativamente logaritmica.
• Differenze tra Modelli: Il modello aya-101 ha ottenuto i punteggi medi più alti in cinque degli otto sottotask. Gli autori attribuiscono ciò alla sua architettura encoder-decoder, al maggior numero di parametri (13B) e al fine-tuning delle istruzioni su 101 lingue.
• Correlazione con MT: I punteggi di Traduzione di Parole (WT) hanno mostrato una forte correlazione lineare con i punteggi di traduzione automatica a livello di frase (BLEU) sui dati FLORES+ ($r \approx 0.87$ per $X \to \text{modello}$). Ciò suggerisce che WT può servire come proxy efficace in termini di costi per valutare le capacità di traduzione automatica in assenza di estesi bitext.

Significato e Rivendicazioni

Il documento posiziona ChiKhaPo come un passo critico verso l'indirizzamento dell'iniquità linguistica nell'NLP. I suoi principali contributi sono:

1. Scala Massiva: Fornisce il primo benchmark di competenza lessicale che copre oltre 2.700 lingue, superando per ordini di grandezza la copertura linguistica di qualsiasi benchmark esistente.
2. Valutazione Granulare: Sposta l'attenzione dal ragionamento complesso alla competenza "atomica" a livello di parola, permettendo ai ricercatori di tracciare le capacità linguistiche fondamentali degli LLM in specifiche lingue.
3. Efficienza delle Risorse: Sfruttando i lessici e i dati monolingue esistenti, consente la valutazione di lingue per le quali non esistono corpora paralleli.

Gli autori affermano con modestia che, sebbene il benchmark si basi su risorse pubbliche (che possono essere rumorose, in particolare PanLex), esso evidenzia con successo la necessità urgente di migliorare la valutazione multilingue. Sperano che questo lavoro incoraggi la raccolta di migliori risorse lessicali per le lingue a basse risorse e promuova la valutazione massivamente multilingue degli LLM come passo necessario verso sistemi di IA più equi.