Cross-lingual Self-Consistency for Multilingual Reasoning with Language Models

Sintesi Tecnica: Coerenza Cross-lingue per il Ragionamento Multilingue con i Modelli di Linguaggio

Problematica

Nonostante l'espansione della copertura multilingue dei Modelli di Linguaggio di Grandi Dimensioni (LLM), le loro capacità di ragionamento avanzato rimangono fortemente concentrate nelle lingue ad alta risorsa, in particolare l'inglese e il cinese. Sebbene i modelli possano eseguire compiti di base in molte lingue, i compiti di ragionamento complesso (ad esempio, problemi matematici testuali) spesso falliscono quando vengono eseguiti nella lingua nativa della query.

Le soluzioni esistenti tentano di colmare questo divario attraverso:

1. Ragionamento in inglese: Tradurre la query sorgente in inglese, ragionare in inglese e tradurre nuovamente la risposta.
2. Apprendimento Supervisionato (SFT): Addestramento su dati paralleli (domande tradotte e tracce di ragionamento).
3. Manipolazione dei Logit: Forzare la distribuzione dell'output del modello per imitare i pattern di ragionamento in inglese.

Questi approcci soffrono di limitazioni significative: dipendono da dati di ragionamento paralleli di alta qualità, che sono scarsi; dipendono dalla qualità della traduzione automatica (che introduce rumore); e spesso non riescono a generalizzare a lingue o domini non visti. Inoltre, le strategie che forzano il ragionamento in inglese non migliorano necessariamente la capacità intrinseca del modello di ragionare nella lingua sorgente.

Metodologia

Gli autori propongono un framework di Reinforcement Learning (RL) non supervisionato che potenzia il ragionamento multilingue imponendo la coerenza cross-lingue (cross-lingual self-consistency). Il principio cardine è che un modello debba produrre la stessa risposta finale per problemi equivalenti posti in lingue diverse, anche senza accesso a etichette di verità fondamentale (ground-truth).

Componenti Chiave:

1. Segnale Non Supervisionato: Il metodo richiede solo domande monolingue (specificamente in inglese per gli esperimenti) per l'addestramento. Non richiede risposte gold o tracce di ragionamento parallele preesistenti.
2. Auto-Traduzione: Per generare input paralleli, il modello stesso traduce le domande di addestramento dall'inglese verso le lingue target. Sebbene rumoroso, questo approccio è scalabile ed evita l'iniezione di conoscenza esterna da motori di traduzione di terze parti.
3. Funzione di Ricompensa (RL):
   • Il framework estende la coerenza monolingue (che minimizza l'entropia della distribuzione delle risposte) a un contesto multilingue.
   • Invece di minimizzare l'entropia all'interno di una singola lingua, il metodo minimizza la cross-entropia tra la distribuzione delle risposte di una specifica lingua ($\hat{p}_\pi$) e una distribuzione target ($\hat{q}_\pi$) derivata da altre lingue.
   • Strategie di Distribuzione Target: Gli autori esplorano tre modi per definire $\hat{q}_\pi$:
     • Lingua Sorgente: Equivalente alla standard coerenza monolingue.
     • Lingua di Riferimento (Inglese): Allinea tutte le lingue alla distribuzione inglese (agendo come distillazione cross-lingue).
     • Combinata: Media le distribuzioni delle risposte attraverso tutte le lingue. Questa variante è utilizzata come metodo principale, ottimizzando direttamente la coerenza nell'intero set di lingue.
4. Algoritmo di Addestramento: Gli autori utilizzano GRPO (Group Relative Policy Optimization) con il backend VeRL. La ricompensa viene calcolata sulla base della coerenza delle risposte finali tra le traiettorie campionate in diverse lingue.

Contributi Chiave

• Framework Innovativo: Il primo approccio di RL non supervisionato per migliorare il ragionamento multilingue imponendo esplicitamente la coerenza cross-lingue senza richiedere dati paralleli o etichette di verità fondamentale.
• Scalabilità: Il metodo è pratico per scenari in cui i dati di ragionamento multilingue non sono disponibili, sfruttando le capacità di auto-traduzione del modello per creare segnali di addestramento.
• Generalizzazione: L'approccio dimostra una forte generalizzazione a lingue non viste e domini out-of-distribution (OOD), affrontando la scarsità di dataset di ragionamento multilingue di alta qualità.

Risultati Sperimentali

Il metodo è stato valutato sul benchmark MGSM (10 lingue) e su tre benchmark OOD (mGPQA, MMATH, PolyMath) utilizzando modelli Qwen2.5 (1.5B, 7B, 14B) e Llama3 (8B).

• Guadagni di Performance:
  • Su MGSM, il metodo ha ottenuto miglioramenti medi di accuratezza del 7.8% (1.5B), 15.1% (7B) e 21.7% (14B) rispetto ai modelli originali.
  • I guadagni sono stati osservati in quasi tutte le lingue, con alcune lingue a basse risorse (es. russo, telugu) che hanno visto miglioramenti relativi superiori al 100%.
  • Il metodo ha superato i precedenti baseline, inclusi lo scaling al tempo di test (S1) e i metodi basati su DPO (LIDR), particolarmente in termini di efficienza dei token. Sebbene S1 abbia ottenuto risultati competitivi, richiedeva circa 3 volte più token per tracce di ragionamento più lunghe.
• Generalizzazione:
  • Lingue Non Viste: Quando addestrato su un sottoinsieme di lingue, il modello ha mostrato un miglioramento medio del 18.2% sulle lingue non viste all'interno di MGSM.
  • Benchmark OOD: Il metodo ha prodotto guadagni medi del 4.7% su mGPQA e del 6.2% su MMATH, superando LIDR, che causava un degrado delle prestazioni sui compiti OOD.
• Coerenza: L'analisi ha confermato che il metodo migliora significativamente sia la coerenza monolingue che quella cross-lingue. I modelli addestrati con questo metodo raggiungono prestazioni vicine al picco con meno campioni (Maj@8) rispetto ai baseline, indicando un'ottimizzazione efficiente del calcolo di inferenza.
• Livelli di Risorse: Il metodo ha ridotto significativamente il divario di performance tra l'inglese e le altre lingue, in particolare nei tier ad alta e media risorsa, sebbene le lingue a basse risorse rimangano indietro a causa dei limiti di competenza del modello sottostante.

Significatività e Rivendicazioni

L'articolo sostiene che i metodi basati sulla coerenza offrono una via percorribile per migliorare le capacità multilingue degli LLM senza l'annotazione proibitiva di dati supervisionati.

• Equità e Robustezza: Riducendo il divario di performance tra lingue ad alta e bassa risorsa, il metodo promuove l'equità e la robustezza degli LLM in diversi contesti linguistici.
• Miglioramento Intrinseco: A differenza delle strategie "traduci in inglese" che si affidano all'inglese come proxy, questo metodo migliora la capacità intrinseca del modello di ragionare nella lingua sorgente.
• Praticità: L'affidamento all'auto-traduzione e ai dati monolingue rende l'approccio altamente scalabile e applicabile a domini in cui i dati di ragionamento multilingue sono inesistenti.

Gli autori concludono che, sebbene il metodo dipenda dalle attuali scale dei modelli (sotto i 20B) e affronti limitazioni riguardanti la disponibilità di benchmark a basse risorse, esso apre la strada al potenziamento del ragionamento multilingue su larga scala senza annotazione di dati extra. Il lavoro futuro suggerisce di esplorare compiti non verificabili e architetture di modelli più grandi.