Riepilogo Tecnico: LANG – Apprendimento per Rinforzo per il Ragionamento Multilingue con Guida Adattiva agli Indizi Linguistici

1. Enunciato del Problema

Sebbene l'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) abbia migliorato con successo il ragionamento multi-step nei Modelli Linguistici di Grandi Dimensioni (LLM) per l'inglese, questi benefici non si sono tradotti pienamente nei contesti multilingue. I modelli attuali affrontano un compromesso fondamentale:

• Coerenza Linguistica vs. Qualità del Ragionamento: Vincolare esplicitamente i modelli a ragionare nella lingua di input spesso porta a un significativo degrado delle prestazioni in contesti non inglesi, poiché le forti capacità di ragionamento in inglese del modello non si trasferiscono in modo affidabile.
• Deriva Linguistica: Quando i vincoli linguistici vengono rilassati per preservare la qualità del ragionamento, i modelli tendono frequentemente a derivare verso l'inglese, riducendo la leggibilità e l'interpretabilità per gli utenti nativi.

Gli approcci esistenti, come i vincoli basati su prompt o l'aggiunta di ricompense di coerenza linguistica all'apprendimento per rinforzo, faticano con la sparsità delle ricompense. Negli scenari multilingue, specialmente per le lingue a risorse limitate, le traiettorie che soddisfano vincoli linguistici e di correttezza rigorosi sono estremamente scarse, ostacolando un'esplorazione efficace durante l'addestramento.

2. Metodologia: LANG

Gli autori propongono LANG, un framework di RL guidato da indizi adattivi alle lingue, progettato per avviare l'esplorazione nei compiti di ragionamento non inglesi prevenendo al contempo la dipendenza da aiuti esterni. Il framework è composto da due meccanismi fondamentali:

A. Decadimento Programmato degli Indizi Multilingue

LANG utilizza indizi condizionati alla lingua (tracce di ragionamento parziali da un modello insegnante) per guidare il modello studente durante le prime fasi dell'addestramento. Per affrontare il problema della "dipendenza dagli indizi" (dove i modelli falliscono nel ragionare autonomamente una volta rimossi gli indizi), LANG impiega una scheda di decadimento a ricorrenza cosinusoidale.

• Meccanismo: Al passo di addestramento $t$, un prefisso dell'indizio $h$ viene iniettato nel prompt. Il rapporto dell'indizio iniettato, $p_t^l$, segue una schedulazione cosinusoidale che inizia a 1.0 (guida completa) e decade dolcemente fino a 0.0.
• Obiettivo: Questo transita il modello da rollout condizionati agli indizi al ragionamento multilingue autonomo, riducendo la discrepanza tra addestramento e inferenza.

B. Interruttore Adattivo alla Lingua

Riconoscendo che le difficoltà di apprendimento variano tra le lingue, LANG evita un singolo punto di interruzione globale per la rimozione degli indizi. Invece, categorizza le lingue in gruppi di risorse (Alte, Medie, Basse) e impiega una strategia di interruzione dinamica.

• Meccanismo: Il sistema monitora un tasso di aggiornamento efficace ($\bar{u}_R(t)$), definito come la frazione di istanze nel batch di un gruppo linguistico che producono almeno una traiettoria con un vantaggio positivo.
• Criterio di Interruzione: Quando $\bar{u}_R(t)$ supera una soglia $\tau$, l'iniezione degli indizi per quel specifico gruppo linguistico viene disattivata.
• Vantaggio: Le lingue a risorse limitate mantengono gli indizi più a lungo per alleviare la sparsità delle ricompense, mentre le lingue ad alte risorse passano al ragionamento autonomo prima, ottimizzando il ritmo di apprendimento per la difficoltà specifica di ciascuna lingua.

C. Ottimizzazione della Politica

Il framework ottimizza la politica utilizzando GRPO (Group Relative Policy Optimization). La funzione di ricompensa è una congiunzione di tre criteri:

1. Coerenza Linguistica ($R_{lc}$): La traccia di ragionamento e la risposta finale devono corrispondere alla lingua di input.
2. Formato ($R_{format}$): Uso corretto dei tag di pensiero e delle risposte incassate.
3. Accuratezza ($R_{acc}$): La risposta finale deve corrispondere alla verità fondamentale (ground truth).

3. Contributi Chiave

• Nuovo Framework: Introduzione di LANG, che sfrutta indizi condizionati alla lingua per avviare l'esplorazione nel ragionamento non inglese, affrontando il problema della sparsità delle ricompense intrinseco nell'RLVR multilingue.
• Allineamento Addestramento-Inferenza: Lo sviluppo di una scheda di decadimento progressivo degli indizi e di un interruttore adattivo alla lingua che mitigano efficacemente la discrepanza tra addestramento e inferenza, garantendo che i modelli possano ragionare autonomamente al momento del test senza fare affidamento su indizi.
• Validazione Empirica: Esperimenti estesi che dimostrano che LANG migliora sostanzialmente le prestazioni del ragionamento multilingue senza compromettere la coerenza linguistica, superando sia le baseline basate su prompt che quelle basate sull'addestramento.
• Generalizzazione: Evidenza che il metodo si generalizza oltre il ragionamento matematico ad altri compiti multilingue (ad es. MMLU-ProX, XWinograd) e mantiene la coerenza linguistica attraverso diversi livelli del modello.

4. Risultati Sperimentali

Gli autori hanno valutato LANG su due benchmark impegnativi: MMATH (10 lingue) e PolyMath (18 lingue), utilizzando i modelli Qwen2.5 (3B, 7B, 32B) e Llama3.1-8B.

• Miglioramenti delle Prestazioni: LANG ha superato significativamente la baseline più forte (LC-GRPO). Sul benchmark MMATH, ha migliorato la metrica Coerenza Linguistica & Accuratezza (LC&Acc) del 24,1% in media tra i modelli. Su PolyMath, ha ottenuto un miglioramento del 18,7%.
• Lingue a Risorse Limitate: I guadagni sono stati particolarmente pronunciati per le lingue a risorse limitate. Ad esempio, con Qwen2.5-7B, LANG ha migliorato LC&Acc del 39,0% in tailandese (MMATH) e del 24,6% in vietnamita (PolyMath) rispetto a mGRPO.
• Generalizzazione Fuori Distribuzione: LANG ha dimostrato una forte generalizzazione a lingue fuori dominio e a diverse scale di modelli, migliorando costantemente LC&Acc rispetto alle baseline.
• Analisi Livello per Livello: L'analisi degli stati nascosti intermedi ha rivelato che LANG mantiene un'alta coerenza linguistica attraverso tutti i livelli del modello, prevenendo il fenomeno del "cambio di lingua tra livelli" in cui i modelli ragionano in inglese e traducono solo all'output.

5. Significato e Affermazioni

Il documento afferma che LANG fornisce una soluzione robusta al compromesso tra accuratezza del ragionamento e coerenza linguistica negli LLM multilingue. Utilizzando gli indizi come impalcatura temporanea rimossa progressivamente in base ai progressi di apprendimento specifici per lingua, il framework permette ai modelli di interiorizzare i modelli di ragionamento multilingue.

Gli autori sottolineano che il loro approccio è agnostico rispetto all'insegnante (performa bene con indizi da diversi modelli insegnante) e robusto alla traduzione (i guadagni rimangono stabili indipendentemente dal modello di traduzione utilizzato per la costruzione dei dati). Concludono che LANG colma efficacemente il divario tra le capacità di ragionamento centrate sull'inglese e la necessità di interpretabilità nella lingua nativa, promuovendo un allineamento linguistico più coerente attraverso i livelli del modello senza sacrificare le prestazioni.

Il lavoro riconosce le limitazioni, notando che attualmente si affida a un singolo modello insegnante (DeepSeek-R1) per la generazione degli indizi e che i compromessi nelle prestazioni tra le lingue potrebbero derivare da squilibri nei dati di pre-addestramento, suggerendo lavori futuri su strategie centrate sui dati.