Riepilogo Tecnico: Ripensare il Divario nel Ragionamento Multilingue con lo Scambio di Strati

Enunciato del Problema

I recenti Modelli Linguistici di Grande Dimensione (LLM) dotati di capacità di ragionamento generano prevalentemente tracce di Catena di Pensiero (CoT) in inglese, anche quando vengono sollecitati in lingue diverse. Questo regime di "ragionamento con pivot inglese" (dove il modello ragiona in inglese e risponde nella lingua di input) è lo standard per i modelli di ragionamento aperti. Sebbene vincolare la CoT alla lingua di input ("ragionamento nativo") sia desiderabile per l'interpretabilità e le sfumature culturali, studi precedenti suggeriscono che ciò degrada sostanzialmente le prestazioni.

Tuttavia, le misurazioni precedenti di questo "divario del ragionamento nativo" si basano spesso su interventi al momento dell'inferenza o su fine-tuning su dataset nativi limitati, non riuscendo a eguagliare la scala del post-training in inglese. Rimane incerto se il divario persista quando il ragionamento nativo viene addestrato sotto supervisione strettamente comparabile e su larga scala.

Metodologia

Costruzione dei Dati

Gli autori hanno costruito un dataset di ragionamento multilingue su larga scala che copre sei lingue: inglese, francese, tedesco, spagnolo, cinese e swahili.

• Fonte: Il dataset è derivato da allenai/DolciThink-SFT-32B, un dataset di post-training in inglese decontaminato che copre matematica, codice, scienze e conoscenza generale.
• Scala: Circa 500.000 campioni per lingua, con lunghezze di contesto fino a 32.768 token.
• Pipeline di Traduzione: Per creare corpora nativi, la fonte in inglese è stata tradotta nelle cinque lingue target utilizzando google/gemma-3-27b-it. Per mitigare il degrado del contesto lungo e la perdita della traccia di ragionamento, gli autori hanno tradotto i campioni componente per componente (domanda, traccia di ragionamento, risposta) in blocchi di circa 2k token, seguiti da un rigoroso filtraggio per output vuoti, anomalie di compressione e deviazioni di lunghezza.

Configurazione Sperimentale

• Modello Base: Tutti i modelli sono stati fine-tunati partendo da Qwen/Qwen3-8B-Base.
• Regimi di Addestramento: Per ogni lingua non inglese, sono stati addestrati due specialisti sugli stessi coppie domanda-risposta con budget di token corrispondenti (~10–11 miliardi di token per lingua):
  1. Specialista Nativo: CoT generata nella lingua target.
  2. Specialista con Pivot Inglese: Domande e risposte nella lingua target, ma CoT generata in inglese.
• Infrastruttura: L'addestramento ha utilizzato nodi H100 distribuiti con DeepSpeed ZeRO-3, parallelismo di sequenza Ulysses e FlashAttention-3 per gestire lunghezze di sequenza di 32k.
• Benchmark: La valutazione ha coperto quattro domini: Matematica (MGSM-Rev2, AIME 24/25), Scienze (GPQA-Diamond), Conoscenza Generale (Global-MMLU-Lite) e Codice (HumanEvalPlus).

Tecnica di Scambio di Strati

Gli autori hanno introdotto un metodo senza addestramento chiamato Layer Swap (Scambio di Strati), ispirato a lavori precedenti sulla composizione dei modelli.

• Analisi nello Spazio dei Pesi: Gli autori hanno analizzato gli aggiornamenti del fine-tuning ($\Delta\theta$) attraverso gli strati. Hanno rilevato che gli aggiornamenti negli strati centrali (in particolare gli strati 13–22) erano altamente allineati tra tutte e sei le lingue (alta similarità del coseno e bassa varianza SVD), suggerendo un "nucleo di ragionamento agnostico alla lingua". Al contrario, gli strati iniziali e finali mostravano una divergenza specifica della lingua.
• Meccanismo: Il metodo trasferisce gli strati centrali (il "nucleo di ragionamento") dallo specialista inglese allo specialista nativo, mantenendo gli strati iniziali e finali dello specialista nativo (che gestiscono input/output specifici della lingua).
• Ablazione: Un'ablazione sull'intervallo di strati sullo specialista francese ha determinato che lo scambio degli strati 13–22 massimizzava le prestazioni di ragionamento mantenendo circa il 100% di fedeltà linguistica (cioè, la CoT rimaneva in francese). Per il cinese, la finestra ottimale era leggermente più precoce (13–20) per prevenire il ritorno all'inglese.

Risultati Chiave

Il Divario del Ragionamento Nativo sotto Supervisione Corrispondente

Contrariamente a rapporti precedenti che suggerivano grandi divari, gli autori hanno rilevato che sotto supervisione strettamente corrispondente (stesso volume di dati, stesso modello base), il divario del ragionamento nativo è significativamente più piccolo:

• Divario Medio: Il divario di prestazioni tra specialisti nativi e con pivot inglese si riduce a 1,9%–3,5% tra le cinque lingue non inglesi.
• Distribuzione: Il divario è concentrato nei benchmark di ragionamento complesso (AIME 24/25), dove gli specialisti nativi sono in ritardo di 5–12% a seconda della lingua. Su altri benchmark (ad es. HumanEvalPlus), il divario è trascurabile.
• Livello di Risorse: Le lingue ad alta risorsa (francese, tedesco, spagnolo, cinese) mostrano divari del 1,9–3,1%, mentre lo swahili a bassa risorsa mostra un divario leggermente più ampio del 3,5%.

Efficacia dello Scambio di Strati

Il trasferimento degli strati centrali dello specialista inglese negli specialisti nativi ha prodotto miglioramenti significativi preservando la CoT nella lingua target:

• Chiusura del Divario: Lo Scambio di Strati ha chiuso 83–89% del divario di ragionamento nativo per francese e tedesco, il 60% per lo swahili e il 27% per il cinese. Per lo spagnolo, il modello scambiato ha raggiunto il tetto dello specialista con pivot inglese.
• Fedeltà Linguistica: I modelli scambiati hanno mantenuto circa il 100% di fedeltà, generando CoT nella lingua target senza tornare all'inglese.
• Prestazioni sui Benchmark: Il metodo ha ottenuto il primo posto su HumanEvalPlus in tutte le lingue e su MGSM-Rev2 nella maggior parte dei casi. Il deficit di prestazioni rimanente si è verificato principalmente su compiti intensivi di ragionamento (AIME, GPQA).

Ablazione della Comprensione dell'Input

Gli autori hanno isolato il "divario di comprensione" valutando gli specialisti nativi su input in inglese rispetto a input nativi.

• Risultato: Gli specialisti nativi hanno ottenuto punteggi più alti su input in inglese, nonostante non avessero mai visto l'inglese durante l'SFT.
• Causa: Questo è attribuito a squilibri nei dati di pre-addestramento e al fatto che le rappresentazioni intermedie nei modelli base centrati sull'inglese sono più allineate agli spazi inglesi per le lingue ad alta risorsa con script latino rispetto a lingue tipologicamente distanti o a bassa risorsa (come lo swahili).

Significato e Contributi

Il paper rivendica quattro contributi principali:

1. Rilascio del Dataset: Un corpus di ragionamento long-CoT pubblicamente disponibile in sei lingue (inclusi swahili e cinese) con contesto di 32k e CoT nella lingua target.
2. Misurazione Controllata: Una misurazione su larga scala e strettamente controllata del divario nativo-vs-con-pivot-inglese, dimostrando che il divario è molto più piccolo (1,9–3,5%) rispetto a quanto riportato in precedenza quando le scale di supervisione sono corrispondenti.
3. Scambio di Strati: Una tecnica senza addestramento che sfrutta la scoperta di un nucleo di ragionamento agnostico alla lingua negli strati centrali. Questo metodo chiude la maggior parte del divario rimanente preservando la generazione nativa di CoT.
4. Analisi della Comprensione dell'Input: Un'ablazione che mostra come la comprensione dell'input rimanga un collo di bottiglia primario per il ragionamento non inglese, distinto dal processo di ragionamento stesso.

Limitazioni

Gli autori notano diverse limitazioni:

• Lo studio è limitato a una singola famiglia di modelli (Qwen) e scala (8B).
• Il corpus si basa sulla traduzione automatica, che potrebbe introdurre artefatti.
• L'efficienza di tokenizzazione variava tra le lingue, il che significa che il "budget di token corrispondente" non equivaleva strettamente a un numero di esempi corrispondente per tutte le lingue.
• Le ricerche di iperparametri per la finestra dello Scambio di Strati non sono state esaustive.
• I modelli sono stati addestrati esclusivamente con Fine-Tuning Supervisionato (SFT) e non hanno incorporato Apprendimento per Rinforzo (RL) o ottimizzazione delle preferenze.

Gli autori concludono che la "ricetta" per lo Scambio di Strati è direttamente applicabile ad altre famiglie di modelli, poiché lo specialista inglese richiesto è spesso disponibile pronto all'uso, offrendo una via pratica per un ragionamento nativo ad alte prestazioni senza riaddestrare l'intero modello.