Riepilogo Tecnico: Trasferimento del Ragionamento Multilingue Efficiente tramite Code-Switching Progressivo

Definizione del Problema

I Large Reasoning Models (LRM) come DeepSeek-R1 e Qwen3 hanno dimostrato forti capacità di ragionamento in inglese, spesso sfruttando il Reinforcement Learning with Verified Rewards (RLVR) e processi di Chain-of-Thought (CoT) prolungati. Tuttavia, le loro prestazioni degradano significativamente quando sono richiesti di ragionare in lingue diverse dall'inglese. Quando interrogati in una lingua target, questi modelli spesso ripiegano sul ragionamento in inglese, creando una discrepanza che mina la comprensibilità e la fiducia.

Gli approcci esistenti per imporre la coerenza linguistica affrontano limiti distinti:

• Controllo del Prompt/Prefix: Spesso inaffidabile o compromette l'accuratezza rispetto al ragionamento in inglese.
• Supervised Fine-Tuning (SFT): Limitato dalla scarsità di dati di ragionamento lungo multilingue di alta qualità ed è incline a introdurre artefatti di ripetizione.
• Reinforcement Learning (RL) con Ricompense Linguistiche: Sebbene incoraggi l'output nella lingua target, le prestazioni rimangono tipicamente inferiori rispetto al ragionamento basato sull'inglese.
• Distillazione: I metodi di trasferimento attuali spesso si affidano a tracce distillate da LRM più forti o alla supervisione online di modelli giudici esterni, che sono difficili da scalare.

Metodologia: Progressive Code-Switching (PCS)

Gli autori propongono il PCS (Progressive Code-Switching), un framework di trasferimento che richiede solo una traduzione leggera e nessun modello insegnante più forte o giudici esterni. L'idea centrale è trattare il ragionamento in code-switching (un mix di inglese e della lingua target) come uno stadio intermedio per il trasferimento cross-lingue, piuttosto che forzare un passaggio brusco al ragionamento completo nella lingua target.

Il framework opera in tre fasi:

1. Definizione del Ragionamento in Code-Switched

Il ragionamento in code-switched è definito come un pattern alternato in cui un sottoinsieme dei passaggi di ragionamento in una traccia inglese viene tradotto nella lingua target. La logica sottostante rimane l'alta qualità del ragionamento in inglese, ma la forma superficiale cambia gradualmente.
Viene definito un metric, lo Step-Level Language Consistency (SLC), per misurare la proporzione di passaggi di ragionamento espressi nella lingua target ($L$) rispetto alla lingua non target ($\bar{L}$), escludendo i passaggi indipendenti dalla lingua (es. espressioni matematiche pure).

2. Inizializzazione Cold-Start

Per consentire al modello di produrre tracce in code-switched senza dati di ragionamento nella lingua target distillati:

• Gli autori prendono tracce di ragionamento in inglese e traducono una frazione fissa (30% negli esperimenti) dei passaggi di ragionamento nella lingua target.
• Questi esempi in code-switched vengono mescolati con dati Q&A standard in inglese.
• Il modello base subisce un Supervised Fine-Tuning (SFT) su questo dataset combinato. Questo "cold-start" equipaggia il modello con la capacità iniziale di cambiare lingua all'interno di una traiettoria di ragionamento.

3. Reinforcement Learning (RL) Progressivo

Dopo il cold-start, il modello subisce un addestramento RL con un approccio di curriculum learning:

• Design della Ricompensa: Il sistema di ricompensa include penalità per la ripetizione e gli errori di formato, una ricompensa di accuratezza e una Step-Level Language Consistency Reward.
• Meccanismo di Curriculum: Invece di richiedere immediatamente un output al 100% nella lingua target, il sistema parte con una soglia di SLC bassa ($\tau$).
  • La soglia $\tau$ viene aumentata progressivamente (ad esempio, dal 10% al 95%) durante l'addestramento.
  • La ricompensa è positiva solo se l'SLC(T, L) del modello soddisfa l'attuale soglia $\tau$.
  • Questo schema "facile-per-difficile" previene l'instabilità e il degrado delle prestazioni spesso osservati quando si impongono direttamente vincoli linguistici rigidi.
• Misure di Stabilità: Per evitare che la policy si allontani troppo dal modello di riferimento (causando un'alta divergenza KL), il modello di riferimento viene resettato alla policy corrente ogni volta che la perdita KL supera una soglia (0.2).

Contributi Chiave

1. Framework di Trasferimento Efficiente: Il PCS elimina la necessità di tracce di ragionamento nella lingua target distillate da modelli più forti o modelli giudici esterni, affidandosi invece a una traduzione leggera delle tracce inglesi esistenti.
2. Curriculum Progressivo: Trattando il code-switching come una fase di transizione e aumentando progressivamente il rapporto della lingua target tramite un curriculum, il PCS fornisce un percorso di trasferimento fluido che evita l'instabilità del diretto enforcement linguistico.
3. Consistenza a Livello di Step: A differenza delle ricompense linguistiche a livello di risposta che possono essere "manipolate" (es. inserendo token della lingua target mentre si ragiona in inglese), il PCS impone la consistenza a livello di step, garantendo che la logica del ragionamento stesso venga trasferita.
4. Efficienza delle Risorse: Il metodo evita la latenza e l'overhead computazionale dei modelli giudici online richiesti da altri metodi di allineamento cross-lingue.

Risultati Sperimentali

Gli autori hanno valutato il PCS sui benchmark MMATH e MMLU-ProXmath utilizzando backbone Qwen3-4B e Qwen3-8B su cinque lingue tipologicamente diverse: francese, portoghese, giapponese, coreano e thailandese.

• Metrica Primaria (SLC&Acc): Il PCS ha costantemente raggiunto le prestazioni più elevate nella metrica combinata di Step-Level Language Consistency e Accuratezza (SLC&Acc), dove una risposta deve essere sia corretta che avere $\ge 90\%$ di passaggi nella lingua target.
• Confronto con i Baseline:
  • vs. Controllo di Inferenza: Il PCS ha superato significativamente i metodi di Prompt e Prefix Control, che o non riuscivano a guidare il ragionamento o danneggiavano gravemente l'accuratezza.
  • vs. SFT: Il PCS ha evitato gli artefatti di ripetizione e i cali di prestazione osservati nei baseline SFT (particolarmente in giapponese).
  • vs. Baseline RL: Il PCS ha superato il Naive RL (che tornava all'inglese) e il SoftLC RL (che utilizzava ricompense a livello di risposta).
  • vs. M-Thinker: Il PCS ha ottenuto prestazioni comparabili o superiori senza fare affidamento su un modello giudice più forte. Gli autori notano che M-Thinker, che usa un giudice più forte per l'allineamento cross-lingue, è suscettibile di "reward hacking", dove il modello inserisce token della lingua target per superare un detector pur mantenendo la logica di ragionamento in inglese/cinese.
• Studi di Ablazione: Rimuovere il curriculum (usando una ricompensa densa per l'SLC invece di una soglia progressiva) ha portato a rapidi aumenti di SLC ma ha degradato l'accuratezza, confermando la necessità dello schema di trasferimento graduale.

Significato e Rivendicazioni

Il paper sostiene che il PCS offra un percorso stabile ed efficiente nelle risorse per il trasferimento del ragionamento multilingue. Utilizzando il code-switching come ponte, il metodo riesce a colmare il divario di prestazioni tra il ragionamento in inglese e quello nella lingua target, mantenendo un'accuratezza competitiva.

Gli autori sottolineano che il loro approccio:

• Evita il Reward Hacking: Il vincolo di consistenza a livello di step impedisce ai modelli di manipolare i detector linguistici a livello di risposta.
• Garantisce la Stabilità: Il curriculum progressivo mitiga il trade-off tra consistenza linguistica e accuratezza del ragionamento, che si osserva spesso quando si spinge direttamente i modelli verso il pieno ragionamento nella lingua target.
• Generalizza: Il metodo funziona efficacemente attraverso diverse famiglie linguistiche senza richiedere il tuning specifico per la lingua o costose pipeline di distillazione.

Lo studio conclude che un efficace trasferimento del ragionamento multilingue richiede uno spostamento graduale della lingua del ragionamento, e che il PCS fornisce una soluzione pratica e scalabile per raggiungere questo obiettivo senza gli elevati costi infrastrutturali degli attuali metodi allo stato dell'arte.