Immaginate un mondo in cui i computer sono come studenti brillanti e multilingue che hanno letto ogni libro della biblioteca, ma che ancora faticano a risolvere un problema matematico complicato. Per aiutarli a diventare più intelligenti, gli scienziati usano una tecnica chiamata "addestramento", che è un po' come un coach che guida uno studente attraverso problemi di pratica. Per molto tempo, il modo migliore per addestrare questi studenti AI è stato l'Apprendimento per Rinforzo (RL), un metodo in cui il computer riceve un unico voto alla fine della sua risposta — come ricevere un "A" o una "F" su un intero saggio senza sapere quali specifiche frasi fossero buone o cattive. Tuttavia, un metodo più efficiente chiamato On-Policy Distillation (OPD) è emerso. Invece di aspettare un voto finale, l'OPD agisce come un maestro esperto che legge la risposta dello studente parola per parola, sussurrando correzioni e suggerimenti mentre lo studente scrive. Questo feedback a "livello di token" è molto più preciso. Ma ecco l'ostacolo: la maggior parte di questa ricerca è stata condotta solo in inglese. Non sapevamo se questa tecnica dell' "insegnante che sussurra" funzionasse altrettanto bene per studenti che parlano coreano, giapponese o altre lingue, o se potesse aiutare a colmare il divario tra quanto bene l'AI parla inglese rispetto a quanto bene parla altre lingue.

Questo articolo approfondisce proprio questa domanda, testando una versione potenziata della tecnica chiamata On-Policy Delta Distillation (OPD²) sul ragionamento matematico in inglese, coreano e giapponese. I ricercatori hanno scoperto che questo nuovo metodo è un vero punto di svolta. Proprio come uno chef esperto che può insegnare una ricetta a uno studente in qualsiasi lingua, l'OPD² ha aiutato i modelli AI a risolvere problemi matematici significativamente meglio in tutte e tre le lingue, con balzi particolarmente enormi in coreano e giapponese. Lo studio suggerisce che questo metodo è persino migliore della versione originale perché si concentra sul "delta" — la differenza specifica tra ciò che il maestro sa e ciò che il modello base dello studente già conosce — isolando efficacementamente le nuove capacità di ragionamento che vengono insegnate.

Tuttavia, il documento ha anche scoperto un effetto collaterale affascinante e leggermente complicato. Quando i ricercatori hanno cercato di insegnare all'AI usando solo problemi matematici in inglese, il modello è diventato sorprendentemente più bravo a risolvere problemi matematici in coreano e giapponese. È come se lo studente avesse imparato la logica della matematica in inglese e potesse applicarla ad altre lingue. Ma c'era un colpo di scena: sebbene le risposte fossero corrette, il modello spesso iniziava a scrivere le sue spiegazioni in inglese, anche quando la domanda era posta in coreano o giapponese. Ciò suggerisce che, mentre il "muscolo del ragionamento" può essere addestrato in una lingua e trasferito a un'altra, mantenere la "voce" della risposta nella lingua di destinazione richiede la pratica con dati in quella specifica lingua. In definitiva, l'articolo mostra che l'OPD² è uno strumento potente per rendere l'AI più intelligente attraverso le lingue, ma per padroneggiare davvero una lingua, è comunque necessario parlarla durante la pratica.

La scoperta fondamentale: Un insegnante che sussurra migliore

I ricercatori volevano vedere se l'OPD² (la versione avanzata dell'insegnante che sussurra) potesse superare l'originale OPD quando si tratta di gestire più lingue. Hanno utilizzato una famiglia di modelli AI chiamati Qwen3 (specificamente le versioni 1.7B e 8B) e un enorme modello insegnante per guidarli. I risultati sono stati chiari e coerenti: l'OPD² ha costantemente battuto l'originale OPD in tutto il campo.

Pensatela così: se l'originale OPD era un buon tutor, l'OPD² era un tutor geniale che sapeva esattamente cosa mancava allo studente. Negli esperimenti, questa differenza è stata enorme per le lingue non inglesi. Per il modello più piccolo (Qwen3-1.7B), l'OPD² ha migliorato il punteggio matematico coreano da 40.9 a 51.9, e il punteggio giapponese da 37.2 a 52.0. L'originale OPD ha aiutato, ma l'OPD² ha spinto quei numeri ancora più in alto. Per il modello più grande e intelligente (Qwen3-8B), i miglioramenti sono stati altrettanto forti, con il coreano che passava da 57.0 a 64.4 e il giapponese da 57.1 a 65.0.

L'articolo sostiene esplicitamente che non si tratta solo di copiare lo stile dell'insegnante. Utilizzando il "segnale delta" (il divario tra l'insegnante e il proprio modello base dell'insegnante), l'OPD² ha trasferito con successo le capacità di ragionamento allo studente, piuttosto che limitarsi a imitare l'output generale dell'insegnante. Ciò suggerisce che il metodo è robusto e funziona bene indipendentemente dalla lingua o dalle dimensioni del modello.

Colmare il divario linguistico

Uno dei maggiori obiettivi di questa ricerca era vedere se questi metodi di addestramento potessero ridurre il divario di prestazioni tra l'inglese e altre lingue. Spesso, i modelli AI sono molto più bravi in inglese che in coreano o giapponese. L'articolo ha scoperto che l'addestramento multilingue OPD² ha generalmente aiutato a ridurre questo divario.

In un esame dettagliato del "divario di accuratezza inglese-coreano", i ricercatori hanno visto che, mentre il modello base favoriva l'inglese con un ampio margine (a volte di oltre 13 punti in certi test), l'addestramento OPD ha ridotto questa disparità. Ad esempio, sul benchmark Global-MGSM, il divario è sceso da 13.4 punti a 8.6 punti con l'OPD standard, e ulteriormente a 9.3 punti con l'OPD². Sul benchmark HRM8K, il divario è sceso da 12.1 a 9.2 punti.

L'articolo suggerisce che questo accade perché l'addestramento multilingue beneficia le lingue non inglesi più della lingua inglese, sollevando efficacementamente i performer più deboli senza trascinare verso il basso quelli più forti. Tuttavia, gli autori sottolineano con cautela che questo effetto non è stato perfettamente uniforme in ogni singolo test; su alcuni benchmark specifici come M-MMLU, il divario si è leggermente ampliato. Quindi, sebbene la tendenza sia positiva, non è una bacchetta magica che corregge istantaneamente ogni singola metrica.

La sorpresa dell' "Solo Inglese" e la trappola linguistica

Forse la scoperta più sorprendente dell'articolo è ciò che è accaduto quando hanno addestrato i modelli utilizzando esclusivamente dati in inglese. Si potrebbe pensare che se si insegna a uno studente solo la matematica in inglese, questi fallirà nella matematica in coreano. Ma l'articolo ha scoperto che l'OPD² basato solo sull'inglese ha effettivamente migliorato significativamente i punteggi in coreano e giapponese.

In modalità non di pensiero (non-thinking mode), l'addestramento solo in inglese ha aumentato la media coreana da 40.9 a 52.6 e la media giapponese da 37.2 a 53.4. Questi numeri erano quasi uguali ai punteggi dell'addestramento multilingue (che erano 51.9 per il coreano e 52.0 per il giapponese). Ciò suggerisce che la logica del ragionamento matematico è così universale che può essere appresa in inglese e poi applicata a problemi in coreano o giapponese, anche se il modello non ha visto un singolo problema di matematica in coreano durante l'addestramento.

Tuttavia, c'è un grosso ostacolo. L'articolo esclude esplicitamente l'idea che questo significhi che il modello abbia veramente padroneggiato la lingua. Quando i ricercatori hanno controllato quale lingua il modello effettivamente utilizzasse nelle sue risposte, i risultati sono stati netti.

• Addestramento Multilingue: Quando addestrato su lingue miste, il modello ha risposto in coreano il 90.5% delle volte (in modalità non-thinking) e in giapponese il 90.9% delle volte.
• Addestramento Solo in Inglese: Quando addestrato solo in inglese, le risposte "coreane" del modello sono scese al 48.3% (il che significa che ha risposto in inglese la metà delle volte) e le sue risposte in giapponese sono precipitate al 29.6%.

Anche in "modalità di pensiero" (dove il modello compie un passaggio di ragionamento nascosto prima di rispondere), la tendenza è rimasta la stessa. Il modello addestrato solo in inglese risolveva la matematica correttamente, ma spesso scriveva la risposta finale in inglese, ignorando il fatto che la domanda era posta in coreano o giapponese. L'articolo conclude che, sebbene l'addestramento solo in inglese possa trasferire la capacità di ragionare, non riesce a preservare l'abitudine di rispondere nella lingua di destinazione. Per far sì che il modello parli la lingua desiderata, è necessario nutrirlo con dati in quella lingua.

Sintesi dei risultati

L'articolo dimostra che l'OPD² è un metodo superiore per insegnare il ragionamento matematico all'IA attraverso le lingue, superando costantemente l'originale OPD. Riesce a ridurre il divario di prestazioni tra l'inglese e lingue come il coreano e il giapponese, suggerendo che l'addestramento post-training multilingue è una via percorribile per un'IA più equilibrata. Tuttavia, lo studio traccia anche una linea netta tra "capacità di ragionamento" e "generazione del linguaggio". Mentre le capacità di ragionamento possono essere apprese in una lingua e applicate a un'altra, il modello tenderà naturalmente verso l'inglese a meno che non venga esplicitamente addestrato con dati nella lingua target. Gli autori suggeriscono che la ricerca futura dovrebbe concentrarsi sulla valutazione sia dell'accuratezza della risposta che della lingua della risposta per comprendere veramente le capacità multilingue dell'IA.