💬 NLP

MGSM-Pro: A Simple Strategy for Robust Multilingual Mathematical Reasoning Evaluation

Questo articolo introduce MGSM-Pro, un'estensione multilingue del benchmark GSM-Symbolic che valuta la robustezza del ragionamento matematico in nove lingue generando molteplici istanze con variazioni delle cifre, rivelando significativi cali di prestazioni nelle lingue a risorse limitate e una resilienza variabile dei modelli a tali perturbazioni.

Autori originali: Tianyi Xu, Kosei Uemura, Alfred Malengo Kondoro, Tadesse Destaw Belay, Catherine Nana Nyaah Essuman, Ifeoma Okoh, Ganiyat Afolabi, Ayodele Awokoya, David Ifeoluwa Adelani

Pubblicato 2026-04-29

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Tianyi Xu, Kosei Uemura, Alfred Malengo Kondoro, Tadesse Destaw Belay, Catherine Nana Nyaah Essuman, Ifeoma Okoh, Ganiyat Afolabi, Ayodele Awokoya, David Ifeoluwa Adelani

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un insegnante che somministra un test di matematica a una classe di studenti provenienti da diversi paesi. Vuoi scoprire chi è davvero bravo in matematica e chi sta semplicemente memorizzando le risposte da un libro di esercizi.

Questo articolo presenta un nuovo metodo più rigoroso per valutare i Modelli Linguistici di grandi dimensioni (AI) su problemi matematici, chiamato MGSM-Pro. Ecco la storia di ciò che hanno scoperto, spiegata in modo semplice.

Il Problema: La Trappola del "Libro di Esercizi"

Da molto tempo, i modelli di intelligenza artificiale stanno migliorando nella risoluzione di problemi matematici verbali. Ma i ricercatori hanno notato qualcosa di sospetto: l'AI potrebbe non stare effettivamente "ragionando" attraverso la matematica. Invece, potrebbe aver memorizzato dettagli specifici dalle domande dei test che ha visto durante l'addestramento.

Pensa a uno studente che memorizza la risposta a un problema verbale specifico: "Se Giovanni ha 5 mele e ne compra 3 in più...". Lo studente sa che la risposta è 8. Ma se cambi la domanda in "Se Sara ha 5 arance e ne compra 3 in più...", lo studente che ha memorizzato solo il primo caso potrebbe confondersi.

Recentemente, i ricercatori hanno scoperto che anche in inglese, se modifichi leggermente i nomi o i numeri in un problema matematico, molti modelli di AI falliscono. Si sono resi conto che i vecchi test erano troppo facili perché non verificavano se l'AI fosse in grado di gestire questi piccoli cambiamenti.

La Soluzione: MGSM-Pro (Il Test del "Mescolamento")

Gli autori hanno creato un nuovo dataset chiamato MGSM-Pro. Hanno preso 250 problemi matematici e li hanno trasformati in 1.240 problemi (5 versioni per ciascuno).

Hanno fatto questo mescolando il mazzo:

Cambiare i Nomi: Sostituire "Giovanni" con "Zainabu" o "Carla".
Cambiare i Numeri: Sostituire "5 mele" con "7 mele".
Aggiungere Distrazioni: Aggiungere una frase che sembra importante ma è in realtà priva di senso (come "Il cielo è azzurro, quindi Giovanni ha comprato 5 mele").

Hanno fatto questo in nove lingue diverse, che vanno da quelle ampiamente parlate come l'inglese e il cinese a lingue con meno risorse digitali come lo swahili, lo yoruba e l'igbo.

La Grande Scoperta: La Lotta delle "Lingue a Basse Risorse"

Quando hanno eseguito i test, hanno trovato un divario enorme tra le lingue "ad alte risorse" (come l'inglese) e le lingue "a basse risorse" (come il twi o l'igbo).

Gli Studenti ad Alte Risorse: Quando cambiavano i nomi o i numeri in inglese o cinese, i modelli di AI scendevano leggermente nel punteggio, ma rimanevano per lo più sulla buona strada. Erano come uno studente che aveva effettivamente compreso il concetto matematico.
Gli Studenti a Basse Risorse: Quando facevano lo stesso mescolamento per lingue come il twi o l'igbo, i modelli di AI crollavano. I loro punteggi precipitavano. Era come se lo studente avesse improvvisamente dimenticato come contare perché l'insegnante aveva usato un nome diverso per il frutto.

L'Analogia: Immagina uno studente che è bravissimo in matematica in inglese ma terribile in matematica nella sua lingua madre. Quando l'insegnante fa una domanda in inglese con un twist, lo studente la risolve. Ma quando l'insegnante fa la stessa identica domanda con il twist nella lingua madre dello studente, lo studente si blocca. L'articolo ha scoperto che i modelli di AI fanno la stessa cosa: sono molto meno "robusti" (affidabili) nelle lingue per le quali non hanno visto molti dati.

Chi Ha Superato e Chi Ha Fallito?

L'articolo ha testato molti modelli di AI diversi (alcuni creati da grandi aziende tecnologiche, altri open-source).

Quelli Robusti: Modelli più nuovi e intelligenti come Gemini 3.0 Pro e GPT-OSS 120B hanno gestito bene i cambiamenti. Non sono andati in panico quando numeri o nomi cambiavano.
Quelli Fragili: Modelli più vecchi o più piccoli (come Gemma 3 4B o Llama 3) si sono disintegrati. Non sono riusciti a gestire il "twist".
Il Mito delle Dimensioni: Potresti pensare che un cervello più grande (più parametri) significhi sempre uno studente più intelligente. L'articolo ha scoperto che non è vero. A volte un modello enorme falliva miseramente, mentre uno leggermente più piccolo riusciva. Non si tratta solo delle dimensioni; si tratta di come il modello è stato addestrato.

La Lezione: Non Testare Solo Una Volta

Il punto più importante riguarda come dovremmo testare l'AI in futuro.

Attualmente, molte classifiche (ranking dei migliori AI) testano un modello su una sola versione di un problema. Gli autori dicono che è come dare a uno studente una singola domanda di esercizio e definirlo un genio se la risponde correttamente.

La Loro Raccomandazione: Per sapere davvero se un'AI è brava in matematica, devi testarla su almeno cinque versioni diverse dello stesso problema (cambiando nomi e numeri). Se l'AI risponde correttamente a tutte e cinque, allora è davvero intelligente. Se risponde correttamente solo alla prima, sta semplicemente memorizzando.

Riepilogo

L'articolo sostiene che dobbiamo smettere di trattare l'AI come se fosse perfetta solo perché supera i test facili. Mescolando nomi e numeri nei problemi matematici attraverso diverse lingue, hanno dimostrato che:

L'AI è molto più debole nelle lingue con meno dati digitali.
Molti ranking attuali sono fuorvianti perché non testano questo "mescolamento".
Per ottenere un quadro reale delle capacità matematiche di un'AI, dobbiamo testarla su più variazioni dello stesso problema, non solo su uno.

1. Enunciato del Problema

Sebbene i Modelli Linguistici di Grandi Dimensioni (LLM) abbiano compiuto progressi significativi nel ragionamento matematico, la valutazione in contesti multilingue è in ritardo rispetto all'inglese sia per difficoltà che per attualità. I benchmark multilingue esistenti (ad esempio MGSM) spesso si basano su traduzioni statiche di problemi in inglese, rendendoli suscettibili a:

Memorizzazione: I modelli possono adattarsi eccessivamente a istanze di test specifiche invece di apprendere un ragionamento generale.
Mancanza di Robustezza: I modelli possono fallire quando presentati con lievi variazioni (ad esempio, numeri o nomi diversi) dello stesso problema logico.
Disparità di Risorse: Le lingue a risorse limitate (LRL) sono sottorappresentate e spesso mostrano prestazioni inferiori, ma non è chiaro se ciò sia dovuto a una mancanza di capacità aritmetica o a una scarsa robustezza linguistica.

Un lavoro recente in inglese (GSM-Symbolic) ha dimostrato che i modelli mostrano un'alta varianza quando la stessa domanda viene istanziata con nomi e cifre diversi. Tuttavia, questo fenomeno non era stato esplorato sistematicamente in contesti multilingue diversificati.

2. Metodologia: Creazione di MGSM-Pro

Gli autori introducono MGSM-Pro, un'estensione robusta del dataset MGSM progettata per valutare il ragionamento matematico multilingue in condizioni variabili. Il processo di creazione prevede due fasi principali:

A. Costruzione del Modello

Fonte: Basato su 248 domande del dataset MGSM originale in inglese (escludendo 2 domande senza cifre).
Modellazione Simbolica: Gli autori hanno adottato il framework GSM-Symbolic per creare modelli in cui nomi e cifre sono sostituiti da segnaposto (ad esempio, {name_male}, {num_digit}).
Contesto Irrilevante (IC): Seguendo la metodologia GSM-IC, vengono inserite frasi irrilevanti nel testo del problema per testare la capacità del modello di filtrare il rumore.
Traduzione e Verifica: I modelli sono stati tradotti in nove lingue utilizzando un LLM (Gemini 2.0 Flash) e poi verificati rigorosamente da madrelingua. Ciò ha garantito la rilevanza culturale (ad esempio, sostituire "Carla" con "Zainabu" per lo swahili) e la corretta allineamento dei segnaposto.

B. Variazioni del Dataset

Il dataset genera cinque distinte istanze per ogni domanda originale, organizzate in due serie:

Serie Simbolica (SYM):
- SYM_N: Cambia solo i nomi.
- SYM_#: Cambia solo le cifre.
- SYM_N#: Cambia sia nomi che cifre.
Serie Contesto Irrilevante (IC):
- IC_N, IC_#, IC_N#: Riproduce le variazioni SYM ma include una frase irrilevante inserita.

Lingue Coperte: Nove lingue tipologicamente diverse categorizzate per livelli di risorse (Classe Joshi):

Alte Risorse (HRL): Inglese, Cinese, Francese, Giapponese.
Basse Risorse (LRL): Swahili, Amarico, Igbo, Yoruba, Twi.

3. Configurazione Sperimentale

Modelli Valutati: 18 LLM, inclusi modelli proprietari (Gemini 2.5/3.0 Flash, Gemini 3.0 Pro, Claude 4 Sonnet, GPT-4.1, GPT-5) e modelli open-source (Gemma 3, Qwen 3/3.5, DeepSeek V3, GPT-OSS, Llama 3).
Protocollo di Valutazione: Inferenza zero-shot. I modelli sono stati invitati a ragionare in inglese (CoT), ma sono stati testati anche in modalità "Native Solve" per alcuni modelli per verificare la dipendenza linguistica.
Metriche: Accuratezza sul dataset originale (DO) rispetto all'accuratezza media su 5 o 10 distinte istanze (Avg-5, Avg-10).

4. Risultati Chiave

A. Calo delle Prestazioni sulle Variazioni

La Variazione delle Cifre è Critica: Cambiare i nomi (SYM_N) causa una perdita minima di prestazioni. Tuttavia, cambiare le cifre (SYM_#), specialmente se combinato con un contesto irrilevante (IC_#), provoca un crollo massiccio dell'accuratezza per tutti i modelli.
La "Penalità" delle Basse Risorse: Le LRL soffrono significativamente più delle HRL.
- Esempio: Su Twi (LRL), i modelli open hanno registrato un calo mediano di accuratezza del -13,5%, mentre il cinese (HRL) ha mostrato solo un -4,2%.
- Esempio: Gemini 2.5 Flash è sceso dal 3º al 7º posto nelle classifiche quando valutato su 5 istanze invece che su 1.

B. Tendenze di Robustezza dei Modelli

Proprietari vs Open: I nuovi modelli proprietari (Gemini 3.0 Pro) hanno mostrato una maggiore robustezza alle variazioni di cifre rispetto ai modelli più vecchi. Tra i modelli open, GPT-OSS 120B e DeepSeek V3 hanno dimostrato una robustezza superiore rispetto a modelli più piccoli come Gemma 3 4B.
La Dimensione Non è una Garanzia: La dimensione dei parametri del modello non correla linearmente con la robustezza.
- Nella famiglia Gemma, il degrado delle prestazioni è peggiorato all'aumentare della dimensione del modello (4B $\to$ 27B).
- Nella famiglia GPT-OSS, i modelli più grandi sono stati più robusti.
Lingua vs Aritmetica: L'analisi degli errori ha rivelato che per le LRL, il principale modo di fallimento è l'incomprensione linguistica (ad esempio, fallire nell'analizzare la struttura del problema), che si propaga in errori logici. I tassi di errore puramente aritmetici sono rimasti relativamente stabili tra le lingue, suggerendo che il collo di bottiglia è la comprensione linguistica, non il calcolo.

C. Instabilità della Classifica

Le classifiche basate su una singola istanza (pratica standard delle classifiche) sono altamente instabili. Quando si media su 5 istanze, l'ordinamento relativo dei modelli cambia drasticamente, in particolare per le LRL.

5. Contributi Chiave

Dataset MGSM-Pro: Un nuovo benchmark che espande MGSM di 5 volte (da 250 a 1.240 domande per lingua) con variazioni sistematiche di nomi, cifre e contesto in 9 lingue.
Evidenza Empirica della Fragilità Multilingue: Ha dimostrato che gli LLM sono significativamente meno robusti nelle Lingue a Risorse Limitate quando affrontano variazioni di cifre, un divario non catturato dai benchmark standard.
Raccomandazione Metodologica: Ha proposto che la valutazione del ragionamento matematico dovrebbe rendere obbligatorie almeno 5 istanze con variazioni di cifre per problema per ottenere una valutazione realistica delle capacità di ragionamento, allontanandosi dai test su singola istanza.
Insight sul Training: Ha evidenziato che la robustezza è probabilmente una funzione delle ricette di training e della qualità dei dati piuttosto che della sola scala del modello.

6. Significato

Questo documento mette in discussione la validità degli attuali benchmark di matematica multilingue. Sostiene che punteggi elevati su dataset statici possono riflettere memorizzazione o sovr-ottimizzazione piuttosto che un vero ragionamento. Introducendo MGSM-Pro, gli autori forniscono uno strumento per:

Identificare i modelli che comprendono genuinamente la logica matematica rispetto a quelli che si affidano al matching di pattern.
Evidenziare la specifica vulnerabilità dei modelli per le Lingue a Risorse Limitate, esortando la comunità a concentrarsi sul miglioramento della robustezza linguistica insieme alla capacità aritmetica.
Standardizzare le pratiche di valutazione per garantire che le classifiche riflettano prestazioni stabili e robuste piuttosto che fortuna su un insieme specifico di numeri.

Gli autori concludono che affinché un modello sia considerato veramente capace in matematica multilingue, deve mantenere l'accuratezza anche quando le caratteristiche superficiali (nomi, numeri, contesto) di un problema vengono alterate.