Riepilogo Tecnico: M3Kang – Valutazione del Ragionamento Matematico Multilingue e Multimodale nei Vision-Language Models

1. Definizione del Problema

Nonostante il rapido progresso dei Vision-Language Models (VLM) e delle loro dimostrate capacità di ragionamento, le loro prestazioni nel ragionamento matematico multilingue rimangono poco esplorate. Le valutazioni attuali sono fortemente sbilanciate verso le lingue ad alta risorsa e i benchmark basati solo sul testo. Gli studi esistenti indicano che i modelli faticano significativamente nelle lingue meno utilizzate e non riescono a interpretare accuratamente i diagrammi. Esiste una mancanza critica di benchmark che affrontino simultaneamente l'intersezione tra multilinguismo, multimodalità e ragionamento matematico. Questa lacuna limita la comprensione della robustezza dei modelli e ostacola lo sviluppo di sistemi AI inclusivi e globalmente applicabili. Inoltre, sebbene esistano alcuni benchmark per compiti multilingui o multimodali presi singolarmente, pochi valutano la capacità combinata, e quelli che lo fanno spesso si concentrano sulla conoscenza generale piuttosto che sulla matematica o coprono un set limitato di lingue.

2. Metodologia

2.1 Il Dataset M3Kang

Gli autori introducono M3Kang, il primo dataset massicciamente multilingue e multimodale per il ragionamento matematico destinato ai VLM. Il dataset è derivato dalla Kangaroo Math Competition, la più grande competizione matematica al mondo, che coinvolge ogni anno oltre sei milioni di partecipanti sotto i 18 anni in più di 90 paesi.

• Materiale Sorgente: Il dataset di base consiste in 1.747 problemi a scelta multipla unici dalle edizioni 2007–2024 della competizione, originariamente estratti da PDF organizzati dalla Societat Catalana de Matemàtiques.
• Scala e Diversità: Il dataset include traduzioni in 108 lingue culturalmente diverse, che spaziano da lingue ad alta risorsa (es. inglese, spagnolo) a lingue a bassa risorsa (es. Tsonga, Lingala). Ciò risulta in un totale di 111.198 problemi dopo il filtraggio della qualità.
• Struttura Multimodale: Ogni problema è fornito in due formati:
  1. Una versione solo testuale.
  2. Un'immagine contenente il problema completo (domanda, opzioni e qualsiasi diagramma necessario) con il testo tradotto nella lingua di destinazione.
• Sottoinsieme in Inglese (M2Kang): È disponibile indipendentemente anche un sottoinsieme esclusivamente in inglese per valutare il ragionamento multimodale non multilingue.

2.2 Pipeline di Costruzione del Dataset

Gli autori propongono una pipeline automatizzata per tradurre problemi multimodali da una lingua sorgente (catalano) a 108 lingue target. Il processo prevede tre fasi:

1. Creazione del Dataset di Base (Catalano): I PDF vengono analizzati, convertiti in immagini e segmentati. I riquadri di delimitazione (bounding boxes) sono disegnati manualmente attorno alle domande per escludere termini specifici del catalano nelle immagini. Un LLM-as-a-judge segnala i campioni corrotti (es. bounding box errati, copertura parziale delle figure), che vengono corretti manualmente. I duplicati vengono rimossi tramite similitudine testuale.
2. Traduzione in Inglese (M2Kang): Il dataset catalano viene tradotto in inglese. Il testo viene dinamicamente ri-formattato (re-wrapped) all'interno dei bounding box originali per mantenere l'allineamento multimodale. Un LLM-as-a-judge rileva la corruzione della traduzione, seguito da una rigorosa revisione manuale dove sono state rimosse 42 traduzioni errate per garantire l'accuratezza linguistica ed eliminare i bias.
3. Estensione Multilingue: Il dataset inglese viene esteso ad altre lingue. Per garantire la qualità senza riferimenti di verità assoluta (ground-truth) per tutte le 108 lingue, gli autori impiegano una strategia di valutazione basata sulla backtranslation.
   • Metrica di Qualità: Utilizzano una metrica senza riferimento basata sul punteggio max chrf++ tra il testo sorgente e molteplici backtranslation (utilizzando modelli NLLB).
   • Soglia: I campioni con un punteggio max chrf++ inferiore a una soglia ($T = 0,625$) vengono scartati come traduzioni errate. Viene fornito anche un sottoinsieme "di alta qualità" con una soglia più rigorosa ($T = 0,85$).

2.3 Configurazione Sperimentale

Gli autori hanno testato un set diversificato di 16 modelli, inclusi sia modelli open-source (es. Qwen-2.5, Gemma, Phi-4, Kimi-Thinking) che closed-source (es. GPT-4o, Claude-4-Sonnet, Gemini-2.5-Pro) VLM.

• Lingue: Gli esperimenti si sono concentrati su 16 lingue selezionate per rappresentare un mix bilanciato di lingue a bassa, media e alta risorsa in base alla loro presenza su Internet.
• Prompting: I modelli sono stati istruiti utilizzando il Chain-of-Thought (CoT), con l'ordine di produrre tracce di ragionamento seguite da un formato di risposta specifico (A, B, C, D o E).
• Tecniche Valutate: Lo studio ha valutato il prompting standard rispetto a tre strategie di ragionamento multilingue:
  1. Model Tongue Reasoning (MTR): Tradurre la domanda in inglese e istruire il modello con la versione originale e quella tradotta.
  2. CLSP: Applicare MTR attraverso più lingue (inglese, spagnolo, tedesco, francese) e aggregare gli output tramite voto di maggioranza.
  3. Activation Steering: Modificare le attivazioni interne del modello per allineare le rappresentazioni verso l'inglese durante la generazione.

3. Risultati Chiave

3.1 Prestazioni dei Modelli

• Difficoltà Generali: Nonostante i recenti progressi, i modelli faticano ancora con la matematica di base e il ragionamento basato su diagrammi. Le prestazioni generalmente scalano con la dimensione del modello e la disponibilità di risorse linguistiche, ma non scalano con la difficoltà del livello scolastico.
• Top Performer: Gemini-2.5-Pro ha ottenuto le migliori prestazioni in tutte le lingue e categorie. Tra i modelli open, Kimi-Thinking-2506 è stato il più forte, superando GPT-4o in inglese ma mostrando cali significativi nelle lingue a bassa risorsa.
• Correlazione con le Risorse: Per tutti i modelli eccetto Gemini-2.5-Pro, l'accuratezza correla fortemente con la presenza su Internet di una lingua. I modelli più piccoli mostrano una correlazione più forte, indicando una capacità limitata di generalizzare tra le lingue. Le prestazioni nelle lingue a bassa risorsa per molti modelli si avvicinano al caso casuale.

3.2 Problemi Solo Testuali vs. Basati su Figure

È stata osservata una discrepanza costante e significativa: tutti i modelli capaci performano meglio sui problemi solo testuali rispetto a quelli basati su figure, indipendentemente dal livello di difficoltà.

• Contrasto Umano vs. AI: Questa tendenza è l'opposto delle prestazioni umane, dove gli esseri umani trovano i problemi basati su figure più facili rispetto a quelli solo testuali.
• Implicazione: Gli attuali VLM faticano a integrare efficacemente le informazioni visive per il ragionamento matematico. La modalità figura introduce complessità (relazioni spaziali, interpretazione di diagrammi) che le attuali architetture non colgono appieno.

3.3 Tecniche Multilingue

Lo studio ha valutato se le tecniche basate sul testo si trasferiscono all'ambiente multimodale:

• Superiorità di MTR: Il Model Tongue Reasoning (MTR) ha costantemente ottenuto le migliori prestazioni complessive, riducendo sostanzialmente le disparità di prestazione tra lingue a bassa e alta risorsa.
• CLSP e Steering: Il CLSP è stato meno efficace rispetto a MTR. L'Activation Steering ha offerto guadagni modesti solo nelle lingue a bassa risorsa e non è riuscito a eguagliare le prestazioni di MTR, anche sui modelli più piccoli.
• Efficienza: MTR si è dimostrato efficace anche con modelli di traduzione più piccoli, suggerendo che in scenari a basso budget si possono utilizzare traduttori più piccoli senza una perdita significativa di capacità.

3.4 Confronto tra Umani e Modelli

Utilizzando i dati sulle prestazioni di oltre 68.000 studenti della competizione Kangaroo del 2024:

• Difficoltà Non Monotonica: I modelli non mostrano un declino monotonico delle prestazioni all'aumentare della difficoltà del problema (basata sui rating di difficoltà umana). Ad esempio, Kimi-Thinking-2506 si è classificato sopra il 94° percentile per i livelli 3–6, ma solo al 44° percentile per i livelli inferiori.
• Divergenza del Ragionamento: L'analisi suggerisce che non esiste una correlazione significativa tra le capacità di ragionamento dei modelli AI e quelle dei giovani studenti. I modelli sembrano fare affidamento su approcci di risoluzione dei problemi differenti, potenzialmente radicati nel pattern matching o in uno specifico addestramento su compiti di geometria stile olimpiade, piuttosto che in un ragionamento simile a quello umano passo dopo passo.

4. Contributi Chiave

1. Dataset M3Kang: Un benchmark multilingue e multimodale composto da 1.747 problemi unici in 108 lingue (111.198 istanze totali), derivato dalla Kangaroo Math Competition.
2. Pipeline di Traduzione: Un framework open-source per creare automaticamente dataset multimodali multilingue da fonti monolingue, caratterizzato da un meccanismo di controllo della qualità basato sulla backtranslation per garantire l'integrità della traduzione senza riferimenti di verità assoluta.
3. Valutazione Esaustiva: Un benchmark completo dei principali VLM attraverso lingue e tecniche di inferenza, che rivela come i modelli fatichino con la matematica di base e i diagrammi, e come le prestazioni dipendano fortemente dalla disponibilità di risorse linguistiche.
4. Baseline Umana: Un confronto diretto con i dati sulle prestazioni di oltre 68.000 studenti, evidenziando una fondamentale discrepanza tra il ragionamento umano e quello dell'AI nei contesti matematici.

5. Significato e Rivendicazioni

L'articolo sostiene che M3Kang colma un vuoto critico nella valutazione dell'IA fornendo un banco di prova ad alta fedeltà per valutare la generalizzazione dei modelli, la coerenza cross-lingua e l'integrazione multimodale in un dominio che richiede precisione linguistica e comprensione visiva.

Gli autori affermano che i loro risultati rivelano:

• Limiti degli attuali SOTA: Anche i modelli di punta falliscono nella matematica di base e nell'interpretazione dei diagrammi, con prestazioni pesantemente influenzate dai bias verso le lingue ad alta risorsa.
• Efficacia di Tecniche Semplici: Le tecniche multilingue come MTR possono essere estese efficacementamente agli ambienti multimodali, offrendo miglioramenti significativi rispetto ai baseline senza la complessità del fine-tuning o di complessi meccanismi di voto.
• Necessità di Nuovi Benchmark: La discrepanza tra le prestazioni umane e quelle dei modelli (specialmente riguardo ai compiti visivi vs testuali) suggerisce che i futuri benchmark debbano includere compiti di ragionamento multi-step e valutare i passaggi intermedi di ragionamento per catturare meglio le abilità di problem-solving simili a quelle umane.

Gli autori sottolineano che il dataset, la pipeline e il codice sono open-source per facilitare la creazione di dataset simili in diversi contesti linguistici ed educativi, con l'obiettivo di guidare lo sviluppo di sistemi AI più inclusivi e robusti.