💻 computer science

Sci-Rho: A Multilingual Visually-Grounded Symbolic Benchmark for STEM Problems

Questo articolo introduce Sci-Rho, un benchmark simbolico multilingue e visivamente fondato composto da 4.242 modelli eseguibili di problemi STEM attraverso cinque materie e sette lingue, il quale rivela significativi gap di robustezza nei modelli Vision-Language allo stato dell'arte quando valutati rispetto a variazioni del caso peggiore piuttosto che su medie statiche.

Autori originali: Muhammad Falensi Azmi, Ikhlasul Akmal Hanif, Vallerie Alexandra Putra, Adi Yeltay, Abdullah Mubarak, Fajri Koto

Pubblicato 2026-06-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Muhammad Falensi Azmi, Ikhlasul Akmal Hanif, Vallerie Alexandra Putra, Adi Yeltay, Abdullah Mubarak, Fajri Koto

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di testare la capacità di uno studente di risolvere problemi scientifici. In passato, i ricercatori consegnavano allo studente un singolo foglio di lavoro statico con un'immagine e una domanda. Se lo studente rispondeva correttamente, passava l'esame. Ma questo articolo sostiene che ciò sia come testare un conducente solo su una strada dritta e deserta. Non ti dice se è in grado di gestire una buca improvvisa, una deviazione o una diversa condizione meteorologica.

Gli autori di questo articolo, Sci-ρ, hanno deciso di costruire un test di guida molto più difficile e dinamico per gli studenti IA (specificamente, i Modelli Vision-Language o VLM).

Ecco una semplice analisi di ciò che hanno fatto e di ciò che hanno scoperto:

1. Il test "cambiaforma" (Il Dataset)

Invece di dare all'IA 606 domande di scienze statiche, i ricercatori hanno costruito una fabbrica digitale.

Il Progetto: Hanno creato 606 "template" di problemi in Matematica, Fisica, Chimica, Biologia e Informatica. Immaginali come dei progetti maestri.
La Fabbrica: Hanno scritto del codice (Python) che prende questi progetti e stampa istantaneamente 10 versioni leggermente diverse di ogni problema.
- Esempio: Se un problema di matematica chiede l'area di un quadrato, la fabbrica potrebbe stampare una versione con un lato di 5, un'altra con un lato di 7, un'altra con un colore diverso, o persino con una forma diversa.
Il Tocco Multilingue: Non l'hanno fatto solo in inglese. Hanno tradotto le istruzioni in 7 lingue (incluse Swahili, Hindi e Arabo), mantenendo le immagini uguali.
Il Risultato: Sono arrivati a 42.420 problemi unici. È come dare all'IA una biblioteca enorme dove ogni libro ha 10 edizioni diverse, tutte che pongono la stessa logica centrale ma con un aspetto leggermente differente.

2. La trappola della "Media" contro il "Caso Peggiore"

I ricercatori hanno testato 17 diversi modelli di IA su questa enorme libreria. Hanno osservato due punteggi:

Accuratezza Media: Quanto spesso l'IA risponde correttamente attraverso tutte le 10 versioni di un problema.
Accuratezza nel Caso Peggiore: Quanto spesso l'IA risolve correttamente ogni singola una delle raffiche di 10 versioni.

La Grande Scoperta:
I modelli di IA sembravano ottimi nel punteggio di "Media". Ma quando i ricercatori hanno guardato il punteggio del "Caso Peggiore", i modelli sono crollati.

L'Analogia: Immagina uno studente che risolve correttamente 9 problemi su 10 di matematica. Sembra intelligente. Ma se gli chiedi di risolvere gli stessi 10 problemi con numeri leggermente diversi, e questa volta ne sbaglia 4, non sta realmente "ragionando" attraverso la matematica. Probabilmente sta solo memorizzando schemi o indovinando in base a come appaiono i numeri.
Il Risultato: Anche i modelli di IA più intelligenti e costosi (come GPT-5.4) mostravano un enorme divario. Potevano risolvere un problema facilmente, ma se cambiavi il colore di un grafico o i numeri leggermente, spesso fallivano. I modelli più piccoli e meno costosi fallivano ancora di più.

3. La Barriera Linguistica

I ricercatori hanno controllato se l'IA faticasse di più quando le istruzioni erano in una lingua diversa dall'inglese.

I Grandi Modelli: I modelli giganti e costosi erano come dei poliglotti; gestivano l'inglese, il cinese e lo swahili quasi allo stesso modo.
I Piccoli Modelli: I modelli più piccoli e open-source erano come turisti che parlano solo inglese. Quando le istruzioni passavano a una lingua meno comune (come lo swahili), le loro prestazioni calavano significativamente. Sembravano confusi dal semplice cambio di lingua, anche se il problema scientifico era lo stesso.

4. Il Probleo "Occhi vs Cervello"

I ricercatori hanno sbirciato dentro uno dei modelli di IA per vedere come "pensava". Hanno misurato quanta attenzione il modello prestava all'immagine rispetto al testo.

Il Risultato: L'attenzione del modello cambiava a seconda della lingua.
- Quando il testo era in Cinese, il modello faceva meno affidamento sull'immagine e di più sul testo.
- Quando il testo era in Kazako o Hindi, il modello faceva un forte affidamento sull'immagine.
La Metafora: È come se l'IA pensasse: "Non capisco bene questa lingua, quindi proverò a indovinare basandomi sul disegno". Quando capisce perfettamente la lingua, si fida di più delle parole. Questo suggerisce che l'IA non "vede" l'immagine in modo veramente umano; la usa solo come un supporto quando il testo è confuso.

5. Dove l'IA si incagliava

Quando l'IA falliva, i ricercatori categorizzavano gli errori:

Leggere male l'immagine (63%): L'IA non riusciva a contare i punti in un diagramma o a leggere i numeri su un grafico correttamente.
Cattiva Logica (29%): L'IA conosceva la formula corretta ma la applicava alla cosa sbagliata, o inventava fatti che non erano presenti.
Errori Matematici (8%): L'IA aveva la logica giusta ma sbagliava il semplice calcolo aritmetico.

Il Punto Fondamentale

L'articolo conclude che i test statici ci stanno mentendo. Solo perché un'IA può risolvere un problema scientifico specifico una volta, non significa che comprenda la scienza. Potrebbe semplicemente riconoscere un pattern visto durante l'addestramento.

Per sapere davvero se un'IA è intelligente, dobbiamo scuotere il tavolo, cambiare i numeri, scambiare le lingue e vedere se è ancora in grado di risolvere il problema. Se non ci riesce, non sta ragionando; sta solo tirando a indovinare. Sci-ρ è lo strumento progettato per scuotere quel tavolo.

Riepilogo Tecnico: Sci-ρ: Un Benchmark Multilingue Simbolico e Visivamente Fondato per Problemi STEM

Definizione del Problea

Gli attuali benchmark per la valutazione dei Large Vision-Language Models (VLM) nei domini STEM soffrono di tre limitazioni primarie:

Mancanza di Valutazione della Robustezza: La maggior parte dei benchmark esistenti si basa su immagini statiche e singole. Essi non riescono a distinguere tra i modelli che ragionano realmente sul contenuto visivo e quelli che hanno successo grazie all'abbinamento di caratteristiche superficiali osservate durante l'addestramento. La presentazione visiva di un problema (ad esempio, coordinate specifiche o colori) è spesso incidentale alla sua logica sottostante, eppure le valutazioni attuali non testano se i modelli siano in grado di risolvere varianti logicamente equivalenti con diversi parametri visivi.
Ambito di Dominio Limitato: Gli sforzi esistenti sono pesantemente concentrati su Matematica e Fisica, lasciando Biologia, Chimica e Informatica ampiamente inesplorate nel contesto del ragionamento visivamente fondato, nonostante le loro distinte richieste visive (ad esempio, strutture molecolari, diagrammi biologici).
Bias Monolingue: Le valutazioni sono condotte quasi esclusivamente in inglese, lasciando incerto se le capacità dei VLM si trasferiscano negli ambienti multilingue dove la maggior parte di studenti e professionisti incontra effettivamente i contenuti STEM.

Metodologia: Il Benchmark Sci-ρ

Per affrontare queste lacune, gli autori introducono Sci-ρ (Science Robustness), un benchmark dinamico, simbolico e multilingue per problemi STEM visivamente fondati.

Costruzione del Dataset

Il dataset è stato costruito in due fasi coinvolgendo esperti di dominio, inclusi medagliati delle olimpiadi scientifiche e studenti universitari avanzati:

Creazione dei Template: Sono stati creati 606 template di problemi di alta qualità attraverso cinque materie (Matematica, Fisica, Chimica, Biologia e Informatica) basandosi sui programmi Cambridge IGCSE e A-Level. Ogni problema è implementato come una classe Python eseguibile. Queste classi generano dinamicamente istanze di problemi variando:
- Valori numerici: Cambiando i numeri nel testo o nelle immagini.
- Pattern visivi: Alterando le disposizioni (ad esempio, posizioni degli oggetti).
- Forme geometriche: Modificando dimensioni o forme.
- Schemi di colore: Cambiando i colori delle soluzioni o le tonalità degli oggetti.
- Tipi di funzione: Alternando tra lineari, quadratiche, ecc.
  Ogni template garantisce almeno 10 varianti distinte.
Traduzione: Le descrizioni dei problemi sono state tradotte in altre sei lingue (indonesiano, cinese, arabo, hindi, kazako e swahili) utilizzando la traduzione automatica seguita da una rigorosa verifica da parte di madrelingua. Il controllo qualità ha incluso errori "honey-pot" per garantire l'accuratezza dei traduttori.

Il dataset finale comprende 42.420 istanze di problemi uniche (606 template × 10 varianti × 7 lingue), ciascuna accoppiata con soluzioni di verità fondamentale (ground-truth) e passaggi di ragionamento step-by-step in LaTeX.

Framework di Valutazione

Gli autori hanno valutato 17 modelli VLM allo stato dell'arte (inclusi GPT-5.4, Gemini 2.5, Qwen3.5, Llama 4, InternVL e altri) utilizzando sei metriche:

Accuratezza del caso medio ( $A_{avg}$ ): La media dell'accuratezza su tutte le varianti generate.
Accuratezza del caso peggiore ( $A_{wst}$ ): La proporzione di template di problemi in cui il modello ha risposto correttamente a ogni variante. Questo misura la consistenza.
Metriche a livello di step: Recall ( $R$ ), Precision ( $P$ ) e punteggi F1 ( $F$ ) per i passaggi di ragionamento, calcolati confrontando gli output del modello con la verità fondamentale utilizzando un giudice LLM (GPT-5.4).
F1 del caso peggiore ( $F_{wst}$ ): Il punteggio F1 minimo tra tutte le varianti per un dato template.
Rapporto di Attenzione all'Immagine (IAR): Un'analisi meccanicistica che misura l'attenzione relativa che i VLM allocano ai token dell'immagine rispetto ai token del testo durante la generazione.

Risultati Chiave

1. Il Gap di Robustezza

Esiste un significativo divario di performance tra l'accuratezza del caso medio e quella del caso peggiore in tutti i modelli.

Modelli Frontier: Anche i modelli di punta come GPT-5.4 e Gemini 2.5 mostrano cali del 10–28% nell'accuratezza del caso peggiore rispetto alla loro accuratezza media. Ad esempio, l'accuratezza di GPT-5.4 in Biologia scende dal 72,2% (media) al 47,8% (caso peggiore).
Modelli più piccoli: I modelli open-weight più piccoli soffrono di una degradazione severa. In Biologia, modelli come InternVL3.5-4B e Molmo2-4B collassano efficacemente nelle condizioni del caso peggiore, con l'accuratezza che scende vicino allo 0% per alcune varianti.
Sensibilità all'Architettura: Il modello Qwen3.5-122B-A10B (architettura MoE) ha mostato un'accuratezza del caso peggiore significativamente inferiore rispetto al suo equivalente denso da 27B, suggerendo che il numero di parametri da solo non garantisce la robustezza.

2. Performance Multilingue

Modelli Proprietari/Grandi: I grandi modelli proprietari (GPT-5.4, Gemini 2.5) e i grandi modelli open-weight mostrano una degradazione delle performance quasi nulla tra le lingue, mantenendo la robustezza in contesti non inglesi.
Modelli più piccoli: I modelli open-weight più piccoli mostrano cali di performance notevoli nelle lingue non inglesi, particolarmente in lingue a basse risorse come lo Swahili. Ciò suggerisce che la rappresentazione del corpus di pre-training influenza fortemente la robustezza multilingue.

3. Analisi dei Passaggi di Ragionamento

La valutazione a livello di step rivela che la fragilità del ragionamento è un fenomeno generale, non limitato ai modelli più piccoli.

Consistenza: Esiste un divario costante tra F1 medio e F1 del caso peggiore. Persino GPT-5.4 perde tra i 13 e i 20 punti in F1 nelle condizioni del caso peggiore.
Difficoltà della Materia: La Biologia rimane la materia più impegnativa per tutti i modelli, seguita da Matematica e Informatica, che mostrano i cali più grandi nella consistenza a livello di step.

4. Insight Meccanicistici (Teste di Attenzione)

L'analisi delle teste di attenzione del modello Qwen3-VL-8B-Instruct rivela una sostanziale variazione cross-linguistica nel Rapporto di Attenzione all'Immagine (IAR):

Dipendenza dalla Lingua: Il modello fa meno affidamento sul contesto visivo quando sollecitato in Cinese (IAR più basso) e molto di più quando sollecitato in Kazako e Hindi (IAR più alto).
Ipotesi: Gli autori ipotizzano che una maggiore familiarità linguistica permetta al modello di fare più affidamento sugli input testuali, mentre una minore familiarità costringe a un affidamento compensatorio sugli input visivi.

5. Modalità di Fallimento

L'ispezione manuale dei fallimenti di GPT-5.4 ha identificato tre tipi primari di errore:

Errori di lettura delle figure (63,5%): Fallimento nell'estrarre valori numerici accurati o errori nel conteggio degli oggetti.
Errori di conoscenza (28,8%): Ragionamento logico errato, allucinazione di informazioni inesistenti o applicazione di teoremi errati.
Errori di calcolo (7,7%): Errori aritmetici nonostante la logica corretta.

Significato e Rivendicazioni

Il paper afferma che Sci-ρ è il primo benchmark simbolico e multilingue di robustezza per il ragionamento visivamente fondato in ambito STEM. Il suo significato primario risiede nello spostamento del paradigma di valutazione da un test statico e a istanza singola a una valutazione dinamica basata su varianti.

Gli autori sostengono che:

I benchmark statici sono insufficienti: Non riescono a distinguere il vero ragionamento dal semplice abbinamento di pattern superficiali. Il grande divario tra accuratezza media e del caso peggiore espone la fragilità degli attuali VLM.
La robustezza è una metrica critica: La vera capacità in ambito STEM richiede prestazioni consistenti attraverso perturbazioni visive e numeriche, una capacità attualmente carente anche nei modelli frontier.
La robustezza multilingue dipende dal modello: Mentre i grandi modelli generalizzano bene tra le lingue, i modelli più piccoli faticano, evidenziando la necessità di un migliore pre-training multilingue o di aggiustamenti architettonici.
Il grounding visivo è inconsistente: La variazione nell'allocazione dell'attenzione tra le lingue suggerisce che i VLM non integrano uniformemente le informazioni visive e testuali, potenzialmente facendo affidamento sul testo quando sono familiari e sulle immagini quando non lo sono.

Il lavoro conclude che valutare i VLM oltre i benchmark statici è essenziale per misurare la loro reale qualità e prontezza per applicazioni STEM rigorose.