🤖 AI

SeePhys Pro: Diagnosing Modality Transfer and Blind-Training Effects in Multimodal RLVR for Physics Reasoning

Il documento introduce SeePhys Pro, un benchmark che rivela come i modelli multimodali attuali abbiano difficoltà nel trasferimento di modalità dal testo alle immagini e dimostra che i guadagni apparenti derivanti dall'addestramento multimodale RLVR spesso derivano da indizi testuali residui piuttosto che da un vero ragionamento visivo.

Autori originali: Kun Xiang, Terry Jingchen Zhang, Zirong Liu, Bokai Zhou, Yueling Tang, Junjie Yu, Jiacong Lu, Shangrui Huang, Heng Li, Likui Zhang, Kunkun Liu, Changzheng Zhang, Yangle Fang, Boqiang Guo, Hui-Ling Zhe

Pubblicato 2026-05-12

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Kun Xiang, Terry Jingchen Zhang, Zirong Liu, Bokai Zhou, Yueling Tang, Junjie Yu, Jiacong Lu, Shangrui Huang, Heng Li, Likui Zhang, Kunkun Liu, Changzheng Zhang, Yangle Fang, Boqiang Guo, Hui-Ling Zhen, Dandan Tu, Yinya Huang, Xiaodan Liang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a uno studente come risolvere un problema di fisica. Hai due modi per fornire loro le informazioni:

Il Metodo del Libro di Testo: Scrivi il problema a parole, descrivendo l'impostazione, i numeri e le regole.
Il Metodo del Diagramma: Disegni un'immagine dell'impostazione, etichetti le parti e scrivi i numeri direttamente sul disegno.

Intuitivamente, ci si aspetterebbe che uno studente intelligente risolva il problema ugualmente bene, sia che gli vengano fornite le parole sia che gli venga data l'immagine, purché le informazioni siano le stesse. Ma questo articolo, SEEPHYS PRO, ha scoperto che per i modelli di IA attuali questo non è vero. Anzi, le loro prestazioni peggiorano significativamente quando si passa dalle parole alle immagini.

Ecco una panoramica di ciò che i ricercatori hanno scoperto, utilizzando semplici analogie.

1. Il Test "Stessa Storia, Formato Diverso"

I ricercatori hanno creato un test speciale chiamato SEEPHYS PRO. Pensalo come una "sfida di traduzione" per l'IA.

Per ogni singolo problema di fisica, hanno creato quattro versioni che raccontano esattamente la stessa storia ma cambiano il modo in cui le informazioni vengono presentate:

Livello 1 (Solo Testo): "Un blocco pesa 5 kg ed è su una rampa." (Tutte le informazioni sono in parole).
Livello 2 (Struttura nell'Immagine): Disegnano la rampa e il blocco, ma il testo dice ancora "5 kg". (La forma è un'immagine, i numeri sono parole).
Livello 3 (Variabili nell'Immagine): Disegnano la rampa, il blocco e scrivono "5 kg" direttamente sul blocco nell'immagine. (La forma e i numeri sono ora nell'immagine).
Livello 4 (Immagine Completa): L'intero problema, incluse le istruzioni e i numeri, è scritto a mano su un foglio di carta e scansionato come un'unica immagine.

La Scoperta:
Quando i modelli di IA hanno provato questi test, le loro prestazioni sono crollate come una pietra man mano che le informazioni passavano dal testo alle immagini.

Il Collo di Bottiglia della "Lettura dell'Etichetta": Il calo più grande delle prestazioni si è verificato al Livello 3. Questo è il momento in cui l'IA doveva guardare l'immagine e "ancorare" le variabili (ad esempio: "Ok, quella linea ondulata è un filo, e il numero '12' accanto ad esso significa 12 Volt").
L'Analogia: Immagina uno chef che può seguire perfettamente una ricetta scritta (Livello 1). Se gli consegni una foto degli ingredienti con le etichette (Livello 3), improvvisamente dimentica come cucinare. Può vedere l'immagine, ma non riesce a collegare l'etichetta "2 tazze di farina" al vero sacchetto di farina nella foto. Si confonde per l'associazione visiva.

2. L'Esperimento "Addestramento alla Cieca"

I ricercatori hanno poi posto una seconda domanda: Se addestriamo queste IA utilizzando l'Apprendimento per Rinforzo (RL) su migliaia di problemi di fisica con immagini, miglioreranno nella lettura delle immagini?

Per testare questo, hanno impostato un esperimento di "Addestramento alla Cieca".

Addestramento Normale: L'IA vede il testo del problema e l'immagine.
Addestramento alla Cieca: L'IA vede il testo del problema, ma l'immagine è completamente oscurata (mascherata). È come addestrare uno studente a risolvere problemi di fisica mentre indossa una benda sugli occhi, ma l'insegnante continua a dargli gli stessi premi per la "risposta corretta".

Il Risultato Scioccante:
Anche se l'IA è stata addestrata senza alcuna immagine (solo schermi neri), è comunque migliorata nella risoluzione dei test non mascherati in cui erano presenti immagini.

L'Analogia: Immagina uno studente che si allena per un esame di guida seduto in un'auto con i finestrini dipinti di nero. Non vede mai la strada. Eppure, quando finalmente sostiene il vero esame con i finestrini aperti, guida meglio.
Perché? I ricercatori hanno scoperto che l'IA non stava imparando a "vedere" la strada. Invece, stava imparando scorciatoie. Memorizzava schemi nel testo, lo stile delle domande o le risposte tipiche. Imparava a indovinare la risposta giusta basandosi sul "vibe" del testo, non analizzando effettivamente il diagramma visivo.

3. Il "Trucco Magico" dell'Accuratezza

L'articolo conclude che quando vediamo il punteggio di un'IA aumentare, non dovremmo semplicemente fare festa. Dobbiamo chiederci: Ha davvero imparato a vedere, o è semplicemente diventata migliore nell'indovinare basandosi su indizi testuali?

Il "Guadagno alla Cieca": L'IA ha migliorato il suo punteggio anche quando le immagini di addestramento erano inutili (nere). Questo dimostra che il miglioramento proveniva dal testo e dagli schemi del dataset, non dalla comprensione visiva.
Il Divario Permane: Anche dopo l'addestramento, l'IA aveva ancora più difficoltà con le versioni ricche di immagini (Livello 3 e 4) rispetto alle versioni solo testo. Il "divario di modalità" (la differenza tra le prestazioni testuali e quelle delle immagini) non si è chiuso.

Riepilogo

Il Problema: I modelli di IA attuali sono "pesanti sul testo". Sono ottimi nel leggere problemi di fisica ma terribili nel "vederli", specialmente quando devono leggere numeri ed etichette direttamente da un diagramma.
La Trappola: I metodi di addestramento standard (Apprendimento per Rinforzo) possono far sembrare l'IA più intelligente migliorando le sue capacità di indovinare basate sul testo, anche se non impara mai a interpretare effettivamente le prove visive.
La Lezione: Per rendere davvero l'IA in grado di "vedere", non possiamo limitarci a misurare se ottiene la risposta giusta. Dobbiamo testare se ottiene la risposta giusta specificamente perché ha guardato l'immagine, e non solo perché ha riconosciuto lo schema testuale.

L'articolo dice essenzialmente: Non farti ingannare da punteggi alti. Se un'IA può risolvere un problema senza guardare l'immagine, non ha davvero imparato a vedere.

Riepilogo Tecnico: SEEPHYS PRO

Enunciato del Problema

I sistemi di IA multimodale affrontano una sfida critica nella coerenza modale: la capacità di preservare comportamenti di ragionamento identici quando informazioni equivalenti sono presentate in forme diverse (ad esempio, testo rispetto a diagrammi). I benchmark attuali valutano spesso i modelli su un singolo formato di input, offuscando se i miglioramenti nell'accuratezza della risposta finale derivino da un ragionamento genuino e invariante rispetto alla rappresentazione o da scorciatoie specifiche di una modalità. Questo divario è particolarmente acuto in fisica, dove i diagrammi definiscono spesso la struttura del sistema fisico e le associazioni delle variabili, piuttosto che limitarsi a illustrare il testo. Le valutazioni esistenti faticano a distinguere tra fallimenti nella percezione del diagramma, nella lettura delle variabili, nell'astrazione fisica e nel ragionamento simbolico a valle.

Metodologia

1. Benchmark SEEPHYS PRO

Gli autori introducono SEEPHYS PRO, un benchmark di trasferimento modale fine-granularità fondato sul principio di "stessa fisica, diversa rappresentazione".

Progettazione: Ogni problema fisico seme viene trasformato in quattro varianti semanticamente allineate che spostano progressivamente le informazioni critiche per il compito dal linguaggio alla visione:
- Livello 1 (L1): Solo testo (tutta la struttura, le variabili e le quantità in linguaggio).
- Livello 2 (L2): Struttura nell'immagine (topologia/relazioni fisiche nell'immagine; le variabili rimangono nel testo).
- Livello 3 (L3): Struttura + Variabili nell'immagine (il diagramma include etichette e valori numerici).
- Livello 4 (L4): Immagine completamente renderizzata (enunciato del problema, formule e diagramma convertiti in un unico input visivo, incluso testo scritto a mano).
Costruzione dei Dati: Derivato da oltre 5.000 pagine PDF provenienti da dataset pubblici, manuali scolastici, olimpiadi ed esami. Il dataset contiene 1.000 domande seme (4.000 varianti totali) che coprono sei discipline fisiche (Meccanica, Elettromagnetismo, Ottica, Termodinamica, Onde, Fisica Moderna).
Metriche: Il benchmark definisce metriche specifiche per scomporre le prestazioni:
- Divari di Trasferimento: $\Delta S$ (trasferimento strutturale L1→L2), $\Delta V$ (ancoraggio delle variabili L2→L3), $\Delta R$ (rendering L3→L4) e $\Delta T$ (divario totale).
- Coerenza: La percentuale di problemi risolti correttamente simultaneamente su tutti e quattro i livelli.

2. Diagnostica in Fase di Addestramento (Addestramento Cieco)

Per indagare se l'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) migliori genuinamente l'ancoraggio visivo o sfrutti semplicemente scorciatoie statistiche, gli autori hanno sviluppato due corpora RL su larga scala per la fisica (PhysRL-40K e PhysRL-8K).

Controllo di Addestramento Cieco: Un'impostazione di controllo negativo in cui tutte le immagini di addestramento sono mascherate (sostituite da immagini nere), rendendo gli istanti di addestramento visivamente irrisolvibili.
Confronto: I modelli sono addestrati tramite RL standard (con immagini) e RL Cieco (senza immagini) e valutati su set di validazione non mascherati.
Analisi del Meccanismo: Gli autori impiegano cancellazione del testo, cancellazione mirata del testo, ablazione del tasso di mascheramento delle immagini e controlli di saturazione del formato per isolare le fonti dei guadagni di prestazioni nell'addestramento cieco.

Risultati Chiave

Fragilità in Fase di Inferenza

La valutazione su 15 Modelli Linguistici Multimodali (MLLM) a pesi chiusi e aperti rivela una fragilità significativa sotto il trasferimento modale:

Degrado delle Prestazioni: L'accuratezza media scende dal 49,2% (L1) al 35,8% (L4), risultando in un divario totale di trasferimento medio di 13,4 punti percentuali.
Collo di Bottiglia nell'Ancoraggio delle Variabili: Il calo più grande delle prestazioni si verifica durante il passaggio Livello 2→Livello 3 ( $\Delta V = 7,4$ ), dove i modelli devono ancorare variabili ed etichette dall'immagine. Ciò indica che riconoscere la struttura del diagramma è meno problematico che leggere e associare quantità numeriche specifiche a entità fisiche.
Incoerenza: Anche i modelli all'avanguardia (ad esempio, GPT-5.4, Claude-4.7-Opus) mostrano una bassa coerenza a quattro vie (ad esempio, 32,6% per GPT-5.4), il che significa che un modello che risolve un problema basato sul testo spesso fallisce quando lo stesso problema è presentato visivamente.
Baseline Umana: Gli studenti delle scuole superiori (54,0% L1) mostrano una maggiore robustezza, con prestazioni che in realtà migliorano leggermente passando dal testo alla struttura (L1→L2), mentre i modelli peggiorano.

Diagnostica in Fase di Addestramento

Guadagni da Addestramento Cieco: Sorprendentemente, l'RL Cieco (addestramento con immagini mascherate) migliora l'accuratezza sui set di validazione non mascherati. Per Qwen3-VL-4B, l'RL cieco ha aumentato l'accuratezza al Livello 1 dal 9,9% al 20,9% e l'accuratezza al Livello 4 dal 6,4% al 13,0%.
Mancata Chiusura dei Divari: Nonostante i guadagni di accuratezza, l'RL cieco non riesce a chiudere i divari di trasferimento modale. Il divario totale ( $\Delta T$ ) e il divario di ancoraggio delle variabili ( $\Delta V$ ) rimangono ampi o addirittura si ampliano dopo l'addestramento.
Meccanismo dei Guadagni: L'analisi del meccanismo rivela che i guadagni ciechi sono guidati da indizi testuali residui (ad esempio, modelli di problemi, opzioni di risposta, intervalli numerici) e regolarità statistiche a livello di dataset piuttosto che da evidenze visive valide.
- La cancellazione del testo dai dati di addestramento elimina i guadagni ciechi.
- I guadagni ciechi persistono anche quando le ricompense di formato sono sature, escludendo la semplice conformità al formato come unica causa.
Validazione Cross-Benchmark: Questi risultati si estendono a benchmark esterni di matematica e fisica (ad esempio, MathVerse, PhyX), suggerendo che l'RL basato solo sull'esito spesso amplifica scorciatoie non visive piuttosto che favorire un vero ancoraggio visivo.

Significato e Affermazioni

Il documento sostiene che le attuali valutazioni del ragionamento multimodale sono insufficienti se si basano esclusivamente sull'accuratezza della risposta finale. Gli autori affermano:

L'Invarianza di Rappresentazione è Assente: I MLLM all'avanguardia non sono ancora ragionatori invarianti rispetto alla rappresentazione; sono altamente sensibili a come le informazioni sono codificate, con l'ancoraggio delle variabili che costituisce una modalità di fallimento primaria.
Limiti dell'RLVR: L'apprendimento per rinforzo con ricompense basate solo sull'esito può migliorare le prestazioni del benchmark senza migliorare effettivamente la capacità del modello di utilizzare evidenze visive. I "guadagni" osservati nell'RL standard possono derivare in gran parte dal fatto che il modello impara a sfruttare scorciatoie testuali e distribuzionali piuttosto che imparare ad ancorare il ragionamento alle immagini.
Necessità Diagnostica: La ricerca futura deve valutare il ragionamento multimodale attraverso la robustezza al trasferimento modale e le diagnostiche di ancoraggio in fase di addestramento (come i controlli di addestramento cieco) per distinguere tra apprendimento visivo genuino e miglioramenti delle prestazioni basati su scorciatoie.

Il lavoro sottolinea la necessità di benchmark e protocolli di addestramento che testino esplicitamente se i miglioramenti si basano su evidenze visive critiche per il compito, piuttosto che semplicemente sul fatto che il modello possa arrivare alla risposta corretta attraverso percorsi alternativi non visivi.