CodePercept: Code-Grounded Visual STEM Perception for MLLMs

Il paper "CodePercept" identifica le carenze percettive come il principale limite del ragionamento visivo STEM negli MLLM e propone un nuovo paradigma che utilizza l'esecuzione di codice per migliorare la percezione, supportato dal dataset su larga scala ICC-1M e dalla nuova benchmark STEM2Code-Eval.

L'essenziale

Immagina di avere un super-robot (chiamato MLLM, o Modello Linguistico Multimodale Grande) che è bravissimo a risolvere problemi di matematica, fisica e ingegneria. Tuttavia, quando gli mostri un disegno complesso o un grafico scientifico, questo robot spesso sbaglia.

La domanda fondamentale che gli autori di questo studio si sono posti è: "Perché sbaglia? È perché non sa pensare bene (ragionamento) o perché non sa vedere bene (percezione)?"

Ecco la spiegazione semplice di come hanno scoperto la risposta e cosa hanno fatto per risolvere il problema.

1. La Scoperta: Il problema non è il cervello, ma gli occhi

Gli scienziati hanno fatto un esperimento curioso. Hanno preso il robot e hanno provato a potenziare due cose separatamente:

• Il "Cervello" (Ragionamento): Gli hanno dato più capacità di logica.
• Gli "Occhi" (Percezione): Gli hanno insegnato a descrivere le immagini con molta più precisione.

Il risultato sorprendente? Potenziare il cervello non ha aiutato molto. Ma potenziare la capacità di "vedere" e descrivere l'immagine ha fatto saltare le prestazioni in modo incredibile.
La metafora: È come dare a un architetto un libro di matematica più avanzato (ragionamento) quando il suo problema è che non riesce a misurare bene i muri con il metro (percezione). Se non sai misurare, non importa quanto sia bravo a calcolare: l'edificio crollerà.

2. La Soluzione: Insegnare al robot a "disegnare con il codice"

Il team ha capito che le parole (come "cerchio rosso" o "linea tratteggiata") sono troppo vaghe e ambigue per descrivere la scienza. Se dici "disegna un triangolo", il robot potrebbe sbagliare le dimensioni o gli angoli.

La loro idea geniale è stata: "Non chiediamo al robot di descrivere l'immagine con le parole, ma di riscriverla usando il codice di programmazione (Python)."

• L'analogia: Immagina di dover ricostruire un castello di Lego.
  • Se ti dico a parole: "Metti un mattoncino rosso qui e uno blu là", potresti sbagliare.
  • Se ti do un programma che dice esattamente: "Prendi il mattoncino rosso numero 42, posizionalo a coordinate X=5, Y=10", non c'è errore possibile.
  • Il codice è la "verità assoluta". Se il codice funziona e disegna l'immagine perfetta, allora il robot ha capito perfettamente l'immagine.

3. Cosa hanno creato: Due grandi "palestre" per il robot

Per insegnare a questi robot a vedere meglio, hanno costruito due cose principali:

A. Il "Gym" (ICC-1M): Un milione di esercizi

Hanno creato un'enorme libreria di 1 milione di immagini scientifiche, ma con un trucco: ogni immagine è accompagnata non solo da una descrizione, ma dal codice esatto che l'ha generata.

• Come funziona: Invece di dire al robot "guarda questa foto di un grafico", gli mostrano la foto e gli dicono: "Scrivi il codice per ridisegnare questa foto". Se il codice è corretto, il robot ha imparato a vedere i dettagli (numeri, posizioni, relazioni) che prima ignorava.

B. Il "Test Finale" (STEM2Code-Eval): L'esame pratico

Prima, si valutava se un robot era bravo guardando se risolveva il problema di matematica. Ma se sbaglia, non sai se è perché non ha visto il grafico o perché non sa fare l'equazione.
Ora, il test è diverso: "Ridisegna l'immagine originale usando il codice."

• Se il robot scrive un codice che, quando eseguito, produce un'immagine identica all'originale, allora ha passato l'esame di percezione. È un test oggettivo e verificabile: o il codice funziona e l'immagine è uguale, oppure no.

4. Il Risultato: Un robot che "vede" davvero

Grazie a questo metodo, i robot (in particolare la famiglia Qwen) sono diventati molto più bravi a:

• Contare gli oggetti in un'immagine complessa senza sbagliare.
• Capire le relazioni spaziali (chi è sopra chi, chi è collegato a chi).
• Risolvere problemi di matematica visiva perché ora "vedono" i dati correttamente prima di iniziare a ragionare.

In sintesi

Gli autori hanno detto: "Smettiamola di cercare di rendere i robot più intelligenti nel ragionare, e iniziamo a renderli più precisi nel vedere."
Lo hanno fatto insegnando loro a parlare la lingua della precisione: il codice. È come se avessimo dato al robot un metro laser invece di una stima a occhio nudo, permettendogli di vedere il mondo scientifico con una chiarezza mai vista prima.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "CodePercept: Code-Grounded Visual STEM Perception for MLLMs" in lingua italiana.

1. Il Problema: Il Collo di Bottiglia nella Ragionamento STEM Visivo

Il lavoro nasce da una domanda fondamentale: quando i Modelli Linguistici Multimodali (MLLM) falliscono nei compiti di ragionamento scientifico, tecnologico, ingegneristico e matematico (STEM), è dovuto a carenze percettive o limitazioni nel ragionamento?

Attraverso un'analisi sistematica su larga scala, gli autori hanno scoperto che scalare le capacità di ragionamento non è la soluzione più efficace. Al contrario, scalare le capacità di percezione visiva porta a guadagni di prestazioni significativamente maggiori.
Il problema principale identificato è la "afasia descrittiva" delle immagini STEM: le relazioni spaziali complesse, i valori numerici precisi e le strutture geometriche non possono essere catturati accuratamente dal linguaggio naturale. I metodi attuali basati sulla distillazione della conoscenza (usando caption generati da altri LLM) soffrono di allucinazioni e imprecisioni fattuali, rendendo la percezione il vero collo di bottiglia. Inoltre, mancano benchmark diretti per valutare la percezione visiva pura, poiché la maggior parte delle valutazioni si basa sulla risoluzione di problemi, che mescola percezione e ragionamento.

2. Metodologia: CodePercept

La proposta centrale è CodePercept, un paradigma che utilizza il codice eseguibile come mezzo percettivo fondamentale. L'idea è che la capacità di un modello di generare codice Python (usando librerie come matplotlib) per ricostruire fedelmente un'immagine è la prova definitiva della sua comprensione visiva completa.

La metodologia si articola in tre fasi principali:

A. Costruzione del Dataset ICC-1M

Gli autori hanno creato ICC-1M, un dataset su larga scala contenente oltre 1 milione di triplets (Immagine, Didascalia, Codice). La generazione dei dati avviene attraverso tre pipeline complementari:

1. Riproduzione Immagine (Image Reproduction): Conversione di immagini STEM esistenti in codice Python eseguibile.
2. Diversità Immagine (Image Diversity): Estrazione dei principi scientifici da immagini "seed" e loro re-istanziazione in contesti visivi diversi mantenendo la validità concettuale (es. trasformare un puzzle di domino lineare in uno circolare).
3. Sintesi Geometria Solida (Solid Geometry Synthesis): Utilizzo di template di codice parametrici per generare immagini di geometria solida (es. cubi, sezioni), un'area in cui i MLLM attuali falliscono spesso.

Un controllo di qualità rigoroso (filtraggio basato su MLLM specializzati) garantisce la coerenza tra il codice generato e l'immagine renderizzata.

B. Due Compiti di Addestramento "Code-Grounded"

Per potenziare la percezione, il modello viene addestrato su due compiti specifici:

1. Generazione di Didascalie Basate sul Codice (Code-Grounded Caption Generation): Invece di generare didascalie direttamente dall'immagine (soggette ad allucinazioni), il modello genera prima il codice di riproduzione (che funge da verità fondamentale), analizza il codice per estrarre fatti visivi verificati (coordinate, conteggi esatti) e infine sintetizza una didascalia naturale ma fattualmente precisa.
2. Traduzione Immagine-STEM in Codice (STEM Image-to-Code Translation): Il modello impara a generare codice di ricostruzione direttamente dall'immagine, con spiegazioni passo-passo che mappano gli elementi visivi alle strutture di programmazione.

C. Strategia di Addestramento

Il processo di addestramento segue due stadi:

• Stage 1 (SFT - Supervised Fine-Tuning): Addestramento congiunto sui compiti di captioning e traduzione immagine-codice utilizzando il dataset ICC-1M.
• Stage 2 (RL - Reinforcement Learning): Applicazione di GRPO (Group Relative Policy Optimization) esclusivamente alla generazione del codice. La funzione di ricompensa valuta:
  • Il formato del codice.
  • L'esecuzione riuscita del codice.
  • La similarità semantica con il codice ground-truth.
  • La similarità visiva tra l'immagine originale e quella renderizzata dal codice.

3. Contributi Chiave

1. Identificazione del Collo di Bottiglia: Dimostrazione empirica che la percezione visiva, non il ragionamento, è il limite principale per i MLLM nei compiti STEM.
2. Nuovo Paradigma di Valutazione (STEM2Code-Eval): Introduzione di un benchmark manuale di 1.000 immagini che valuta la percezione visiva chiedendo al modello di generare codice Python per ricostruire l'immagine. A differenza dei benchmark tradizionali, questo fornisce una valutazione deterministica e verificabile (il codice deve funzionare e produrre l'immagine corretta).
3. Dataset e Metodologia (ICC-1M & CodePercept): Creazione di un dataset massivo e di un framework di addestramento che utilizza il codice come "verità fondamentale" per eliminare le allucinazioni nelle descrizioni visive e migliorare la comprensione strutturale.

4. Risultati Sperimentali

I risultati confermano l'efficacia dell'approccio CodePercept:

• Valutazione tramite Risoluzione Problemi (Captioner-Solver): Quando i modelli CodePercept (addestrati con il nuovo paradigma) generano descrizioni per altri modelli di ragionamento, le prestazioni migliorano drasticamente. Ad esempio, CodePercept-8B-S1 supera modelli molto più grandi come Qwen2.5-VL-72B e si avvicina a modelli frontier come Claude-Opus 4.1 e GPT-5, dimostrando che descrizioni più accurate portano a un ragionamento migliore.
• Valutazione Diretta (STEM2Code-Eval): Nel benchmark di ricostruzione immagini, i modelli CodePercept mostrano miglioramenti sostanziali rispetto alle controparti base.
  • CodePercept-32B-R1 raggiunge un punteggio medio di 75.80 (Image Score + Code Score), superando di gran lunga i modelli SOTA esistenti (es. Gemini 2.5-Pro-Thinking ottiene 78.67, ma CodePercept-32B-R1 supera i modelli di dimensioni simili come Qwen3-VL-32B di oltre 20 punti).
  • L'uso del Reinforcement Learning (Stage R1) porta a ulteriori guadagni significativi, specialmente nel tasso di esecuzione del codice (Exec Rate).

5. Significato e Impatto

Questo lavoro segna un cambio di paradigma nella ricerca sui MLLM per lo STEM:

• Il Codice come Percezione: Stabilisce che il codice eseguibile è un mezzo superiore al linguaggio naturale per rappresentare e validare la comprensione visiva di dati complessi e strutturati.
• Risoluzione delle Allucinazioni: Fornisce un metodo robusto per eliminare le allucinazioni numeriche e spaziali, un problema cronico nei modelli multimodali.
• Efficienza delle Risorse: Dimostra che migliorare la percezione (anche su modelli più piccoli) è più efficace che cercare di scalare solo le capacità di ragionamento, offrendo una via più efficiente per costruire sistemi STEM affidabili.

In sintesi, CodePercept dimostra che per far "vedere" davvero alle macchine la scienza e la matematica, dobbiamo insegnar loro a "programmare" ciò che vedono, trasformando la percezione visiva in un processo di generazione di codice verificabile.