VisTIRA: Closing the Image-Text Modality Gap in Visual Math Reasoning via Structured Tool Integration

1. Il Problema: Il "Modality Gap" nel Ragionamento Matematico Visivo

Il paper identifica e quantifica un divario significativo (modality gap) nelle prestazioni dei modelli Vision-Language (VLM) quando affrontano problemi matematici presentati come immagini rispetto alla loro controparte testuale.

• Il Fenomeno: Quando un problema matematico viene fornito come testo, i VLM ottengono un'accuratezza molto più alta rispetto a quando lo stesso problema è renderizzato come immagine (con formule dense, layout complessi, diagrammi e testo incorporato).
• Le Cause: Il divario è causato da errori cumulativi nella lettura visiva: i modelli falliscono nel decifrare correttamente la struttura del layout (es. basi delle frazioni, limiti di integrali, pedici, parentesi graffe per funzioni a tratti) e nel gestire il contesto misto tra simboli e diagrammi. Un singolo errore di trascrizione (es. un esponente errato) innesca una cascata di errori algebrici che porta a una risposta finale errata.
• Limitazioni Attuali: I dataset esistenti (VQA, OCR) mancano di traiettorie di ragionamento passo-passo eseguibili associate alle immagini, fornendo spesso solo risposte finali o brevi spiegazioni in linguaggio naturale, il che non allena adeguatamente i modelli al ragionamento iterativo.

2. Metodologia: VisTIRA e Pipeline di Dati

Gli autori propongono VisTIRA (Vision and Tool-Integrated Reasoning Agent), un framework che integra il ragionamento linguistico naturale con l'esecuzione di strumenti di calcolo (Python) per risolvere problemi matematici visivi.

A. Framework VisTIRA

VisTIRA opera attraverso un ciclo iterativo chiuso:

1. Decomposizione: Il modello riceve un'immagine di un problema matematico.
2. Ragionamento e Azione: Ad ogni passo, il modello genera:
   • Una rationale in linguaggio naturale ($\rho_i$) che spiega il passo logico.
   • Un snippet di codice Python ($A_i$) eseguibile per calcolare quel passo specifico.
3. Esecuzione Esterna: Il codice viene eseguito da un motore esterno (es. SymPy, NumPy) e l'output ($O_i$) viene restituito al modello.
4. Iterazione: L'output viene concatenato alla traccia di ragionamento e il modello decide se continuare o fermarsi una volta generata la risposta finale racchiusa in \boxed{}.
   Questo approccio riduce le allucinazioni aritmetiche delegando i calcoli esatti a un motore simbolico.

B. Costruzione dei Dati e Pipeline

Per addestrare VisTIRA e valutare il divario modale, gli autori hanno sviluppato due pipeline principali:

1. Generazione di Traiettorie (SnapAsk):
   • Utilizzano un dataset proprietario di immagini di compiti scolastici reali (SnapAsk, ~303k immagini).
   • Un modello "insegnante" potente (es. GPT-5 o GPT-4o) genera traiettorie di ragionamento integrate con strumenti (rationale + codice + output).
   • Filtro di Coerenza: Vengono mantenute solo le traiettorie in cui la risposta finale generata dall'esecuzione del codice corrisponde esattamente alla risposta dedotta dal ragionamento a catena (CoT) del modello. Questo produce un corpus di ~148k esempi di alta qualità per il Supervised Fine-Tuning (SFT).
2. Pipeline di Rendering LaTeX (NuminaMath):
   • Per creare un benchmark controllato che permetta un confronto diretto testo-immagine, convertono il dataset testuale NuminaMath-CoT (~860k problemi) in immagini.
   • Un LLM converte il testo in codice LaTeX compilabile, che viene poi renderizzato in immagini tipografiche.
   • Vengono rilasciati 360k immagini "pulite" e 360k immagini "noisy" (degradate stocasticamente con rumore, sfocatura, ecc.) per simulare condizioni reali.

C. Grounding OCR

Gli autori investigano l'uso di sistemi OCR avanzati (DeepSeek-OCR) come segnale complementare. L'OCR estrae il testo dalle immagini e lo fornisce al modello insieme all'immagine originale (o da solo) per vedere se la trascrizione testuale compensa le debolezze del modello visivo.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su Qwen2.5-VL-7B (modello di base) e confrontati con GPT-5 su due dataset: NuminaMath (renderizzato) e SnapAsk (reale).

• Efficacia di VisTIRA:

  • Il fine-tuning su traiettorie VisTIRA porta a miglioramenti significativi rispetto al solo addestramento CoT (Chain-of-Thought) o al modello base.
  • Su SnapAsk (immagini reali), VisTIRA migliora l'accuratezza del +5.43% rispetto al modello base, mentre il solo CoT SFT migliora solo del +1.65%. Questo dimostra che l'integrazione degli strumenti è il fattore chiave, non solo l'adattamento al dominio.
  • Su NuminaMath, VisTIRA raggiunge il 60.97% contro il 58.77% del modello base.

• Analisi del Modality Gap:

  • Il divario tra testo e immagine è confermato: su NuminaMath, Qwen2.5-VL-7B ottiene il 64.19% in testo ma solo il 58.77% in immagine.
  • Il gap è più pronunciato nei modelli più piccoli (Qwen) rispetto a quelli più grandi (GPT-5), suggerendo che la capacità di percezione visiva scala con le dimensioni del modello.

• Impatto dell'OCR:

  • Modelli Piccoli: L'aggiunta di OCR (Image + OCR) migliora drasticamente le prestazioni di Qwen2.5-VL-7B (da 58.77% a 63.89%), indicando che l'estrazione esplicita del testo compensa la debole capacità di lettura visiva del modello.
  • Modelli Grandi: Per GPT-5, l'aggiunta di OCR porta a miglioramenti marginali o addirittura a un leggero calo se confrontato con l'uso esclusivo dell'OCR, suggerendo che per i modelli avanzati l'OCR grezzo può introdurre ridondanza o rumore.
  • Analisi dei Problemi: L'OCR aiuta principalmente su problemi con testo denso e notazioni complesse, dove i modelli piccoli falliscono nella lettura visiva diretta.

• Test di Stress con Immagini Noisy:

  • Le immagini degradate (rumore, sfocatura) riducono le prestazioni di GPT-5, ampliando il gap modale.
  • Le prestazioni di Qwen2.5-VL-7B rimangono stabili, indicando che il suo limite è già imposto dalla capacità di parsing del layout e non dal rumore dei pixel.

4. Contributi Chiave

1. Framework VisTIRA: Un agente di ragionamento iterativo che combina rationale naturale ed esecuzione di codice per risolvere problemi matematici visivi, riducendo gli errori di calcolo.
2. Corpus di Traiettorie Verificate: Creazione di un vasto dataset di traiettorie "rationale-code-output" da immagini di compiti reali (SnapAsk), filtrato per coerenza interna, per il fine-tuning supervisionato.
3. Pipeline di Benchmark Controllato: Sviluppo di un metodo per convertire corpus matematici testuali in immagini tipografiche (NuminaMath renderizzato), rilasciando 720k immagini (pulite e noisy) per la ricerca sulla comunità.
4. Analisi del Gap Modale e dell'OCR: Dimostrazione empirica che il gap tra testo e immagine è inversamente correlato alle dimensioni del modello e che l'OCR agisce come un segnale compensativo efficace per i modelli più piccoli, mentre il ragionamento integrato con strumenti è essenziale per scalare le prestazioni.

5. Significato e Implicazioni

Il lavoro di VisTIRA è significativo perché:

• Sfida la percezione comune: Dimostra che il semplice aumento delle dimensioni del modello non risolve completamente il problema del ragionamento matematico visivo; è necessaria un'architettura che integri strumenti di calcolo esterni.
• Strategia Ibrida: Propone una strategia duale per colmare il gap: (1) insegnare ai modelli a usare strumenti (tool-integrated reasoning) per la precisione computazionale e (2) utilizzare l'OCR come segnale di grounding per i modelli con capacità visiva limitata.
• Risorsa per la Comunità: Il rilascio di dataset sintetici (NuminaMath renderizzato) e reali (SnapAsk con traiettorie) fornisce risorse fondamentali per lo sviluppo futuro di VLM capaci di ragionamento matematico robusto in scenari reali (es. foto di lavagne, compiti scolastici).

In sintesi, VisTIRA dimostra che per superare le limitazioni attuali dei VLM nel ragionamento matematico visivo, è necessario passare da un approccio puramente basato sulla percezione e generazione testuale a un approccio ibrido che integra la percezione visiva con l'esecuzione logica e computazionale verificata.