CRIT: Graph-Based Automatic Data Synthesis to Enhance Cross-Modal Multi-Hop Reasoning

1. Il Problema

Il ragionamento nel mondo reale richiede spesso la combinazione di informazioni provenienti da diverse modalità (testo e immagini) in un processo a più passaggi (multi-hop). Tuttavia, le attuali valutazioni dei modelli Vision-Language (VLM) presentano carenze significative:

• Limiti dei Benchmark Esistenti: La maggior parte dei benchmark multimodali si basa su singole immagini o set statici di immagini dove la risposta può essere inferita da una sola modalità, fallendo nel testare il vero ancoraggio (grounding) incrociato.
• Carenza di Dati di Addestramento: I dati di addestramento intercalati (immagini e testo mescolati) raramente impongono un ragionamento complementare a più salti. Di conseguenza, i VLM tendono ad allucinare o a produrre tracce di ragionamento non ancorate alle evidenze visive.
• Fallimenti del Ragionamento: Quando si richiede un ragionamento passo-passo (Chain of Thought), i modelli attuali spesso producono tracce disgiunte dal contesto multimodale, basandosi su bias testuali o visivi isolati invece che su una sintesi integrata.

2. Metodologia: Il Framework CRIT

Per colmare questo divario, gli autori introducono CRIT (Cross-modal multi-hop Reasoning over interleaved Image-Text), un nuovo dataset e benchmark generato tramite una pipeline automatica basata su grafi.

A. Pipeline di Generazione dei Dati

La metodologia evita la generazione diretta di domande da parte di un VLM (che porterebbe a bias ciclici e allucinazioni) utilizzando invece un approccio strutturato in tre fasi:

1. Costruzione del Grafo di Contenuto Multimodale:
   • Si parte da immagini con scene graph annotati (es. GQA).
   • Vengono campionate da 1 a 6 immagini e i loro grafi vengono fusi.
   • Un LLM (Large Language Model) viene utilizzato per aggiungere nuovi nodi (entità testuali) e relazioni che fungono da "ponti" tra le diverse immagini, creando un contesto narrativo coerente ma non ridondante.
2. Generazione del Contesto Testuale:
   • Vengono estratti sottografi dal grafo multimodale per generare descrizioni testuali complementari (storie, diari, script documentaristici) che collegano le entità visive senza rivelare direttamente le risposte.
3. Generazione di Coppie Q&A a Multi-Salto:
   • Vengono campionati sottografi che rappresentano una catena di fatti (1-5 salti/edge).
   • Si garantisce che la catena includa nodi sia visivi che testuali e che il nodo terminale sia visivo (per forzare l'ispezione dell'immagine).
   • Un LLM genera la domanda e la risposta, assicurando che le entità intermedie non siano menzionate esplicitamente nella domanda, costringendo il modello a inferirle.
   • Viene generata anche una traccia di ragionamento (CoT) basata sul grafo per l'addestramento supervisionato.

B. Estensioni a Domini Diversi

La pipeline è stata estesa per includere:

• Video: Utilizzando frame da dataset come ActivityNet Captions, convertendo le didascalie temporali in grafi di scene coerenti.
• Documenti Scientifici: Convertendo articoli scientifici (testo, figure, tabelle) in grafi unificati, rimuovendo le parti del testo che duplicano le informazioni visive per forzare il ragionamento incrociato.

3. Contributi Chiave

1. Framework di Sintesi Dati: Un nuovo framework automatico basato su grafi per generare dati di ragionamento a più salti su domini diversificati (immagini naturali, video, documenti scientifici).
2. Dataset CRIT: Un dataset su larga scala (circa 270k coppie Q&A) con un set di test verificato manualmente da annotatori umani per garantire la qualità e l'assenza di ambiguità.
3. Analisi delle Prestazioni: Una valutazione approfondita di modelli SOTA (State-of-the-Art) e dimostrazione che l'addestramento su CRIT migliora significativamente le capacità di ragionamento multimodale, trasferendosi anche su benchmark esistenti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi modelli VLM (inclusi Qwen2.5-VL, Idefics2, GPT-4o, Gemini).

• Prestazioni su CRIT: I modelli pre-addestrati (inclusi modelli proprietari come GPT-4o) mostrano prestazioni basse, evidenziando la difficoltà del compito. Tuttavia, i modelli fine-tuned su CRIT (es. Qwen2.5-VL-7B) hanno mostrato miglioramenti drastici, superando anche i modelli proprietari più grandi in termini di Exact Match (EM) e F1.
• Generalizzazione: Il fine-tuning su CRIT ha portato a guadagni significativi su benchmark di ragionamento multimodale esistenti come SPIQA, VEGA, MMQA e FCMR, dimostrando che le capacità apprese sono trasferibili.
• Impatto su Benchmark Generali: L'addestramento su CRIT non ha degradato le capacità generali dei modelli su benchmark standard (MME, SeedBench, ChartQA), ma ha anzi migliorato le prestazioni su compiti che richiedono comprensione visiva profonda (es. BLINK, MP-DocVQA).
• Analisi degli Errori: L'analisi su 75 errori di GPT-4o ha rivelato che il 55% dei fallimenti è dovuto a errori di localizzazione dell'evidenza (il modello non trova l'immagine o il paragrafo corretto), seguito da errori di percezione visiva (32%). Questo conferma che il collo di bottiglia principale è l'integrazione delle modalità, non la comprensione linguistica.

5. Significato e Conclusioni

Il lavoro CRIT rappresenta un passo avanti fondamentale per lo sviluppo di VLM robusti:

• Superamento dei Bias: Dimostra che l'uso di una struttura a grafo per la generazione dei dati supera i limiti della generazione diretta tramite LLM, producendo dati di addestramento di alta qualità e privi di allucinazioni strutturali.
• Scalabilità: La pipeline automatica permette di scalare la creazione di dati complessi, superando i costi proibitivi della raccolta manuale.
• Necessità di Dati Complementari: Conferma che per migliorare il ragionamento multimodale non basta avere più dati, ma servono dati che forzino esplicitamente l'integrazione complementare tra testo e immagine.
• Futuro: CRIT fornisce una base solida per sviluppare modelli capaci di ragionamento multimodale ancorato alla realtà, essenziale per applicazioni reali come la lettura di documenti tecnici, la diagnosi medica o l'analisi di report finanziari complessi.

In sintesi, CRIT non è solo un nuovo dataset, ma una metodologia che dimostra come la sintesi strutturata dei dati possa risolvere le carenze fondamentali dei modelli multimodali attuali nel ragionamento a più salti.