VG-CoT: Towards Trustworthy Visual Reasoning via Grounded Chain-of-Thought

1. Il Problema

I modelli di linguaggio e visione su larga scala (LVLM) hanno mostrato capacità eccezionali nella comprensione generale delle immagini, ma faticano nel ragionamento basato su regioni locali precise. Le limitazioni principali identificate dagli autori sono:

• Mancanza di allineamento esplicito: I dataset esistenti per il ragionamento multimodale (Chain-of-Thought o CoT) spesso non collegano esplicitamente ogni passo del ragionamento alle evidenze visive specifiche (coordinate spaziali) all'interno dell'immagine.
• Scalabilità e Costi: I dataset che includono informazioni sulle regioni locali dipendono quasi interamente da annotazioni manuali, rendendo la creazione di dati su larga scala costosa e poco scalabile.
• Valutazione Incompleta: Le metriche di valutazione attuali si concentrano quasi esclusivamente sulla correttezza della risposta finale. Questo non permette di verificare se il modello ha raggiunto la risposta corretta attraverso un ragionamento logico basato su prove visive reali o se ha semplicemente indovinato (allucinazione o bias statistico).

2. Metodologia: Il Dataset VG-CoT e la Pipeline

Per affrontare queste sfide, gli autori propongono VG-CoT (Visual Grounded Chain-of-Thought), un dataset costruito tramite una pipeline automatizzata a tre stadi che elimina la necessità di annotazione umana, garantendo scalabilità ed efficienza.

La pipeline procede come segue:

1. Estrazione di Evidenze Visive Multi-Granularità:
   • Vengono utilizzati modelli di rilevamento oggetti all'avanguardia (YOLO) per estrarre le bounding box degli oggetti.
   • Vengono utilizzati modelli OCR (PaddleOCR) per estrarre testo e le sue coordinate.
   • Per alcuni dataset (GQA), vengono sfruttate le informazioni dei grafi della scena esistenti.
2. Generazione di CoT Basata su Evidenze Visive:
   • Un modello LLM potente (GPT-4o) riceve l'immagine, la domanda, la risposta corretta e le evidenze visive estratte nello stadio 1.
   • Il prompt istruisce il modello a generare un ragionamento passo-passo che cita esplicitamente le coordinate spaziali (evidenze visive) per ogni deduzione logica, evitando la semplice generazione testuale.
3. Raffinamento dell'Grounding Guidato dal Rationale:
   • Poiché il ragionamento generato potrebbe riferirsi a oggetti sottili o contestuali non rilevati nello stadio 1, vengono estratti i sostantivi chiave dal testo generato.
   • Questi termini vengono utilizzati come query per un rilevatore di oggetti open-set (Grounding DINO) per localizzare con precisione gli oggetti menzionati nel ragionamento.
   • Le evidenze visive raffinate vengono infine allineate a ogni passo del ragionamento.

Il dataset risultante contiene 13.826 campioni suddivisi in tre compiti: VQA Generale (riconoscimento oggetti), VQA di Relazione (relazioni complesse tra oggetti) e VQA basata su testo (Scene-text).

3. Nuovo Benchmark di Valutazione

Oltre al dataset, il paper introduce un nuovo benchmark che valuta gli LVLM su tre dimensioni complementari, superando la semplice accuratezza della risposta:

1. Qualità del Rationale (RQ): Valuta la qualità del processo di ragionamento su una scala da 1 a 5, analizzando:
   • Utilizzo delle Evidenze Visive: Quanto il modello usa le coordinate e i dati visivi.
   • Coerenza Logica: La fluidità tra i passaggi.
   • Completezza: Se tutte le deduzioni necessarie sono presenti.
2. Accuratezza della Risposta (AA): La correttezza binaria della risposta finale.
3. Allineamento Ragionamento-Risposta (RAA): Misura la correlazione tra la qualità del ragionamento e la correttezza della risposta. Include due metriche:
   • Consistency Score: La proporzione di casi in cui un ragionamento eccellente porta a una risposta corretta (o un ragionamento scarso a una risposta errata).
   • Faithful Score: La proporzione di risposte corrette che sono strettamente supportate da un ragionamento eccellente.

4. Risultati Sperimentali

Gli autori hanno valutato e fine-tunato quattro LVLM rappresentativi (LLaVA-1.5 7B/13B, Qwen2-VL, Qwen2.5-VL) utilizzando il dataset VG-CoT.

• Miglioramenti Generali: Il fine-tuning con VG-CoT ha portato a miglioramenti coerenti in quasi tutte le metriche. Ad esempio, per LLaVA-1.5-7B, la Qualità del Rationale (Overall) è passata da 72.2 a 83.4, e l'Accuratezza della Risposta da 48.7 a 62.5.
• Performance per Compito: I miglioramenti sono stati significativi sia nei compiti di riconoscimento oggetti che in quelli di relazioni complesse. Nel compito "Scene-text" (testo nell'immagine), il punteggio di ragionamento di LLaVA-1.5-7B è aumentato drasticamente da 63.8 a 86.4.
• Analisi dell'Grounding: L'analisi della precisione nella predizione delle evidenze visive (misurata con mAP) mostra che, sebbene i modelli migliorino nel localizzare oggetti grandi e relazioni, faticano ancora a localizzare con precisione regioni di testo piccole e dense (mAP più basso nel task Scene-text).
• Allineamento: La maggior parte dei modelli ha mostrato un aumento nella coerenza tra ragionamento e risposta, indicando che il modello sta imparando a basare le sue conclusioni su prove visive reali piuttosto che su allucinazioni.

5. Significato e Contributi Chiave

Il lavoro di VG-CoT è significativo per diversi motivi:

• Ragionamento Fidato (Trustworthy): Fornisce un metodo per verificare che la logica del modello sia ancorata alla realtà visiva, riducendo le allucinazioni e aumentando la fiducia nelle applicazioni critiche (es. robotica, diagnostica medica).
• Scalabilità: Dimostra che è possibile creare dataset di ragionamento visivo complessi e ad alta qualità senza costose annotazioni manuali, utilizzando una pipeline automatizzata.
• Nuovo Standard di Valutazione: Sposta il focus della ricerca dalla semplice "risposta corretta" alla "qualità del processo di pensiero", introducendo metriche che misurano la coerenza logica e l'uso delle prove visive.
• Risorse Open: Il dataset e il codice sono stati resi pubblici per facilitare ulteriori ricerche nel campo degli LVLM.

In sintesi, VG-CoT rappresenta un passo fondamentale verso LVLM più affidabili, capaci di spiegare le proprie decisioni basandosi su evidenze visive concrete e verificabili.