InterChart: Benchmarking Visual Reasoning Across Decomposed and Distributed Chart Information

1. Problem Statement

I modelli Vision-Language (VLM) attuali hanno dimostrato forti capacità nel rispondere a domande su singoli grafici isolati (Visual Question Answering o VQA). Tuttavia, l'analisi dei dati nel mondo reale (ad esempio, in rapporti scientifici, dashboard finanziarie e documenti politici) raramente si basa su una singola visualizzazione. Al contrario, le intuizioni sono derivate sintetizzando informazioni attraverso grafici multipli ed eterogenei che possono differire per stile, dominio, allineamento temporale e inquadramento semantico.

I benchmark esistenti per il ragionamento su più grafici soffrono di diverse limitazioni:

• Semplificazione: Spesso si basano su dati sintetici con stili uniformi e layout statici.
• Mancanza di Complessità: Non riescono a catturare le sfide del mondo reale come l'incoerenza visiva, il disallineamento semantico, la discontinuità temporale e la necessità di aggregazione multi-step.
• Difetti di Valutazione: Utilizzano tipicamente il matching esatto delle stringhe, che non tiene conto di risposte parafrasate, approssimazioni numeriche o unità equivalenti, portando a una valutazione inaccurata della comprensione semantica.

INTERCHART affronta queste lacune introducendo un benchmark diagnostico progettato per valutare quanto bene i VLM ragionano attraverso grafici correlati multipli con livelli crescenti di complessità, diversità visiva e deriva semantica.

2. Methodology

Il benchmark INTERCHART è strutturato in tre livelli distinti (sottoinsiemi), ciascuno progettato per isolare sfide specifiche di ragionamento piuttosto che stabilire una semplice gerarchia di prestazioni. Il dataset contiene 5.214 coppie domanda-risposta (QA) validate attraverso 1.012 contesti multi-grafico.

A. Benchmark Subsets

1. DECAF (Decomposed Elementary Charts with Answerable Facts):
   • Obiettivo: Stabilire una baseline per il recupero di fatti atomici e confronti localizzati.
   • Costruzione: Prende grafici complessi e multivariabili da dataset esistenti (ChartQA, DVQA, ecc.) e li scompone in grafici semplificati a singola variabile utilizzando una pipeline personalizzata (DePlot per l'estrazione di tabelle, Plotly per il rendering).
   • Focus: Ricerca fattuale e ragionamento parallelo all'interno di unità visivamente semplificate.
2. SPECTRA (Synthetic Plots for Event-based Correlated Trend Reasoning and Analysis):
   • Obiettivo: Valutare la capacità di integrare informazioni distribuite attraverso grafici sintetici visivamente distinti ma allineati tematicamente.
   • Costruzione: Utilizza LLM per generare tabelle strutturate con assi condivisi (ad esempio, PIL vs Aspettativa di vita) e le rende in tipi di grafici diversi (sovrapposizioni barra-linea, assi multipli).
   • Focus: Ragionamento su trend correlati, inferenza basata su eventi e allineamento di quantità correlate tra coppie di grafici.
3. STORM (Sequential Temporal Reasoning Over Real-world Multi-domain charts):
   • Obiettivo: Esplorare i limiti superiori delle capacità dei VLM con dati complessi del mondo reale.
   • Costruzione: Curato da "Our World in Data", presenta coppie di grafici a linee del mondo reale con stili, domini e disallineamenti temporali diversi (ad esempio, rapporti economici, dashboard di salute pubblica).
   • Focus: Astrazione semantica, allineamento temporale e integrazione multi-step attraverso stili visivi eterogenei.

B. Evaluation Pipeline

Per superare le limitazioni del matching delle stringhe, gli autori propongono un nuovo framework di valutazione assistito da LLM:

• Giudici Semantici: Tre LLM distinti (Gemini 1.5 Flash, Phi-4 e Qwen2.5-7B) agiscono come giudici.
• Voto di Maggioranza: Ogni modello valuta l'output del VLM rispetto alla verità fondamentale. Viene assegnato un punteggio di correttezza binario basato sul voto di maggioranza.
• Flessibilità: Questo approccio accetta risposte parafrasate, approssimazioni numeriche e unità equivalenti, fornendo una misura più robusta della comprensione semantica.

C. Experimental Setup

Gli autori hanno valutato un insieme diversificato di VLM closed-source (Gemini 1.5 Pro, GPT-4o Mini) e open-source (Qwen2-VL, MiniCPM-V, InternVL, Idefics3). Hanno testato diverse strategie di input:

• Formati Visivi: Combinati (immagini cucite) vs Interleaved (input sequenziali).
• Prompting: Zero-Shot, Zero-Shot Chain-of-Thought (CoT) e Few-Shot con Direttive.
• Rappresentazioni Intermedie: Input visivo diretto vs conversione Chart-to-Table (utilizzando DePlot e DePlot++).

3. Key Contributions

1. Primo Benchmark Multi-Livello: INTERCHART è il primo benchmark che abbraccia contesti di grafici decomposti, sintetici e del mondo reale, mirando specificamente al ragionamento su più grafici.
2. Compiti di Ragionamento Strutturati: Introduce un sistema a livelli (DECAF, SPECTRA, STORM) per disaccoppiare gli errori di parsing visivo dai fallimenti di ragionamento, catturando dipendenze localizzate, correlazioni di trend e astrazioni temporali.
3. Framework di Valutazione Semantica: Il sistema di voto di maggioranza basato su LLM migliora l'allineamento con il giudizio umano e consente un'analisi degli errori fine-granularità, superando il rigido matching delle stringhe.
4. Insight Diagnostici: Il benchmark rivela che i modelli attuali faticano significativamente con l'integrazione cross-grafico, in particolare quando gli stili visivi e i contesti semantici divergono.

4. Key Results and Analysis

La valutazione dei VLM all'avanguardia ha rivelato un calo costante e ripido dell'accuratezza all'aumentare della complessità del grafico:

• Calo delle Prestazioni: I modelli hanno performato bene su DECAF (grafici semplificati) ma hanno registrato cali significativi di accuratezza in SPECTRA e un calo drastico in STORM. Ad esempio, Gemini-1.5 Pro è sceso da ~65% in DECAF a ~35% in STORM.
• La Decomposizione Aiuta: Convertire grafici complessi in unità decomposte a singola variabile (DECAF) ha migliorato significativamente l'accuratezza, evidenziando che i modelli faticano con l'integrazione cross-grafico e il disordine visivo piuttosto che con il recupero di fatti di base.
• Sintetico vs Mondo Reale: I modelli generalizzano male dai dati sintetici (SPECTRA) agli scenari del mondo reale (STORM). Il passaggio comporta la gestione di shift di dominio, diversità visiva e ragionamento temporale, che i modelli attuali non riescono a trasferire efficacemente.
• Strategie di Prompting: Chain-of-Thought (CoT) e Few-Shot prompting con direttive hanno migliorato le prestazioni su sottoinsiemi più semplici (DECAF/SPECTRA) ma hanno offerto un beneficio limitato per il sottoinsieme altamente complesso STORM, suggerendo che il ragionamento verbale non può compensare l'alta complessità visiva/semantica.
• Rappresentazioni Intermedie: Sebbene la conversione dei grafici in tabelle (Chart-to-Table) abbia aiutato sui dati sintetici, ha peggiorato le prestazioni sui grafici STORM del mondo reale. Questo indica che le tabelle spesso non riescono a catturare l'allineamento semantico e temporale critico per il ragionamento su assi del mondo reale disallineati.
• Confronto tra Modelli: Gemini-1.5 Pro ha costantemente superato gli altri modelli in tutti i livelli, probabilmente grazie al suo addestramento su input strutturati e al forte rispetto delle istruzioni. I modelli open-source (Qwen2, MiniCPM) hanno mostrato prestazioni ragionevoli su compiti semplici ma hanno faticato con il ragionamento complesso.

5. Significance

INTERCHART fornisce un framework diagnostico rigoroso che sposta il focus da "il modello può rispondere?" a "dove e perché il modello fallisce?".

• Identifica Modi di Fallimento: Isola debolezze specifiche, come l'incapacità di gestire la deriva semantica, il disallineamento temporale e l'eterogeneità visiva.
• Guida la Ricerca Futura: I risultati suggeriscono che i futuri VLM hanno bisogno di meccanismi migliori per l'attenzione cross-visiva, il ragionamento temporale e l'allineamento semantico piuttosto che di un semplice miglioramento del parsing visivo.
• Applicabilità nel Mondo Reale: Concentrandosi su scenari multi-grafico del mondo reale (STORM), il benchmark affronta direttamente le esigenze di applicazioni nella reportistica scientifica, nell'analisi finanziaria e nella politica pubblica, dove la sintesi dei dati è critica.

In conclusione, INTERCHART dimostra che, sebbene i VLM stiano diventando competenti nella lettura di singoli grafici, rimangono fondamentalmente sfidati dal compito di sintetizzare informazioni attraverso multiple visualizzazioni diverse, un divario critico per il deployment dell'IA nel mondo reale.