InterChart: Benchmarking Visual Reasoning Across Decomposed and Distributed Chart Information

1. Probleemstelling

Huidige Vision-Language Models (VLM's) hebben sterke capaciteiten aangetoond bij het beantwoorden van vragen over enkele, geïsoleerde diagrammen (Visual Question Answering of VQA). Echter, data-analyse in de echte wereld (bijvoorbeeld in wetenschappelijke rapporten, financiële dashboards en beleidsdocumenten) vertrouwt zelden op één visualisatie. In plaats daarvan worden inzichten afgeleid door informatie te synthetiseren over meerdere, heterogene diagrammen die kunnen verschillen in stijl, domein, temporele uitlijning en semantische kadering.

Bestaande benchmarks voor redenering over meerdere diagrammen lijden onder verschillende beperkingen:

• Vereenvoudiging: Ze vertrouwen vaak op synthetische data met uniforme stijlen en statische lay-outs.
• Gebrek aan Complexiteit: Ze slagen er niet in om uitdagingen uit de echte wereld vast te leggen, zoals visuele inconsistentie, semantische misalignering, temporele discontinuïteit en de noodzaak van meervoudige aggregatiestappen.
• Beoordelingsfouten: Ze gebruiken doorgaans exacte stringmatching, wat geen rekening houdt met parafraseerde antwoorden, numerieke benaderingen of equivalente eenheden, wat leidt tot een onnauwkeurige beoordeling van semantisch begrip.

INTERCHART adresseert deze gaten door een diagnostische benchmark te introduceren die is ontworpen om te evalueren hoe goed VLM's redeneren over meerdere gerelateerde diagrammen met toenemende niveaus van complexiteit, visuele diversiteit en semantische drift.

2. Methodologie

De INTERCHART-benchmark is gestructureerd in drie distincte niveaus (subsets), elk ontworpen om specifieke redeneeruitdagingen te isoleren in plaats van een eenvoudige prestatiehiërarchie vast te stellen. De dataset bevat 5.214 gevalideerde vraag-antwoord (QA) paren verspreid over 1.012 contexten met meerdere diagrammen.

A. Benchmark Subsets

1. DECAF (Decomposed Elementary Charts with Answerable Facts):
   • Doel: Een basislijn vaststellen voor het ophalen van atomaire feiten en gelokaliseerde vergelijkingen.
   • Constructie: Neemt complexe, multivariabele diagrammen uit bestaande datasets (ChartQA, DVQA, enz.) en decomposeert ze tot vereenvoudigde, univariabele diagrammen met behulp van een aangepaste pipeline (DePlot voor tabelextractie, Plotly voor rendering).
   • Focus: Feitelijke opslag en parallelle redenering binnen visueel vereenvoudigde eenheden.
2. SPECTRA (Synthetic Plots for Event-based Correlated Trend Reasoning and Analysis):
   • Doel: De capaciteit evalueren om gedistribueerde informatie te integreren over visueel distincte maar thematisch uitgelijnde synthetische diagrammen.
   • Constructie: Gebruikt LLM's om gestructureerde tabellen te genereren met gedeelde assen (bijv. BBP versus Levensverwachting) en rendert deze in diverse diagramtypes (staaf-lijn overlays, meervoudige assen).
   • Focus: Gecorreleerde trendredenering, gebeurtenisgebaseerde inferentie en het uitlijnen van gerelateerde grootheden over diagramparen heen.
3. STORM (Sequential Temporal Reasoning Over Real-world Multi-domain charts):
   • Doel: De bovengrenzen van VLM-capaciteiten testen met complexe, real-world data.
   • Constructie: Gecureerd uit "Our World in Data", met real-world lijndiagramparen met diverse stijlen, domeinen en temporele misaligneringen (bijv. economische rapporten, dashboards voor volksgezondheid).
   • Focus: Semantische abstractie, temporele uitlijning en meervoudige integratiestappen over heterogene visuele stijlen heen.

B. Beoordelingspipeline

Om de beperkingen van stringmatching te overwinnen, stellen de auteurs een nieuw, door LLM's ondersteund beoordelingskader voor:

• Semantische Rechters: Drie distincte LLM's (Gemini 1.5 Flash, Phi-4 en Qwen2.5-7B) fungeren als rechters.
• Meerderheidsstemming: Elk model evalueert de output van de VLM tegen de ground truth. Een binaire correctheidsscore wordt toegewezen op basis van meerderheidsstemming.
• Flexibiliteit: Deze benadering accepteert parafraseerde antwoorden, numerieke benaderingen en equivalente eenheden, waardoor een robuustere maatstaf voor semantisch begrip wordt geboden.

C. Experimentele Opstelling

De auteurs evalueerden een diverse set gesloten-bron (Gemini 1.5 Pro, GPT-4o Mini) en open-source (Qwen2-VL, MiniCPM-V, InternVL, Idefics3) VLM's. Ze testten meerdere inputstrategieën:

• Visuele Formaten: Gecombineerd (samengevoegde afbeeldingen) versus Interleaved (sequentiële inputs).
• Prompting: Zero-Shot, Zero-Shot Chain-of-Thought (CoT) en Few-Shot met Directives.
• Intermediaire Representaties: Directe visuele input versus Chart-to-Table conversie (met behulp van DePlot en DePlot++).

3. Belangrijkste Bijdragen

1. Eerste Multi-Tier Benchmark: INTERCHART is de eerste benchmark die decomponeren, synthetische en real-world diagramcontexten omvat, specifiek gericht op redenering over meerdere diagrammen.
2. Gestructureerde Redeneertaken: Het introduceert een gelaagd systeem (DECAF, SPECTRA, STORM) om visuele parsefouten te ontkoppelen van redeneerfouten, waarbij gelokaliseerde afhankelijkheden, trendcorrelaties en temporele abstracties worden vastgelegd.
3. Semantisch Beoordelingskader: Het op LLM's gebaseerde meerderheidsstemmingssysteem verbetert de uitlijning met menselijke oordelen en maakt fijnmazige foutanalyse mogelijk, verder dan starre stringmatching.
4. Diagnostische Inzichten: De benchmark onthult dat huidige modellen significant worstelen met integratie over diagrammen heen, met name wanneer visuele stijlen en semantische contexten uiteenlopen.

4. Belangrijkste Resultaten en Analyse

De evaluatie van state-of-the-art VLM's onthulde consistente en steile afnames in nauwkeurigheid naarmate de complexiteit van de diagrammen toenam:

• Prestatieverval: Modellen presteerden goed op DECAF (vereenvoudigde diagrammen) maar zagen significante dalingen in nauwkeurigheid in SPECTRA en een drastische daling in STORM. Bijvoorbeeld, Gemini-1.5 Pro daalde van ongeveer 65% in DECAF naar ongeveer 35% in STORM.
• Decompositie Helpt: Het converteren van complexe diagrammen naar decomponeren, univariabele eenheden (DECAF) verbeterde de nauwkeurigheid aanzienlijk, wat benadrukt dat modellen worstelen met integratie over diagrammen heen en visuele rommel in plaats van basisfeitelijke opslag.
• Synthetisch versus Real-World: Modellen generaliseren slecht van synthetische data (SPECTRA) naar real-world scenario's (STORM). De verschuiving omvat het hanteren van domeinverschuivingen, visuele diversiteit en temporele redenering, wat huidige modellen niet effectief kunnen overdragen.
• Prompting-strategieën: Chain-of-Thought (CoT) en Few-Shot prompting met directives verbeterden de prestaties op eenvoudigere subsets (DECAF/SPECTRA) maar boden beperkt voordeel voor de zeer complexe STORM-subset, wat suggereert dat verbale redenering niet kan compenseren voor hoge visuele/semantische complexiteit.
• Intermediaire Representaties: Hoewel het converteren van diagrammen naar tabellen (Chart-to-Table) hielp bij synthetische data, verslechterde het de prestaties op real-world STORM-diagrammen. Dit geeft aan dat tabellen vaak falen in het vastleggen van de semantische en temporele uitlijning die cruciaal is voor redenering over misgelijkte real-world assen.
• Modelvergelijking: Gemini-1.5 Pro presteerde consequent beter dan andere modellen over alle niveaus, waarschijnlijk vanwege zijn training op gestructureerde inputs en sterke instructievolging. Open-source modellen (Qwen2, MiniCPM) toonden redelijke prestaties op eenvoudige taken maar worstelden met complexe redenering.

5. Betekenis

INTERCHART biedt een rigoureus diagnostisch kader dat de focus verschuift van "kan het model het antwoord geven?" naar "waarom en waarom faalt het model?".

• Identificeert Falingsmodi: Het isoleert specifieke zwaktes, zoals het onvermogen om semantische drift, temporele misalignering en visuele heterogeniteit te hanteren.
• Leidt Toekomstig Onderzoek: De resultaten suggereren dat toekomstige VLM's betere mechanismen nodig hebben voor cross-visual attention, temporele redenering en semantische uitlijning in plaats van alleen verbeterde visuele parsing.
• Toepasbaarheid in de Echte Wereld: Door te focussen op real-world scenario's met meerdere diagrammen (STORM), adresseert de benchmark direct de behoeften van toepassingen in wetenschappelijk rapportage, financiële analyse en openbaar beleid, waar datasynthese cruciaal is.

Concluderend toont INTERCHART aan dat VLM's, hoewel ze bekwaam worden in het lezen van individuele diagrammen, fundamenteel worden uitgedaagd door de taak om informatie te synthetiseren over meerdere, diverse visualisaties heen – een kritieke kloof voor de implementatie van AI in de echte wereld.