VisDoT : Enhancing Visual Reasoning through Human-Like Interpretation Grounding and Decomposition of Thought

Het paper introduceert VisDoT, een framework dat visuele redenering verbetert door menselijke perceptie te simuleren en vragen te ontleden in waarnemings- en logische subvragen, wat leidt tot state-of-the-art prestaties op diverse chart- en VQA-benchmarks.

De kern

VisDoT: De "Menselijke Bril" voor Slimme Computers

Stel je voor dat je een computer een complexe grafiek laat zien, bijvoorbeeld een staafdiagram met de verkoopcijfers van verschillende landen. Als je vraagt: "Welk land heeft de hoogste verkoop in 2023?", zou je verwachten dat de computer dit direct en correct beantwoordt.

Maar hier zit het probleem: huidige slimme modellen (zoals de "grote broers" van ChatGPT die ook naar plaatjes kunnen kijken) kijken vaak als een verkeerde bezoeker in een museum. Ze zien de kleuren en lijnen, maar ze begrijpen niet waar de lijnen precies staan of hoe ze zich verhouden tot elkaar. Ze gissen vaak op basis van tekst, wat leidt tot fouten. Ze zien een rode balk, maar weten niet zeker of die bij "Japan" of "Duitsland" hoort.

VisDoT is een nieuwe manier om deze computers te leren kijken, ontwikkeld door onderzoekers van de Dongguk University. Het idee is simpel maar briljant: Leer de computer eerst te kijken als een mens, en pas daarna te denken.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: De "Goochelaar" die de truc niet doorheeft

Stel je voor dat je een goochelaar bent die een kaart uit een deck moet vinden. Als je de computer vraagt om de kaart te vinden, kijkt hij naar de tekst op de kaart ("Aas van harten") maar mist hij de positie in het deck. Hij raadt dan gewoon.
In de wereld van grafieken betekent dit dat de computer de visuele elementen (de positie van een balk, de lengte van een lijn, de kleur van een stukje) niet goed koppelt aan de betekenis. Hij ziet een lange lijn, maar weet niet of die "groot" betekent of "klein", tenzij er tekst bij staat die hij soms over het hoofd ziet.

2. De Oplossing: VisDoT (Visuele Denken in Stapjes)

De onderzoekers hebben VisDoT bedacht. Dit staat voor Visual Dot Thinking (Visueel Denken). Het werkt in twee stappen, net zoals een mens dat doet:

Stap 1: De "Oog-Scan" (Perceptie)

Voordat de computer überhaupt begint na te denken over het antwoord, dwingt VisDoT hem om eerst te kijken.
Stel je voor dat je een puzzel oplost. Je begint niet met het zoeken naar de oplossing, maar eerst met het sorteren van de stukjes.

• Positie: "Waar staat die balk? Is hij links of rechts?"
• Lengte: "Hoe lang is die lijn precies?"
• Patroon: "Welke kleur hoort bij welk land?"
• Uitlezen: "Wat staat er precies op dat getal?"

De computer moet eerst deze visuele feiten "vastpinnen" voordat hij verder gaat. Dit is als een detective die eerst alle bewijsstukken op de grond verzamelt voordat hij een theorie opstelt.

Stap 2: De "Denk-Strategie" (Decomposition-of-Thought)

Dit is de tweede innovatie. In plaats van dat de computer direct een antwoord schreeuwt, moet hij zijn vraag opbreken in kleinere stukjes.

• Oude manier: "Wat is het verschil tussen de verkoop van A en B?" -> Gok: "100."
• VisDoT-methode:
  1. "Wat is de verkoop van A?" -> Kijken: "500."
  2. "Wat is de verkoop van B?" -> Kijken: "300."
  3. "Wat is het verschil?" -> Rekenen: "500 - 300 = 200."

Dit heet Decomposition-of-Thought (DoT). Het is alsof je een groot, zwaar pakket niet in één keer probeert te tillen, maar het eerst in kleinere dozen verdeelt die je wel kunt dragen.

3. Waarom werkt dit zo goed?

De onderzoekers hebben een computer getraind met duizenden voorbeelden waarbij hij eerst moest "kijken" en dan pas "rekenen".

• Resultaat: De computer wordt veel beter in het lezen van grafieken. Hij maakt veel minder fouten bij het vergelijken van lijnen of het lezen van kleine tekstjes.
• De "Superkracht": Zelfs een middelgrote computer (die niet de duurste en grootste is) kan nu presteren als de allerbeste, duurste modellen (zoals GPT-4o), omdat hij de juiste methode gebruikt om te kijken.

4. De Analogie: De Architect vs. De Schilder

• De oude modellen waren als een schilder die probeert een gebouw te tekenen door alleen naar de kleuren te kijken. Hij ziet dat er veel rood is, maar weet niet waar de muren staan.
• VisDoT is als een architect. Hij kijkt eerst naar de blauwdruk (de visuele structuur): "Hier is de fundering, hier is de eerste verdieping." Pas als hij de structuur begrijpt, begint hij te rekenen met de materialen.

Conclusie

VisDoT leert computers om niet direct naar het antwoord te springen, maar eerst de wereld om hen heen (de grafiek) goed te begrijpen. Door te leren kijken voordat ze denken, worden ze niet alleen slimmer in het beantwoorden van vragen over grafieken, maar ook betrouwbaarder en makkelijker te volgen voor mensen.

Het is alsof we een computer hebben gegeven een menselijke bril om de wereld van data te zien, zodat hij niet meer hoeft te raden, maar echt kan zien wat er staat.

Technische samenvatting

Titel: VisDoT: Versterking van Visueel Redeneren door Menselijke Interpretatie

Probleemstelling
Grote Visueel-Taalmodellen (LVLMs) kampen met een fundamenteel tekortkoming bij het interpreteren van gevisualiseerde data, zoals diagrammen, grafieken en infographics. Hoewel deze modellen goed presteren in tekstuele taken, falen ze vaak bij het betrouwbaar detecteren van visuele primitieven (zoals balkhoogtes, posities op assen of kleuren) en het aligneren hiervan met semantische representaties.

• De Kernbottleneck: Bestaande modellen vertrouwen vaak op tekstuele sleutelwoorden of eenvoudige CoT (Chain-of-Thought) prompting, wat leidt tot een gebrek aan "perceptuele grounding". Ze kunnen visuele elementen niet correct koppelen aan hun betekenis in de realiteit (bijv. het onderscheiden van legendes of het vergelijken van meerdere objecten).
• Gevolg: Dit resulteert in significante prestatiedalingen bij complexe visuele redeneertaken, waarbij de modellen hallucineren of foutieve conclusies trekken omdat ze de visuele structuur niet correct hebben ontcijferd.

Methodologie: Het VisDoT Framework
De auteurs stellen VisDoT (Visual Decomposition of Thought) voor, een raamwerk dat visueel redeneren verbetert door menselijke perceptieprincipes na te bootsen en het redeneerproces te decomponeren. De aanpak bestaat uit twee hoofdcomponenten:

1. Perceptie-gebaseerde Taken (Gebaseerd op Grafische Perceptie):
   Gebaseerd op de theorie van Cleveland en McGill (1984) over menselijke grafische perceptie, formaliseren de auteurs vier kernperceptietaken om de aandacht van het model te aligneren met menselijke verwerking:

   • Positie (Position): Het vergelijken van objectposities langs een schaal (bijv. x- of y-as) om relatieve volgorde te bepalen. Dit wordt gezien als het meest accurate perceptuele kanaal.
   • Lengte (Length): Het interpreteren van visuele attributen zoals lengte van balken of lijnen als secundaire cue.
   • Patroon (Pattern): Het koppelen van patronen (kleuren, texturen, symbolen) aan legendes en data om categorieën te onderscheiden.
   • Extraheren (Extract): Het direct lezen van expliciet getoonde numerieke waarden (OCR-achtige taken).

2. Decomposition-of-Thought (DoT) Prompting:
   In plaats van een directe antwoordgeneratie of een standaard CoT, introduceert VisDoT een gestructureerde prompt-strategie die complexe vragen ontbindt in een sequentie van sub-vragen:

   • Fase 1: Vraag-Decompositie: Het model wordt gedwongen om een complexe vraag eerst te ontleden in een reeks perceptie-gerichte sub-vragen (bijv. "Wat is de waarde van de rode balk?") voordat logische redeneer-vragen worden gesteld (bijv. "Wat is het verschil tussen de rode en blauwe balk?").
   • Fase 2: Probleemoplossing: Het model beantwoordt de sub-vragen sequentieel, waarbij elke stap gebaseerd is op de visuele input en de context van de vorige stappen.
   • Formalisatie: De taak wordt herschreven als een compositieve query waarbij de waarschijnlijkheid van het antwoord wordt gemodelleerd als een product van de waarschijnlijkheid van de decompositie en de waarschijnlijkheid van het correct beantwoorden van elke sub-tak.

Dataset en Training

• VisDoTQA: De auteurs hebben een nieuw dataset gebouwd genaamd VisDoTQA, bestaande uit 331.969 vraag-antwoordparen gegenereerd via een geautomatiseerd proces dat de vier perceptietaken en DoT-prompting combineert. De data is afkomstig van bronnen zoals Pew Research, Statista en OECD.
• Training: Ze hebben open-source modellen (zoals InternVL2.5) gefinetuned op deze dataset. Het trainingproces leert het model niet alleen om antwoorden te geven, maar om het proces van perceptie en logisch redeneren expliciet te volgen.

Belangrijkste Resultaten
Het paper rapporteert state-of-the-art resultaten op meerdere benchmarks:

• ChartQA: VisDoT (met InternVL-4B) boekte een verbetering van +11.2% ten opzichte van de baseline. Het presteerde vergelijkbaar met of beter dan gesloten modellen zoals GPT-4o en Gemini-Flash-2.0, vooral op de menselijke subset (+14.2%).
• ChartQAPro: Op dit uitdagendere benchmark (met onbekende diagramtypes en complexere redenering) overtrof VisDoT-4GPT-4o en bereikte een score van 34.54%.
• VisDoTQA: Op hun eigen benchmark boekte het model een enorme sprong van 33.2% (van 43.30% naar 76.52%), wat aantoont dat het specifiek effectief is in perceptie-geredeneerde taken.
• Generalisatie: Zelfs op open-domein VQA-benchmarks zonder diagrammen (POPE en MMMU) leverde de DoT-strategie consistente zero-shot verbeteringen (+1.43% en +2.2%) ten opzichte van CoT, wat aantoont dat de scheiding tussen perceptie en logica een universele strategie is.
• Efficiëntie: VisDoT bereikte betere resultaten met aanzienlijk minder trainingsdata (7.4K QA-paren) dan andere methoden die gebruikmaken van synthetische data-schaalvergroting (ChartGemma met 163K of ECD met 320K).

Bijdragen en Significantie

1. Formalisatie van Perceptie: De auteurs hebben de eerste framework geïntroduceerd dat menselijke grafische perceptieprincipes (Positie, Lengte, Patroon, Extractie) expliciet formaliseert als trainingsdoelen voor LVLMs.
2. DoT Strategie: Ze introduceren een nieuwe prompting-methode die visuele perceptie en logisch redeneren strikt scheidt en in een specifieke volgorde (eerst perceptie, dan logica) afdwingt. Dit lost het probleem van "grounding errors" op dat CoT vaak heeft.
3. Interpreteerbaarheid: Door het redeneren te decomponeren, worden de "denkprocessen" van het model transparant, wat het makkelijker maakt om fouten te diagnosticeren (bijv. was het een perceptiefout of een rekenfout?).
4. State-of-the-Art Prestaties: Het bewijst dat middelgrote open-source modellen, wanneer ze correct worden getraind met menselijke perceptieprincipes, concurren kunnen met de grootste gesloten modellen (zoals GPT-4o) op complexe visuele taken.

Conclusie
VisDoT toont aan dat de beperkingen van huidige LVLMs bij het begrijpen van diagrammen voornamelijk liggen in een gebrek aan robuuste visuele grounding. Door het redeneerproces te decomponeren in menselijke perceptiestappen, kan het model fouten minimaliseren en betrouwbaarder, interpreteerbaar en nauwkeuriger antwoorden genereren. Dit biedt een nieuwe richting voor de ontwikkeling van multimodale AI-systemen die niet alleen "kijken", maar ook "zien" en "begrijpen" zoals mensen dat doen.