VG-CoT: Towards Trustworthy Visual Reasoning via Grounded Chain-of-Thought

Probleemstelling

De vooruitgang van Large Vision-Language Models (LVLMs) vereist tegenwoordig niet alleen een globaal beeldbegrip, maar ook nauwkeurig redeneren op basis van lokale beeldregio's. Huidige datasets en benchmarks hebben echter drie fundamentele beperkingen:

1. Schalingsproblemen: Bestaande datasets met lokale regio-informatie zijn vaak afhankelijk van uitgebreide handmatige annotatie, wat kostbaar is en de schaalbaarheid beperkt.
2. Gebrek aan expliciete grounding: In bestaande "Chain-of-Thought" (CoT) datasets is het redeneerproces niet expliciet gekoppeld aan specifieke visuele bewijzen (zoals coördinaten van objecten of tekst) binnen de afbeelding. Dit maakt het onmogelijk te verifiëren of het model het juiste antwoord gaf op basis van correcte visuele informatie of slechts door statistische bias/hallucinatie.
3. Onvolledige evaluatie: Bestaande benchmarks meten voornamelijk de nauwkeurigheid van het eindantwoord, maar negeren de kwaliteit van het redeneerproces en de consistentie tussen het argument en het antwoord.

Methodologie: Het VG-CoT Dataset

Om deze uitdagingen aan te pakken, stellen de auteurs het Visual Grounded Chain-of-Thought (VG-CoT) dataset voor. Dit dataset wordt geconstrueerd via een volledig geautomatiseerde drie-staps pipeline, wat handmatige arbeid elimineert en schaalbaarheid garandeert.

De drie-staps pipeline:

1. Visuele Bewijsextractie (Multi-Granularity):
   • Er worden state-of-the-art modellen gebruikt om ruwe visuele data te extraheren uit de bronafbeeldingen.
   • Objectniveau: Het YOLO-model detecteert bounding boxes van sleutelobjecten.
   • Tekstniveau: PaddleOCR extrahiert de locatie en inhoud van tekst in de afbeelding.
   • Voor het GQA-dataset wordt ook gebruikgemaakt van de bestaande scene-graph informatie als aanvullend bewijs.
2. Generatie van Visueel-Groundede CoT:
   • GPT-4o ontvangt de originele afbeelding, de vraag, het grondwaarheid-antwoord en de visuele bewijzen uit stap 1.
   • De prompt instrueert het model om een stap-voor-stap redenering te genereren waarbij elke logische stap expliciet moet verwijzen naar de ruimtelijke coördinaten (bounding boxes) van de visuele bewijzen. Het model moet ook uitleggen waarom bepaalde opties niet het juiste antwoord zijn.
3. Refinement van Grounding (Rationale-Driven):
   • Om de precisie te verhogen, worden belangrijke objectnaamwoorden uit de gegenereerde redenering geëxtraheerd.
   • Deze termen dienen als query voor een "open-set detector" (Grounding DINO) om specifieke, contextafhankelijke objecten die in de redenering worden genoemd, nog preciezer te lokaliseren.
   • De visuele bewijzen worden vervolgens opnieuw gekoppeld aan de redeneringsstappen voor een perfecte uitlijning.

Dataset Statistieken:

• Totaal: 13.826 hoogwaardige samples.
• Drie taaktypen: General VQA (objectherkenning), Relation VQA (relaties tussen objecten) en Scene-text VQA (tekstbegrip).
• Het dataset bevat in totaal 51.025 object-bounding boxes en 4.782 OCR-bounding boxes, wat zorgt voor een dichte visuele grounding.

Nieuwe Evaluatie-Benchmark

De auteurs introduceren een nieuwe benchmark die verder gaat dan simpele antwoordnauwkeurigheid. Deze meet drie complementaire dimensies:

1. Rationale Quality (RQ): Beoordeelt de kwaliteit van het redeneerproces (logische coherentie, volledigheid en gebruik van visueel bewijs) op een schaal van 1-5, geëvalueerd door GPT-4o.
2. Answer Accuracy (AA): De traditionele nauwkeurigheid van het eindantwoord.
3. Reasoning-Answer Alignment (RAA): Meet de correlatie tussen de kwaliteit van het redeneren en de juistheid van het antwoord. Dit omvat:
   • Consistency Score: Hoe vaak leidt goed redeneren tot een goed antwoord (en slecht redeneren tot een fout antwoord).
   • Faithful Score: Het percentage correcte antwoorden dat gebaseerd is op uitstekend redeneren.

Resultaten

Experimenten zijn uitgevoerd met representatieve LVLMs, waaronder LLaVA-1.5 (7B en 13B) en Qwen2-VL/2.5-VL.

• Algemene Prestaties: Fine-tuning met VG-CoT leidde tot consistente verbeteringen in zowel Rationale Quality als Answer Accuracy voor alle geteste modellen. Bijvoorbeeld, de Rationale Quality van LLaVA-1.5-7B steeg van 72,2 naar 83,4.
• Taak-specifieke verbeteringen: De dataset verbeterde prestaties aanzienlijk in complexe relationele taken en tekstrijke scenario's. LLaVA-1.5-7B toonde een stijging van meer dan 10 punten in nauwkeurigheid voor General en Relation VQA.
• Visuele Grounding Nauwkeurigheid: Hoewel de modellen beter werden in het lokaliseren van grotere objecten, bleef het nauwkeurig lokaliseren van kleine, dichte tekstgebieden (Scene-text) een uitdaging. De mAP-scores daalden significant bij strengere IoU-drempels (bijv. van 48,7 bij mAP@0.5 naar 33,6 bij mAP@0.75 voor LLaVA-1.5-13B), wat aangeeft dat precieze ruimtelijke grounding nog een bottleneck is.
• Consistentie: De meeste modellen toonden verbeterde consistentie tussen redenering en antwoord, hoewel er bij sommige modellen (zoals LLaVA-1.5-13B) lichte afwijkingen bleven bestaan.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. VG-CoT Dataset: Een schaalbaar, kostenefficiënt dataset dat elk redeneerstap expliciet koppelt aan visueel bewijs via een geautomatiseerde pipeline.
2. Nieuwe Benchmark: Een evaluatiemethode die de "betrouwbaarheid" van LVLMs meet door niet alleen het antwoord, maar ook de logica en de uitlijning met visuele bewijzen te beoordelen.
3. Inzicht in LVLMs: Het werk biedt diepgaande inzichten in de huidige beperkingen van modellen, met name de moeilijkheid om kleine tekstuele elementen nauwkeurig te lokaliseren tijdens het redeneren.

Conclusie:
VG-CoT biedt een cruciale stap richting betrouwbare, bewijsgebaseerde visuele redenering. Door het loskoppelen van de afhankelijkheid van handmatige annotatie en het introduceren van een strikte evaluatie voor "faithful reasoning", legt dit werk de basis voor toekomstige LVLMs die niet alleen het juiste antwoord geven, maar dit ook kunnen onderbouwen met correcte visuele feiten. De dataset en code worden openbaar beschikbaar gesteld om verdere research te faciliteren.