CRIT: Graph-Based Automatic Data Synthesis to Enhance Cross-Modal Multi-Hop Reasoning

Probleemstelling

Real-world redenering vereist vaak het combineren van informatie uit verschillende modaliteiten (tekst en beeld) via een multi-hop proces. Bestaande multimodale benchmarks en trainingsdata falen echter om deze vaardigheid adequaat te testen of te trainen:

• Tekortkomingen in benchmarks: De meeste benchmarks (zoals MMQA, SPIQA, VEGA) presenteren vaak een enkele afbeelding of een statische set afbeeldingen waarbij het antwoord vaak uit één modaliteit kan worden afgeleid. Ze testen zelden echte cross-modal gronding, waarbij tekst en beeld complementair en noodzakelijk zijn voor het oplossen van de taak.
• Data-tekort: Interleaved (verweven) beeld-tekst data die tijdens training wordt gebruikt, dwingt modellen zelden tot het correleren van beide modaliteiten op een complexe manier.
• Consequenties: Vision-Language Models (VLMs) hallucineren vaak en produceren redeneertraces die slecht zijn verankerd in visueel bewijs. Bestaande methoden om data te genereren met VLMs leiden tot cirkelvormige bias (modellen worden getest op data die door hun eigen klasse is gegenereerd) en grondingsfouten.

Methodologie: CRIT Pipeline

Om deze kloof te dichten, stellen de auteurs CRIT (Cross-modal multi-hop Reasoning over interleaved Image-Text) voor. Dit is een nieuw dataset- en benchmarkkader dat wordt gegenereerd via een automatische, grafgebaseerde pipeline. De kern van de methologie is het gebruik van een gestructureerde graafrepresentatie om hallucinaties te voorkomen en complexe multi-hop relaties te garanderen.

De pipeline bestaat uit drie hoofdfasen:

1. Constructie van Multimodale Content Grafen:

   • Het systeem start met afbeeldingen die reeds zijn geannoteerd met scene graphs (bijv. uit GQA).
   • Er worden sub-grafen samengesteld door entiteiten en relaties uit meerdere afbeeldingen te mergen.
   • Een LLM (Large Language Model) wordt gebruikt om nieuwe entiteiten en relaties toe te voegen die dienen als "bruggen" tussen de afbeeldingen. Deze vormen de tekstuele context.
   • Dit creëert een coherente graaf $G = (V, E)$ waar knopen entiteiten zijn (visueel of tekstueel) en randen relaties tussen hen.

2. Generatie van Tekstuele Context:

   • Op basis van de samengestelde graaf worden sub-grafen geëxtraheerd.
   • Een LLM genereert een narratieve tekst (bijv. een verhaal, document of script) die de visuele elementen beschrijft en de relationele bruggen tussen de afbeeldingen legt.
   • De tekst is ontworpen om complementair te zijn: visuele details moeten uit de afbeelding worden gehaald, terwijl contextuele details uit de tekst komen.

3. Generatie van Vraag-Antwoord (QA) Paren:

   • Er wordt een sub-graaf gesampled die een keten van feiten vertegenwoordigt (1 tot 5 hops).
   • De eindknoop van deze keten moet een visuele entiteit zijn om te garanderen dat het antwoord visuele gronding vereist.
   • Een LLM genereert een vraag waarbij het antwoord alleen kan worden gevonden door de volledige keten van feiten te doorlopen, waarbij tussenliggende entiteiten niet expliciet in de vraag worden genoemd.
   • Filtering: Een strikt filterproces verwijdert vragen die met één modaliteit kunnen worden beantwoord of die tussenstappen onthullen.

Uitbreidingen: De pipeline is uitgebreid om videoframes (via dense video captioning) en wetenschappelijke papers (met tabellen en diagrammen) te verwerken, waardoor diverse domeinen worden bestreken.

Belangrijkste Bijdragen

1. Nieuwe Data-Generatie Framework: Een schaalbaar, grafgebaseerd framework voor het genereren van hoogwaardige, cross-modal multi-hop redeneringsdata over diverse domeinen (natuurlijke afbeeldingen, video, wetenschappelijke papers).
2. CRIT Dataset en Benchmark: Een dataset met 84.199 trainingsvoorbeelden en een zorgvuldig door mensen geverifieerde testset (1.446 voorbeelden). De testset is handmatig gecontroleerd om te garanderen dat vragen daadwerkelijk multi-hop en cross-modal zijn.
3. Empirisch Bewijs: Een uitgebreide evaluatie van state-of-the-art VLMs (zowel open-source als proprietair) die aantoont dat zelfs de beste modellen worstelen met deze taken, maar dat fine-tuning op CRIT aanzienlijke verbeteringen oplevert.

Resultaten

• Prestaties op CRIT: Bestaande modellen (zoals GPT-4o, Qwen2.5-VL-72B) presteren slecht op de CRIT-benchmark (lage Exact Match en F1-scores), wat de complexiteit van de taak benadrukt.
• Effect van Fine-tuning: Modellen die zijn getraind op CRIT (bijv. Qwen2.5-VL-7B en Idefics2-8B) tonen aanzienlijke verbeteringen. Ze overtreffen zelfs grote proprietaire modellen op de CRIT-testset.
• Generalisatie naar andere Benchmarks:
  • Training op CRIT leidt tot significante verbeteringen op andere cross-modal redeneringsbenchmarks zoals SPIQA, VEGA, MMQA en FCMR.
  • Op algemene multimodale benchmarks (zoals MuirBench, BLINK, MME) blijft de prestatie behouden of verbetert deze licht, wat aantoont dat de leerervaring geen "catastrophic forgetting" veroorzaakt.
• Foutanalyse: De analyse van fouten (bijv. bij GPT-4o) toont aan dat Evidence Localization Error (het niet kunnen vinden van het juiste bewijs in de juiste modaliteit) de meest voorkomende fout is (55%), gevolgd door visuele waarnemingsfouten. Dit bevestigt dat het probleem ligt in de integratie van modaliteiten, niet alleen in taalbegrip.

Betekenis en Impact

CRIT biedt een fundamentele doorbraak in het onderzoek naar multimodale redenering door:

• Een oplossing voor data-schaarste: Het lost het probleem op van het gebrek aan hoogwaardige, verweven beeld-tekst data die multi-hop redenering vereist.
• Verwijdering van Bias: Door de grafgebaseerde aanpak en het gebruik van LLM's (in plaats van VLM's) voor de vraaggeneratie, wordt cirkelvormige bias voorkomen.
• Verbeterde Grounding: Het aantoont dat het trainen op synthetische, maar strikt gestructureerde data, de vaardigheid van modellen om visueel en tekstueel bewijs te combineren, daadwerkelijk verbetert.
• Toekomstgericht: Het biedt een pad voor het schalen van cross-modal redenering, wat essentieel is voor het ontwikkelen van AI-systemen die complexe, real-world taken kunnen uitvoeren die vereisen dat ze informatie uit verschillende bronnen synthetiseren.

Kortom, CRIT bewijst dat gestructureerde, grafgebaseerde data-synthese een krachtige methode is om Vision-Language Models te trainen in complexe, multi-hop redenering, een vaardigheid die cruciaal is voor de volgende generatie AI-systemen.