CaST-Bench: Benchmarking Causal Chain-Grounded Spatio-Temporal Reasoning for Video Question Answering

Technische Samenvatting van CaST-Bench

Probleemstelling
Visueel-taalmodellen (VLM's) hebben aanzienlijke vooruitgang geboekt in video-inzicht, maar worstelen met causaal redeneren. Bestaande benchmarks richten zich voornamelijk op beschrijvende vragen (bijvoorbeeld: "wat is de kleur van de tas?") of directe ruimtelijk-temporele lokalisatie. Ze vereisen zelden dat modellen een keten van gekoppelde bewijzen identificeren om uit te leggen waarom een gebeurtenis heeft plaatsgevonden. Bovendien ontbreken in huidige datasets vaak fijnmazige, verankerde bewijzen (specifieke tijdstippen en omhullende dozen) die nodig zijn om rigoureus te evalueren of het redeneren van een model gebaseerd is op echte visuele causaliteit of op schijnbare correlaties (verstorende variabelen). Deze kloof beperkt de ontwikkeling van transparante en betrouwbare VLM's die in staat zijn tot diepgaand causaal analyse.

Methodologie
Om dit aan te pakken, introduceren de auteurs CaST-Bench (Causal Chain-Grounded Spatio-Temporal Reasoning Benchmark) en een bijbehorende evaluatiesuite.

1. Datasetconstructie (Mens-AI Collaboratieve Pipeline):

   • Video-selectie: De auteurs selecteerden 1.015 complexe, naturalistische video's uit de SegmentAnything-Video (SAV)-dataset, gefilterd op scènes met meerdere interacterende acteurs om ruimtelijke ambiguïteit en causale complexiteit te waarborgen.
   • Instantiebeschrijving: Een pipeline genereert dichte, instantie-niveau ruimtelijk-temporele beschrijvingen. VLM's genereren eerst beschrijvingen voor bijgehouden instanties, die vervolgens worden gevalideerd en herzien door menselijke experts om temporale nauwkeurigheid te waarborgen en hallucinaties te elimineren. Dit resulteerde in 10.728 hoogwaardige dynamische instantiebeschrijvingen.
   • V&A en Causale Ketengeneratie: Een state-of-the-art VLM fungeert als een "causaal denker" en genereert gestructureerde Vraag-Antwoord (V&A)-paren gekoppeld aan expliciete causale ketens. De vragen worden gecategoriseerd in vier types: Causale Uitleg, Contrfactueel Redeneren, Voorspellende Anticipatie en Inferentiële Beschrijving.
   • Afwijkende Opties Generatie: Om te voorkomen dat modellen vertrouwen op taalkundige biases, genereert de pipeline drie soorten afwijkende opties: tekstgebaseerd (plausibel maar onjuist op basis van taal alleen), videobaseerd (causaal irrelevante visuele instanties) en "near-miss" opties (subtiele variaties van het juiste antwoord).
   • Filtering: Een rigoureus drie-staps filterproces waarborgt kwaliteit: (1) tekst-only filtering om vragen te verwijderen die zonder video opgelost kunnen worden; (2) masker-gebaseerde filtering waarbij causale bewijsregio's zwart worden gemaakt om te verifiëren dat de vraag niet beantwoord kan worden zonder het specifieke ruimtelijk-temporele bewijs; en (3) menselijke review. Slechts ongeveer 40% van de oorspronkelijke paren overleeft, wat resulteert in 2.066 hoogwaardige V&A-paren.

2. Evaluatiesuite:
   De auteurs stellen een uitgebreid evaluatiekader voor dat niet alleen de juistheid van het antwoord beoordeelt, maar ook de kwaliteit van het redeneerproces:

   • Verankerde Causale Keten-metrics:
     • Instance-Matched tIoU (IM-tIoU): Meet de temporale uitlijning tussen voorspelde en ground-truth bewijsintervallen.
     • Instance-Matched vIoU (IM-vIoU): Meet gezamenlijke ruimtelijk-temporale uitlijning (temporale overlap $\times$ ruimtelijke IoU van omhullende dozen).
   • Antwoordtrouw-metrics:
     • Faithful Answer Rate (F): Het percentage juiste antwoorden ondersteund door goed verankerd bewijs.
     • Spurious Answer Rate (S): Het percentage juiste antwoorden afgeleid van slechte of irrelevante verankering.
   • Open-einde Evaluatie: Een LLM-as-a-judge kader evalueert logische consistentie, bewijsdekking en de algehele kwaliteit van de rechtvaardiging.

Belangrijkste Bijdragen

• Taakdefinitie: Het artikel definieert een nieuwe taak: Causal Chain-Grounded Spatio-Temporal Reasoning, waarbij modellen actief moeten zoeken naar en lokaliseren van een keten van oorzaak (voorafgaand bewijs) en gevolg (uitkomstbewijs) om vragen te beantwoorden.
• Benchmark (CaST-Bench): De eerste benchmark die fijnmazige ruimtelijk-temporale causale ketens (tijdstippen en omhullende dozen) biedt voor 2.066 vragen over 1.015 video's, die diverse real-world scenario's bestrijken.
• Evaluatiesuite: Een nieuwe reeks metrics (IM-tIoU, IM-vIoU, Faithful/Spurious Rates) ontworpen om de transparantie en verankering van causaal redeneren te evalueren, en onderscheid te maken tussen juiste antwoorden die voortkomen uit bewijs versus die die voortkomen uit biases.

Experimentele Resultaten
De auteurs evalueerden 15 representatieve VLM's (inclusief propriëtaire modellen zoals Gemini-2.5-Pro en GPT-5, en open-source modellen zoals Qwen3-VL en InternVL) tegen menselijke baselines.

• Prestatiekloof: Huidige VLM's worstelen aanzienlijk. Menselijke annotatoren behalen 91,89% nauwkeurigheid, terwijl het beste propriëtaire model (Gemini-2.5-Pro) 50,34% scoort en het beste open-source model (Qwen3-VL-4B) 45,30% scoort.
• Verankeringsfalen: Ondanks gematigde antwoordnauwkeurigheid presteren modellen slecht op verankering. IM-vIoU-scores zijn extreem laag (bijvoorbeeld 2,46% voor Gemini-2.5-Pro), wat aangeeft dat modellen zelden het juiste visuele bewijs identificeren.
• Trouw versus Schijnbaarheid: Een hoog "Spurious Answer Rate" (30–45%) geeft aan dat veel juiste antwoorden gelukstreffer zijn of gebaseerd op irrelevante aanwijzingen in plaats van causale ketens.
• Ablatiestudies: Het verstrekken van ground-truth causale ketens verbetert de nauwkeurigheid met 20–25 punten, wat benadrukt dat de bottleneck de constructie van precieze causale ketens is, niet alleen het redeneren zelf. "Thinking"-varianten van modellen presteren niet consequent beter dan "instruct"-varianten, wat suggereert dat expliciete tekstuele redeneersporen niet automatisch de visuele verankering verbeteren.

Betekenis en Claims
Het artikel claimt dat CaST-Bench een kritieke kloof in video-inzicht aanpakt door de focus te verschuiven van oppervlakkige perceptie naar diep, verankerd causaal redeneren. De auteurs betogen dat:

1. Transparantie: Het afdwingen van visuele bewijsverankering VLM's transparanter en betrouwbaarder maakt, waardoor gebruikers onderscheid kunnen maken tussen echt begrip en afhankelijkheid van schijnbare correlaties.
2. Diagnostische Waarde: De benchmark dient als een rigoureus diagnostisch hulpmiddel, waaruit blijkt dat huidige modellen voornamelijk falen omdat ze geen precieze, verankerde causale ketens kunnen construeren, en niet door een gebrek aan algemeen redeneervermogen.
3. Toekomstige Richting: De resultaten suggereren dat het verbeteren van toekomstige VLM's een specifieke focus vereist op het vermogen om ruimtelijk-temporale bewijzen te lokaliseren, uit te lijnen en te ketenen, in plaats van simpelweg de modelgrootte te vergroten of generieke "thinking"-modules toe te voegen.

De auteurs handhaven een bescheiden toon, waarbij ze beperkingen erkennen zoals de schaalbaarheid van hun mens-AI-pipeline en potentiële biases die zijn overgeërfd van de bron-SAV-dataset, terwijl ze benadrukken dat de benchmark een noodzakelijke basis biedt voor de ontwikkeling van robuustere en interpreteerbare multimodale AI-systemen.