VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification

Probleemstelling

Recente vooruitgang in Multimodale Large Language Models (MLLMs) voor videobegrip heeft geleid tot indrukwekkende resultaten op bestaande benchmarks. Het paper identificeert echter twee kritieke tekortkomingen in de huidige evaluatiemethoden:

1. Opgeblazen scores: Hoge nauwkeurigheidspercentages maskeren vaak gebreken in fijnmazig visueel begrip en redenering. Modellen kunnen het juiste antwoord "gokken" zonder de onderliggende visuele details werkelijk te begrijpen.
2. Gebrek aan verificatie van bewijs: Huidige benchmarks meten alleen of het antwoord correct is, zonder te verifiëren of het model het precieze spatio-temporele bewijs (waar en wanneer in de video) heeft geïdentificeerd dat het antwoord ondersteunt. Dit leidt tot hallucinaties waarbij modellen het juiste antwoord geven op basis van wereldkennis of patronen in de vraag, in plaats van op basis van de video-inhoud.

Er is een urgent behoefte aan een benchmark die niet alleen vraagt wat het antwoord is, maar ook eist dat het model kan aantonen waar en wanneer in de video het bewijs zich bevindt.

Methodologie: VideoZeroBench

De auteurs introduceren VideoZeroBench, een uitdagende, hiërarchische benchmark voor langdurige videobegrip die is ontworpen om de grenzen van spatio-temporele redenering te testen.

1. Dataset Constructie:

• Omvang: 138 handmatig geselecteerde lange video's (gemiddelde duur: 667,1 seconden, max. 3037 seconden) uit 13 diverse domeinen (bijv. sport, instructievideo's, vlogs, games).
• Vragen: 500 open-ended vragen die zijn ontworpen om fijnmazige details te vereisen (bijv. tellen van kleine objecten, ruimtelijke oriëntatie, multi-segment causale afhankelijkheid).
• Ground Truth: Elke vraag is gelabeld met exacte antwoorden en bijbehorend bewijs in de vorm van:
  • Temporele intervallen: Start- en eindtijdstippen.
  • Spatiale bounding boxes: Genormaliseerde coördinaten op specifieke keyframes.
• Kwaliteitscontrole: Twee rondes van kruisverificatie door annotatoren om zeker te stellen dat vragen eenduidig beantwoord kunnen worden op basis van het geannoteerde bewijs.

2. Vijf-niveau Evaluatieprotocol:
Om het onderscheid te maken tussen het genereren van een antwoord en het vinden van bewijs, wordt een hiërarchisch evaluatiekader gebruikt dat de eisen geleidelijk aanscherpt:

• Level-1: Antwoord met zowel temporele als spatiale hints (volledig bewijs gegeven).
• Level-2: Antwoord met alleen temporele hints.
• Level-3: Standaard Video QA (geen hints, alleen video en vraag).
• Level-4: Correct antwoord plus nauwkeurige temporele grounding (het model moet de juiste tijdsintervallen voorspellen).
• Level-5: Correct antwoord plus nauwkeurige spatio-temporele grounding (het model moet zowel de tijd als de exacte locatie van objecten in de video specificeren).

De prestatie op Level-5 wordt berekend als het product van de nauwkeurigheid van het antwoord, de temporele IoU (Intersection over Union) en de visuele IoU.

Belangrijkste Resultaten

De evaluatie van 17 state-of-the-art modellen (waaronder Gemini-3-Pro, GPT-5.2, Qwen3-VL en diverse "thinking-with-video" modellen) levert alarmerende resultaten op:

1. Drastische prestatiedaling bij grondingseisen:
   • Onder de standaard setting (Level-3) bereikt het sterkste model (Gemini-3-Pro) slechts 17,0% nauwkeurigheid.
   • Zodra eisen worden gesteld aan het vinden van het bewijs (Level-5), daalt de prestatie van alle modellen naar minder dan 1,0%. De meeste modellen scoren 0% op dit niveau.
2. Lek tussen antwoord en bewijs:
   • Modellen kunnen soms het juiste antwoord genereren zonder het juiste bewijs te vinden (hallucinaties). Bijvoorbeeld, een model geeft het juiste getal voor het aantal stoelen, maar wijst de verkeerde tijdsintervallen of objecten aan.
   • Zelfs wanneer bewijs expliciet wordt gegeven (Level-1), blijven de scores laag (<30%), wat aangeeft dat het integreren van gefocuste cues in complexe redeneringen een groot probleem blijft.
3. Specifieke zwakke punten:
   • Kleine objecten en ruimtelijke oriëntatie: Dit zijn de grootste bottlenecks. Modellen hebben moeite met het lokaliseren van kleine objecten in lange video's en het bepalen van relatieve posities.
   • Tijdszoeken ("Needle in a haystack"): Het vinden van kortdurende gebeurtenissen (<15s) in lange video's is extreem moeilijk, zelfs voor de beste modellen.
   • Agentic "Thinking-with-Video": Modellen die iteratief zoeken en inzoomen (zoals VideoChat-R1.5) tonen slechts marginale verbeteringen. Zonder nauwkeurige onderliggende grounding-precisie helpt meer redeneringsdiepte niet.
4. Menselijke prestatie:
   • Menselijke annotatoren halen een nauwkeurigheid van 67,6% op een subset van de dataset, wat aantoont dat er nog een enorme kloof bestaat tussen huidige AI-systemen en menselijk begrip van complexe video's.

Bijdragen

1. Eerste Evidence-Grounded Benchmark: VideoZeroBench is de eerste benchmark die systematisch eist dat modellen niet alleen antwoorden, maar ook het onderliggende spatio-temporele bewijs verifiëren.
2. Hiërarchisch Evaluatiekader: Het vijf-niveau protocol biedt een gedetailleerde diagnose van waar modellen falen (redenering, tijdszoeken, of ruimtelijke lokalizatie).
3. Uitdaging voor de Gemeenschap: De resultaten tonen aan dat de huidige "state-of-the-art" modellen nog lang niet betrouwbaar zijn voor toepassingen die vereisen dat beslissingen onderbouwd zijn met verifieerbaar bewijs uit video.

Significantie

Dit paper markeert een verschuiving in de evaluatie van videomodelen: van het meten van oppervlakkige antwoordnauwkeurigheid naar het eisen van verifieerbaar, bewijsgebaseerd redeneren.

De bevindingen suggereren dat de volgende generatie video-MLLMs zich moet richten op:

• Fijnmazige visuele grounding: Het vermogen om kleine objecten en subtiele details te lokaliseren.
• Precieze temporele zoekopdrachten: Het effectief doorzoeken van lange video's zonder belangrijke momenten te missen.
• Betrouwbare AI: Voor echte wereldtoepassingen (zoals forensisch onderzoek, medische analyse of veiligheidsmonitoring) is het niet voldoende om een antwoord te geven; het model moet kunnen aantonen waar in de video het antwoord vandaan komt. VideoZeroBench dient als een rigoureuze test voor deze capaciteiten.