💻 computer science

VideoReasonBench: Can MLLMs Perform Vision-Centric Complex Video Reasoning?

Dit paper introduceert VideoReasonBench, een benchmark voor visueel gecentreerd complex videoredeneren die aantoont dat de meeste multimodale LLMs hierin tekortschieten, terwijl modellen met uitgebreide denkprocessen zoals Gemini-2.5-Pro aanzienlijk betere prestaties leveren.

Oorspronkelijke auteurs: Yuanxin Liu, Kun Ouyang, Haoning Wu, Yi Liu, Lin Sui, Xinhao Li, Yan Zhong, Y. Charles, Xinyu Zhou, Xu Sun

Gepubliceerd 2026-03-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yuanxin Liu, Kun Ouyang, Haoning Wu, Yi Liu, Lin Sui, Xinhao Li, Yan Zhong, Y. Charles, Xinyu Zhou, Xu Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

VideoReasonBench: De "Schaakpartij" voor Videobots

Stel je voor dat je een robot hebt die heel goed kan praten en lezen, maar als je hem een filmpje laat zien, kijkt hij er alleen naar alsof het een statische foto is. Hij ziet de beelden, maar hij begrijpt niet wat er gebeurt terwijl de tijd voorbijgaat.

Dit is precies het probleem dat onderzoekers van Peking University en Moonshot AI hebben opgelost met hun nieuwe test: VideoReasonBench.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Kijk-en-vertel" Valstrik

Tot nu toe waren de tests voor videobots vaak te makkelijk. Ze vroegen dingen als: "Wat voor auto is dat?" of "Hoeveel mensen lopen er?". Een slimme bot kan dat vaak beantwoorden door gewoon naar één frame te kijken of door zijn algemene kennis te gebruiken, zonder echt naar het filmpje te kijken.

Het is alsof je iemand een raadsel geeft: "Ik heb een appel in mijn hand. Ik doe hem in mijn zak. Wat heb ik nu?" Iedereen weet het antwoord. Maar wat als het raadsel is: "Ik heb een appel, ik doe hem in mijn zak, ik wissel van zak, ik schud mijn broek, en dan doe ik hem in een andere zak. Welke zak zit de appel nu in?" Dat vereist echt nadenken en onthouden van elke stap.

2. De Oplossing: Een Videobordspel

De onderzoekers hebben een nieuwe testbedacht die lijkt op een slepende puzzel (zoals de 15-puzzel) of een kopjes-en-munten spel.

Het spel: Je ziet een bord met nummers of munten. Soms zijn ze zichtbaar, soms bedekt.
De actie: In het filmpje worden de nummers verplaatst, munten onder kopjes geschoven, of bestanden in een computermap verplaatst.
De twist: Je ziet niet alles. Soms zie je alleen het begin, en moet je raden waar alles eindigt. Soms zie je alleen het eind, en moet je raden hoe het begon. Soms moet je voorspellen wat er gebeurt als je nog één stap verder gaat.

Het is als kijken naar een magiër die een bal onder drie kopjes verplaatst. Als je niet elke beweging nauwkeurig volgt, ben je de bal kwijt.

3. De Test: Drie Niveaus van Slimheid

De test meet drie soorten intelligentie, die steeds moeilijker worden:

Niveau 1: Het Onthouden (De Fotograaf)
- Vraag: "Hoeveel keer ging de rode cirkel naar links?"
- Uitdaging: Je moet precies tellen wat je ziet.
Niveau 2: Het Afleiden (De Detective)
- Vraag: "Waar zit de munt nu, als hij onder kopje A zat en we hebben twee keer geschud?"
- Uitdaging: Je moet de bewegingen in je hoofd nabouwen om te weten wat er niet zichtbaar is.
Niveau 3: Het Voorspellen (De Profeet)
- Vraag: "Als we nu nog drie keer schudden, waar zit de munt dan?"
- Uitdaging: Je moet een toekomstige situatie berekenen op basis van wat je hebt gezien.

4. De Resultaten: Wie is de Slimste?

Toen ze 18 van de slimste AI-modellen (zoals GPT-4o, Qwen, en verschillende versies van Gemini) deze test lieten doen, was het resultaat schokkend:

De meeste bots faalden: De meeste modellen scoorden minder dan 10%. Ze waren als een kind dat probeert een schaakpartij te spelen zonder de regels te kennen. Ze keken naar het filmpje, maar konden de bewegingen niet volgen.
De "Denkers" wisten het: Het model Gemini-2.5-Pro (een model dat is uitgerust met een "denk-motor" die eerst lang nadenkt voordat het antwoordt) scoorde 56%.
- De analogie: De andere bots waren als iemand die snel een gokje waagt. Gemini-2.5-Pro was als iemand die een whiteboard pakt, elke stap uitschrijft, de logica controleert, en dan pas het antwoord geeft.

5. De Belangrijkste Les: "Denktijd" is Cruciaal

Het meest interessante ontdekking was dit:

Op de oude, makkelijke tests hielp "lang nadenken" (meer denk-tijd) nauwelijks.
Op deze nieuwe, moeilijke test was "lang nadenken" absoluut noodzakelijk. Zonder die extra denk-tijd zakte de score van de beste bots enorm.

Het bewijst dat om echt complexe video's te begrijpen, een AI niet alleen moet "kijken", maar moet "redeneren". Het moet een verhaal in zijn hoofd bouwen van begin tot eind, net als een mens die een film volgt en zich afvraagt: "Wacht, waar was die sleutel weer gebleven?"

Kortom: VideoReasonBench is de nieuwe "rijpe appel" voor AI. Het laat zien dat we nog ver weg zijn van echte video-intelligentie, maar dat modellen die leren om stap-voor-stap na te denken, de eerste echte doorbraken laten zien.

Probleemstelling

Recente studies hebben aangetoond dat lange "Chain-of-Thought" (CoT) redenering de prestaties van grote taalmodellen (LLMs) op complexe taken aanzienlijk verbetert. Echter, dit voordeel is nog niet overtuigend aangetoond in het domein van video-interpretatie. Bestaande benchmarks (zoals Video-MME of TempCompass) missen vaak de benodigde redeneerdiepte; veel vragen kunnen correct worden beantwoord zonder uitgebreide redenering of zijn sterk afhankelijk van wereldkennis in plaats van visuele inhoud. Bestaande pogingen om video-redenering te evalueren (zoals Video-MMMU of MMVU) zijn vaak kennisgedreven en vertrouwen niet sterk op de visuele componenten van de video. Er is dus een behoefte aan een benchmark die specifiek gericht is op visueel gecentreerde, complexe video-redenering, waarbij modellen gedwongen worden om nauwkeurig visuele informatie te onthouden, latente toestanden af te leiden en voorspellingen te doen die verder gaan dan wat direct zichtbaar is.

Methodologie: VIDEOREASONBENCH

De auteurs introduceren VIDEOREASONBENCH, een nieuw benchmark-dataset dat is ontworpen om de complexiteit van video-redenering te testen door een combinatie van visuele rijkdom en redeneercomplexiteit.

1. Video-Design en ToestandsTransities:

Videos worden conceptualiseerd als een reeks toestands-transities: $\{S_t, o_t, S_{t+1}\}$ .
Latente Toestand: De volledige staat (bijv. de rangschikking van tegels, kaarten of bestanden) is slechts gedeeltelijk zichtbaar (ofwel aan het begin of aan het einde van de video).
Operaties: Een dichte reeks operaties (zoals het verschuiven van tegels, het wisselen van koppen, of het verplaatsen van bestanden) wordt visueel getoond, maar de tussenliggende staten zijn vaak gemaskeerd.
Drie Categorieën van Video's: Er zijn zes soorten demonstraties (Synthetisch en Real-world):
- Number: Schuifpuzzel met genummerde tegels.
- Circle: Een rood cirkeltje dat kleuren van stukjes op een raster omkeert.
- Cup: Koppen die worden verwisseld met munten eronder.
- File: Bestandsoperaties in een command line interface.
- Card: Stapels kaarten waarbij kaarten bovenop worden gelegd of van onderen worden verwijderd.
- Chip: Bekers met chips die worden toegevoegd of verwijderd.

2. Vraagstelsel (Drie Redeneerniveaus):
De benchmark evalueert drie oplopende niveaus van redeneervaardigheid, elk met twee vaardigheden:

Niveau 1 (Recall): Fijne-granulaire visuele waarneming.
- Recall Order: Het exacte onthouden van de volgorde van operaties.
- Recall Count: Het tellen van de frequentie van specifieke operaties.
Niveau 2 (Infer): Het afleiden van latente informatie.
- Infer State: Het bepalen van de staat op een specifiek moment (bijv. de uiteindelijke rangschikking van tegels).
- Compare State: Het vergelijken van staten tussen twee momenten.
Niveau 3 (Predict): Contrafactische redenering.
- Predict State: Het voorspellen van een toekomstige staat na een reeks nieuwe operaties.
- Predict Operation: Het bepalen van de reeks operaties die nodig is om een gewenste doelstaat te bereiken.

3. Data Constructie:
Het dataset bestaat uit 240 video's en 1.440 vragen. Een semi-automatische framework (Video Engine en Question Engine) genereert de data, waarbij de complexiteit kan worden aangepast via het aantal operaties (5-14) en de grootte van de latente staat (bijv. 3x3 tot 4x4 roosters).

Belangrijkste Bijdragen

Introductie van VIDEOREASONBENCH: Een benchmark die per definitie hoge eisen stelt aan de redeneerdiepte en een sterke afhankelijkheid van visuele inhoud vereist. Modellen moeten meerdere acties in een sequentiële volgorde waarnemen en stap-voor-stap redeneren.
Identificatie van Tekortkomingen in SOTA-modellen: De studie onthult dat de meeste state-of-the-art Multimodal Large Language Models (MLLMs) falen op dit type taken. Zelfs "thinking-enhanced" modellen zoals o4-mini en Seed1.5-VL scoren slechts rond de 10%.
Validatie van "Test-time Scaling": Het paper toont aan dat uitgebreide CoT-redenering (Thinking) essentieel is voor VIDEOREASONBENCH, terwijl het op bestaande benchmarks weinig tot geen voordeel biedt.

Resultaten

De auteurs hebben 18 SOTA MLLMs geëvalueerd, waaronder GPT-4o, diverse open-source modellen (Qwen2.5-VL, InternVL3, LLaVA-Video) en proprietaire modellen met "Thinking"-capaciteiten.

Algemene Prestaties: De meeste modellen presteren slecht.
- Open-source efficiënte modellen (<10B parameters): < 2% nauwkeurigheid (bijna willekeurig).
- Grote "Flagship" modellen (72B+) en GPT-4o: < 10% nauwkeurigheid.
- Thinking-modellen (o4-mini, Seed1.5-VL): ~10-11% nauwkeurigheid.
Uitzondering: Gemini-2.5-Pro-0506 presteert significant beter met 56,0% nauwkeurigheid, wat een groot gat aantoont tussen de beste proprietaire systemen en open-source modellen.
Menselijke Prestatie: Menselijke annotatoren bereiken 73,8%, wat aangeeft dat de taak ook voor mensen uitdagend is (gemiddeld 223 seconden per vraag).
Impact van "Thinking": Het inschakelen van de "Thinking"-modus verbetert de prestaties aanzienlijk voor Gemini-2.5-Flash (van 18,8% naar 27,4%) en is cruciaal voor de beste prestaties.
Visuele Afhankelijkheid: Als visuele informatie wordt verwijderd (en alleen tekstuele samenvattingen worden gebruikt), daalt de prestatie van VIDEOREASONBENCH drastisch (bijv. Gemini-2.5-Flash daalt van 27,4% naar 1,0% bij tekst-only, terwijl andere benchmarks minder hard dalen). Dit bevestigt dat de benchmark echt visuele redenering test.
Complexiteit: De prestaties dalen naarmate het aantal operaties en de grootte van de staat toenemen.

Significantie en Conclusie

VIDEOREASONBENCH dient als een streng testbed om de echte capaciteiten van MLLMs voor complexe video-redenering te beoordelen. De resultaten tonen aan dat:

Huidige MLLMs worstelen met fijne-granulaire temporele waarneming en multi-hop redenering in video's.
Uitgebreide "Thinking"-processen (CoT) essentieel zijn voor het oplossen van deze problemen, maar alleen als de visuele waarneming voldoende is.
Er nog een aanzienlijke kloof bestaat tussen de beste AI-modellen en menselijke capaciteiten op dit gebied.

De benchmark biedt een nieuwe standaard voor het evalueren en verbeteren van video-interpretatiemodellen, met name voor taken die diepgaande causale en temporele redenering vereisen op basis van visuele input.