VidNum-1.4K: A Comprehensive Benchmark for Video-based Numerical Reasoning
Dit artikel introduceert VidNum-1.4K, een uitgebreide door mensen geannoteerde benchmark bestaande uit 1.379 video-vraagparen die zijn georganiseerd in een hiërarchie van drie niveaus om de aanzienlijke beperkingen van huidige Vision-Language Modellen bij het uitvoeren van complexe, meerstaps numerieke redeneringen binnen real-world video-contexten grondig te evalueren en bloot te leggen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je naar een film kijkt, maar in plaats van alleen van het plot te genieten, word je getest op je vermogen om objecten en gebeurtenissen te tellen, verschillen tussen hoeveelheden te berekenen en uit te vogelen of het aantal mensen in een menigte is gegroeid of gekrompen na een scène-overgang. Dit is de wereld van Vision-Language Models (VLM's). Beschouw deze modellen als superintelligente digitale detectives die afbeeldingen en video's kunnen "zien" en tekst kunnen "lezen", en proberen de wereld te begrijpen net zoals wij dat doen. Een tijdlang zijn deze AI-detectives erg goed geworden in het beschrijven van wat ze zien, zoals zeggen: "Er is een hond aan het rennen." Maar wetenschappers hebben zich afgevraagd: begrijpen deze AI's het verhaal, het verloop van de tijd en de logica van hoe dingen veranderen echt? Of raden ze alleen op basis van patronen die ze uit hun trainingsgegevens hebben onthouden? Deze vraag is belangrijk omdat als een AI de fysieke wereld niet echt begrijpt — zoals weten dat als je twee appels aan drie toevoegt, je er vijf hebt, zelfs als de camerahoek verandert — we de AI niet kunnen vertrouwen bij complexe taken in de echte wereld.
Maak kennis met een nieuwe uitdaging genaamd VidNum-1.4K, een rigoureus "eindexamen" dat specifiek is ontworpen om te testen of deze AI-detectives kunnen rekenen met numeriek redeneren in video's. De onderzoekers achter deze studie, Shaoyang Cui en hun team, hebben een enorme collectie van 1.379 videoclips en vragen samengesteld die de AI dwingen om meer te doen dan alleen kijken; ze moeten tellen, vergelijken en berekenen. Ze hebben deze vragen georganiseerd in drie moeilijkheidsgraden, zoals een videogame met toenemende baasgevechten. Niveau 1 is de "makkelijke modus", waarbij de AI simpelweg dingen moet tellen, zoals: "Hoeveel groene deuren zijn er in deze kamer?" Niveau 2 verhoogt de moeilijkheid door de AI te vragen specifieke soorten dingen te tellen, zoals: "Hoeveel bruine honden zijn er?" terwijl de zwarte honden worden genegeerd, zelfs als de camera naar verschillende hoeken knipt. Niveau 3 is de "hardcore modus", die vereist dat de AI stapsgewijze logica uitvoert, zoals het tellen van spelers in de eerste shot van een voetbalwedstrijd, het opnieuw tellen van hen in een tweede shot onder specifieke beperkingen, en vervolgens een logische vergelijking of berekening uitvoeren tussen deze twee geïsoleerde gebeurtenissen om het antwoord te vinden.
De resultaten van dit examen waren een schok. Zelfs de meest geavanceerde AI-modellen, inclusief het krachtige gesloten "Gemini-3.1-pro", behaalden slechts ongeveer 60% van de juiste antwoorden wanneer ze de ruimte kregen om stap voor stap na te denken. De open-source modellen, die als de door de gemeenschap gebouwde tools in de AI-wereld fungeren, hadden het nog moeilijker en scoorden tussen de 25% en 45%. Het artikel suggereert dat deze modellen nog steeds vertrouwen op "shortucts" — zoals raden op basis van veelvoorkomende zinnen die ze eerder hebben gehoord — in plaats van een stabiel "intern wereldmodel" op te bouwen dat begrijpt hoe objecten en getallen zich in de loop van de tijd gedragen. Bijvoorbeeld, wanneer de video overgaat naar een nieuwe scène, verliezen de modellen vaak hun telling of tellen ze hetzelfde object dubbel, wat aantoont dat ze niet echt begrijpen dat de hond aan het begin van de clip dezelfde hond is aan het einde.
Interessant genoeg ontdekten de onderzoekers dat het vragen aan de AI om "hardop na te denken" (een techniek genaamd Chain-of-Thought) hen hielp de moeilijkste logische puzzels op te lossen, maar dat dit hen soms liet struikelen over de makkelijkere telopdrachten die ze eerder wel goed hadden uitgevoerd. Dit suggereert dat hoewel deze modellen beter worden in hoogwaardige wiskunde, hun basisvaardigheid om bewegende objecten in een video te volgen nog steeds wankel is. De studie concludeert dat het simpelweg groter maken van de AI-modellen (het toevoegen van meer "parameters") hen helpt met complexe logica, maar dat het niet magisch hun problemen met het volgen van dingen door verschillende videoscènes heen oplost. VidNum-1.4K dient als een harde, eerlijke spiegel die ons laat zien dat hoewel onze AI-detectives slimmer worden, ze nog een lange weg te gaan hebben voordat ze de dynamische, veranderende wereld om hen heen echt kunnen begrijpen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.