🤖 AI

Time Blindness: Why Video-Language Models Can't See What Humans Can?

Dit artikel introduceert SpookyBench, een benchmark die aantoont dat geavanceerde video-taalmodellen niet in staat zijn patronen te herkennen die uitsluitend zijn gecodeerd in temporele sequenties van ruisachtige frames, waarbij mensen juist uitblinken, wat een kritieke overmatige afhankelijkheid van ruimtelijke kenmerken en een fundamenteel onvermogen om pure temporele informatie te verwerken blootlegt.

Oorspronkelijke auteurs: Ujjwal Upadhyay, Mukul Ranjan, Zhiqiang Shen, Mohamed Elhoseiny

Gepubliceerd 2026-04-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ujjwal Upadhyay, Mukul Ranjan, Zhiqiang Shen, Mohamed Elhoseiny

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: "De Geest in het Ruis"

Stel je voor dat je kijkt naar een statisch tv-scherm vol met "ruis" (willekeurige witte en zwarte stippen). Als je naar één enkel frame van die ruis staart, zie je niets anders dan willekeurige chaos. Je kunt geen afbeelding zien.

Nu stel je je voor dat de ruis begint te bewegen. De stippen aan de linkerkant glijden omhoog, terwijl de stippen aan de rechterkant naar beneden glijden. Plotseling duikt er een vorm op uit de chaos—misschien het woord "HALLO" of een afbeelding van een kat. De afbeelding bestaat niet in één enkel frame; het bestaat alleen in de beweging tussen de frames.

Dit artikel introduceert een test genaamd SpookyBench om te zien of AI deze "geest"-afbeeldingen kan zien. Het resultaat? Mensen kunnen ze gemakkelijk zien, maar zelfs de slimste AI-video-modellen zijn er volledig blind voor.

Het Probleem: AI is "Tijdblinde"

Huidige Video-Language Modellen (VLM's) zijn als fotografen die alleen naar losse kiekjes kijken.

Hoe ze werken: Wanneer een AI een video bekijkt, pakt hij meestal een paar frames (alsof hij 10 foto's maakt van een film), analyseert hij wat er in elke foto staat (een auto, een boom, een persoon) en probeert hij vervolgens het verhaal te raden.
De fout: In SpookyBench zijn de "foto's" gewoon willekeurige ruis. Er is geen auto, geen boom en geen persoon in één enkel frame. De enige aanwijzing is de dans die de ruis door de tijd uitvoert.
Het resultaat: Omdat de AI geobsedeerd is door het kijken naar de statische details van individuele frames, ziet hij niets anders dan ruis. Hij heeft geen mechanisme om te zeggen: "Wacht, als ik kijk hoe deze pixels ten opzichte van elkaar bewegen, verschijnt er een vorm."

Het artikel noemt dit "Tijdblinheid". De AI is zo gefocust op waar dingen zijn (ruimte) dat hij niet kan begrijpen hoe dingen veranderen (tijd).

Het Experiment: Mensen versus Machines

De onderzoekers creëerden een benchmark met drie soorten "geest"-video's:

Woorden: Tekst die alleen verschijnt wanneer de ruis in specifieke patronen beweegt.
Afbeeldingen: Silhouetten van objecten (zoals een hert of een hamer) verborgen in bewegende ruis.
Dynamische scènes: Echte videoclips waarbij alleen de bewegende delen worden geaccentueerd door ruis, terwijl de achtergrond stil blijft.

Het Scorebord:

Mensen: Toen mensen deze video's bekeken, haalden ze 98% correct. Ze konden direct de woorden lezen en de objecten identificeren. Onze hersenen zijn zo geprogrammeerd om bewegende dingen samen te groeperen (zoals het kijken naar een school vissen die zwemt).
AI-modellen: De onderzoekers testten 15 van de meest geavanceerde AI-modellen ter wereld, waaronder reuzen als GPT-4o, Gemini en Qwen.
- De Score: 0%.
- Het Gedrag: De AI raakte niet alleen verkeerd; hij hallucineerde. Hij zei vol vertrouwen: "Ik zie een koffiekopje," of "Het is 4:30," terwijl de video gewoon bewegende ruis was. Hij probeerde een patroon op de ruis te forceren omdat hij de daadwerkelijke beweging niet kon verwerken.

Waarom kan de AI dit niet oplossen?

De onderzoekers probeerden veel dingen om de AI te helpen, maar niets werkte:

De snelheid veranderen: Ze vertraagden de video's of versnelden ze. De AI haalde nog steeds 0%.
Vriendelijk vragen: Ze gaven de AI zeer specifieke instructies, zoals: "Kijk niet naar de frames, kijk naar de beweging." De AI faalde nog steeds.
Het leren: Ze probeerden de AI te "trainen" op deze specifieke video's, in de hoop dat hij de truc zou leren. Zelfs na training haalde de AI nog steeds 0%.

De Conclusie: Het is niet dat de AI "dom" is of niet genoeg voorbeelden heeft gezien. Het is dat de architectuur (de hersenstructuur) van deze modellen is gebouwd om eerst statische afbeeldingen te analyseren en tijd pas daarna. Ze missen de specifieke "neurale machines" om betekenis te halen uit pure beweging zonder een statisch object om het aan te verankeren.

De "Goedertoren" Analogie

Stel je het voor als een goocheltruc waarbij een goochelaar een munt laat verdwijnen.

Mensen kijken naar de hand van de goochelaar en de beweging van de munt en begrijpen de truc.
De AI is als een beveiligingscamera die alleen elke 10 seconden een foto maakt. Als de munt alleen zichtbaar is tussen de foto's (in de beweging), ziet de camera hem nooit. De camera ziet alleen een wazige rommel en raadt: "Misschien is het een steen?"

Het "Bewegingsgrens"-Bewijs

Om te bewijzen dat de informatie er echt was en niet gewoon een goocheltruc, deden de onderzoekers één laatste test. Ze schilderden de bewegende delen van de video helderrood voordat ze het aan de AI lieten zien.

Voorheen: De AI zag ruis en haalde 0%.
Daarna: De AI zag rode vormen op een zwarte achtergrond en haalde plotseling 50-60% correct.

Dit bewees dat de AI de vormen wel kan begrijpen als de "tijd"-informatie wordt omgezet in een "ruimtelijk" signaal (de rode verf). Maar zonder die hulp is de AI volledig onbekwaam om de wiskunde van beweging zelfstandig te doen.

Samenvatting

Het artikel stelt dat AI, hoewel het ongelooflijk goed geworden is in het herkennen van objecten in video's (zoals "een hond die rent"), een fundamenteel blinde vlek heeft: het kan geen informatie begrijpen die alleen in de tijd bestaat. Als het signaal puur gaat over beweging en verandering, en er is geen statisch object om naar te kijken, zijn huidige AI-modellen effectief blind, terwijl mensen het duidelijk zien.

1. Probleemstelling

Ondanks aanzienlijke vooruitgang in Vision-Language Models (VLM's) voor video-interpretatie, vertonen huidige state-of-the-art systemen een kritieke beperking: Time Blindness (tijdsblindheid).

De Kernkwestie: Bestaande Video-VLM's vertrouwen sterk op ruimtelijke kenmerken die uit individuele frames worden gehaald. Wanneer ruimtelijke informatie wordt verduisterd of verwijderd, waardoor alleen temporale aanwijzingen overblijven (bewegingspatronen in de tijd), falen deze modellen catastrofisch.
Het Gat: Mensen kunnen moeiteloos vormen, tekst en objecten herkennen die uitsluitend zijn gecodeerd in temporele sequenties van ruis (waarbij individuele frames onherkenbaar zijn), en bereiken een nauwkeurigheid die bijna perfect is. Daarentegen bereiken VLM's 0% nauwkeurigheid op dergelijke taken.
Huidige Benchmarks: Bestaande temporele benchmarks (zoals TemporalBench, TVBench) verweven vaak ruimtelijke en temporele aanwijzingen, waardoor modellen kunnen "cheaten" door sterke per-frame ruimtelijke signalen te gebruiken in plaats van te redeneren over tijd.

2. Methodologie: SpookyBench

De auteurs introduceren SpookyBench, een nieuw synthetisch benchmarkontwerp om pure temporele begrijping te isoleren en te evalueren.

Strategie voor Datageneratie:
- Op Ruis Gebaseerde Codering: Inhoud (Tekst, Objectafbeeldingen, Dynamische Scènes) wordt uitsluitend in het temporele domein gecodeerd met behulp van binaire ruispatronen.
- Frameverschijning: Individuele frames lijken op willekeurige, gestructureerde ruis. Geen enkele statische inhoud is zichtbaar in een enkel frame.
- Temporeel Mechanisme: Inhoud wordt alleen zichtbaar door de relatieve beweging van ruispixels in de tijd.
  - Tekst/Afbeeldingen: Voorgrondruis beweegt in één richting (bijv. omhoog/links) terwijl achtergrondruis beweegt in de tegenovergestelde richting (bijv. omlaag/rechts). Het menselijke visuele systeem groepeert pixels op basis van bewegingsrichting (Gestaltprincipe van gemeenschappelijk lot) om de vorm te onthullen.
  - Dynamische Scènes: Dieptekaarten worden gebruikt om specifieke helderheidsdrempels te animeren, waardoor de illusie van bewegende objecten tegen een statische achtergrond ontstaat.
Dataset Statistieken:
- 451 Video's verdeeld over drie categorieën: Tekst (46,6%), Objectafbeeldingen (40,8%) en Dynamische Scènes (12,6%).
- Maten: De dataset bevat een Signal-to-Noise Ratio (SNR)-analyse die aantoont dat terwijl Basic en Perceptual SNR extreem laag zijn (negatieve dB), Temporal Coherence en Motion Contrast SNR hoog zijn, wat bevestigt dat het signaal uitsluitend in het temporele domein bestaat.

3. Experimentele Opstelling

Geëvalueerde Modellen: Een uitgebreide suite van meer dan 15 modellen, waaronder:
- Open-Source: VideoLLaMA3, TimeChat, MiniGPT4-Video, InternVL2/2.5, Qwen2/2.5-VL, LLaVA-NeXT, enz.
- Closed-Source: GPT-4o, Gemini 1.5 Pro, Gemini 2.0 Flash, Gemini 2.5 Pro.
Evaluatieprotocollen:
- Prompting: Getest zowel Direct Prompting als Chain-of-Thought (CoT) prompting om te zien of redeneerhulp helpt.
- Frame Rate: Getest over 1 tot 30 FPS om temporele undersampling als oorzaak van falen uit te sluiten.
- Fine-tuning: Modellen werden gefinetuned op SpookyBench-data (tot 1.100 video's) om te controleren of het probleem data-schaarste of een Out-of-Distribution (OOD) mismatch was.
- Menselijke Baseline: Zes menselijke deelnemers evalueerden dezelfde video's.
- Binaire Classificatie: Getest of modellen simpelweg het aanwezig zijn van voorgrondruis konden detecteren met behulp van zelf-superviserende modellen (VJEPA-2, DINOv3).
- Motion Boundary Augmentation: Getest of het verstrekken van expliciete ruimtelijke bewegingsaanwijzingen (via optische flow) aan de modellen hen in staat zou stellen de taak op te lossen.

4. Belangrijkste Resultaten

Prestatiekloof:
- Mensen: Bereikten ~98% nauwkeurigheid over alle categorieën zonder training.
- VLM's: Bereikten 0% nauwkeurigheid over alle modellen, maten (2B tot 78B parameters) en architecturen (Open/Closed source).
Robuustheid van het Falen:
- Prompting: Noch Directe noch CoT-prompten verbeterden de prestaties. Modellen hallucineerden ongerelateerde inhoud (bijv. "klok", "koffiebekertje") of echootten de prompt.
- Frame Rate: Menselijke nauwkeurigheid daalde graceus bij lage FPS (0% bij 1 FPS), maar VLM's bleven bij alle frame rates (1–30 FPS) op 0%, wat bewijst dat ze geen gebruik maken van temporele resolutie.
- Fine-tuning: Zelfs na training op 1.100 video's gedurende 30 epochen behielden modellen 0% testnauwkeurigheid. Dit sluit data-schaarste uit en bevestigt een architectonisch onvermogen om pure temporele patronen te verwerken.
- Binaire Detectie: Zelf-superviserende modellen (VJEPA-2, DINOv3) faalden in het onderscheiden van video's met inhoud en pure ruis, en convergeerden naar willekeurige kans (50%).
De "Motion Boundary" Doorbraak:
- Toen de auteurs vooraf bewegingsgrenzen berekenden (met behulp van klassieke optische flow) en deze als ruimtelijke aanwijzingen over de ruizige frames legden, steeg de modelnauwkeurigheid aanzienlijk (bijv. Qwen2-VL-7B ging van 0% naar 51,54%).
- Implicatie: De taak is oplosbaar, en modellen kunnen beweging verwerken als deze wordt omgezet in een expliciete ruimtelijke representatie. Het falen ligt in het onvermogen om temporele structuur intern te extraheren uit ruwe pixelsequenties.

5. Belangrijkste Bijdragen

SpookyBench: De eerste benchmark die temporele redenering strikt isoleert door alle ruimtelijke aanwijzingen te verwijderen, waardoor een "tijdsblindheid" in huidige VLM's aan het licht komt.
Empirisch Bewijs van Tijdsblindheid: Aangetoond dat het falen niet te wijten is aan modelgrootte, prompt-engineering of data-schaarste, maar een fundamentele architectonische beperking in huidige Video-VLM's (die prioriteit geven aan ruimtelijke kenmerkextractie boven temporele integratie).
Neurowetenschappelijk Geïnspireerde Analyse: Het falen gekoppeld aan het ontbreken van gedistribueerde temporele verwerkingsmechanismen zoals die in het menselijk brein voorkomen (bijv. integratie in de pariëtale cortex, populatieklokken).
Diagnostisch Hulpmiddel: Een methode geboden (Motion Boundary Augmentation) om aan te tonen dat de informatie computationeel te extraheren is, maar ontoegankelijk voor huidige architecturen.

6. Betekenis en Toekomstige Richtingen

Real-World Impact: Het onvermogen om pure temporele patronen te verwerken, beperkt VLM's in kritieke toepassingen zoals:
- Medische Diagnostiek: Interpreteren van pre-ictale EEG-patronen of subtiele fysiologische veranderingen.
- Biologische Signaleren: Het begrijpen van vuurvliegcommunicatie of andere bewegingsgebaseerde biologische signalen.
- Verstopte Communicatie: Decoderen van morsecode of digitale protocollen gebaseerd op timing.
Architectonische Verschuiving: Het artikel stelt dat toekomstige modellen verder moeten gaan dan het paradigma "ruimtelijke kenmerken extraheren $\to$ temporeel integreren". In plaats daarvan vereisen ze toegewijde mechanismen voor temporele patroonherkenning, mogelijk geïnspireerd door neurowetenschappen (gedistribueerde neurale timing, recurrente verwerking en bewegingsgebaseerde figuur-achtergrond segregatie).
Oproep aan de Gemeenschap: SpookyBench is vrijgegeven om onderzoek naar temporele redenering te stimuleren, en de gemeenschap op te roepen modellen te ontwikkelen die "tijd" kunnen zien, niet alleen ruimte.