PerceptionComp: A Video Benchmark for Complex Perception-Centric Reasoning

Dit paper introduceert PerceptionComp, een handmatig geannoteerde benchmark met complexe video-vragen die vereisen dat modellen meerdere tijdelijk gescheiden visuele aanwijzingen combineren, en toont aan dat zowel mensen als state-of-the-art multimodale modellen hier aanzienlijk moeite mee hebben, wat aangeeft dat perceptie-geredeneerde video-resoning nog een grote uitdaging blijft.

De kern

🎬 De Grote Uitdaging: Kijken is niet genoeg, je moet denken

Stel je voor dat je een film kijkt. De meeste huidige AI-modellen (de slimme computerprogramma's) doen alsof ze een snelle foto van de film nemen. Ze kijken even snel, zien een auto en een boom, en zeggen: "Aha, een auto bij een boom!" Ze zijn goed in het herkennen van dingen die ze nu zien.

Maar wat als de vraag is: "Op welke verdieping liep de persoon die zijn sleutels liet vallen, net voordat hij zijn zakdoek verloor?"

Om dit te beantwoorden, moet je niet alleen kijken, maar terugkijken, vooruitkijken, dingen onthouden en alles aan elkaar knopen. Je moet de film meerdere keren bekijken, net als een detective die een dossier doorzoekt.

Het probleem is: tot nu toe waren de testen voor AI's te makkelijk. Het waren alsof je een kind een foto van een hond liet zien en vroeg: "Is dit een hond?" (Ja/Nee). Dat is te simpel.

🕵️‍♂️ Wat is PerceptionComp?

De onderzoekers hebben een nieuwe test bedacht, genaamd PerceptionComp.

Stel je dit voor als een ontsnappingspuzzel in een enorm, drukke supermarkt.

• De video's: Geen saaie filmpjes van één persoon die loopt. Nee, dit zijn video's van drukke steden, grote villa's, of videospelletjes. Het is er een chaos aan beweging, mensen en objecten.
• De vragen: Ze zijn zo ontworpen dat je niet met één blik het antwoord kunt vinden.
  • Voorbeeld: "Zoek de man in het rode shirt (1), die voorbij de blauwe auto loopt (2), terwijl hij een oranje hoed draagt (3), en zeg me wat hij in zijn hand houdt (4)."
  • Als je de video maar één keer ziet, mis je waarschijnlijk stap 2 of 3. Je moet de video opnieuw bekijken, net als wanneer je een moeilijk raadsel oplost en steeds weer terugkijkt naar de aanwijzingen.

🧠 Wat hebben ze ontdekt? (De resultaten)

De onderzoekers hebben deze test gegeven aan de slimste AI's van dit moment (zoals de nieuwste versies van Gemini en GPT) en aan echte mensen.

1. Mensen zijn slim (als ze tijd hebben):
   Als mensen de video mogen bekijken, stoppen, terugspoelen en nadenken, halen ze 100% goed. Ze zijn als detectives die alles tot in detail kunnen onderzoeken.

   • Maar: Als mensen de video maar één keer mogen kijken (zonder terugspoelen), zakken ze naar 19%. Dat is bijna net zo slecht als raden. Dit bewijst dat de vragen echt moeilijk zijn en niet zomaar uit het hoofd te leren zijn.

2. AI's worstelen enorm:
   De slimste AI's halen slechts 45% goed. Dat klinkt misschien niet zo slecht, maar vergeleken met de 100% van mensen, is het een enorme kloof.

   • De AI's doen het alsof ze de film één keer hebben gezien en dan raden. Ze vergeten snel wat ze eerder zagen, of ze raken de draad kwijt in de chaos.
   • Zelfs als je de AI meer tijd geeft om na te denken (meer "rekenkracht"), wordt het beter, maar ze halen nog steeds niet het niveau van een mens die even terugspoelt.

🔍 Waarom lukt het de AI's niet?

De onderzoekers hebben gekeken waar de AI's vastlopen. Het is alsof je een spoorzoeker hebt die:

• Verkeerde wegen inslaat: Hij ziet een man in een rood shirt, maar vergeet dat hij ook een oranje hoed moet dragen.
• De ruimte niet begrijpt: Hij denkt dat iets links is, terwijl het rechts is.
• Te snel oordeelt: Hij denkt dat hij het antwoord al weet, voordat hij alle stukjes van de puzzel heeft gevonden.

Het is alsof je een AI vraagt om een lange, ingewikkelde route te volgen in een drukke stad, maar de AI kijkt alleen naar de eerste straathoek en denkt: "Aha, ik weet waar ik moet zijn!" Terwijl hij eigenlijk de verkeerde kant op loopt.

💡 Wat betekent dit voor de toekomst?

Deze test (PerceptionComp) is een spiegel voor de AI-wereld. Het laat zien dat we nog niet zo ver zijn als we denken.

• Huidige AI's: Zijn goed in het herkennen van dingen (een hond, een auto), maar slecht in het verbinden van dingen over tijd en ruimte.
• De toekomst: Om AI's echt slim te maken voor taken zoals robots die in huizen werken of brillen die je helpen navigeren, moeten ze leren om terug te kijken en patronen te herkennen in lange video's, net als wij mensen doen.

Kortom: PerceptionComp is de nieuwe "zwemtest" voor AI's. Tot nu toe zwommen ze alleen in het ondiepe water van simpele vragen. Nu gooien ze ze in de diepe oceaan met golven en stromingen, en daar blijken ze nog niet goed te kunnen zwemmen. Het is een uitdaging, maar ook een kans om de AI's te leren hoe ze écht moeten nadenken.

Technische samenvatting

Probleemstelling

Diep video-onderstanding vereist lang-horizon, waarnemingsgericht redeneren waarbij een model een video herhaaldelijk moet bekijken om tijdelijk verspreide bewijsstukken te verzamelen. Bestaande benchmarks falen echter in het nauwkeurig meten van deze capaciteit:

1. Te eenvoudig: Veel benchmarks (zoals VideoMME) zijn weliswaar waarnemingsgericht, maar kunnen vaak na één enkele kijkbeurt worden opgelost, waardoor er weinig ruimte is om het "test-time thinking" (redeneren tijdens het uitvoeren) van modellen te differentiëren.
2. Logica-gewicht: Andere benchmarks die zwaar redeneren vereisen, gebruiken vaak vereenvoudigde of synthetische visuals, waardoor de moeilijkheid voortkomt uit logische structuur in plaats van echte waarneming.
3. Gebrek aan herhaling: Er ontbreekt een benchmark die specifiek vereist dat modellen herhaaldelijk visuele informatie moeten ophalen over verschillende tijdssegmenten heen om een antwoord te formuleren.

Methodologie: PerceptionComp

De auteurs introduceren PerceptionComp, een volledig handmatig geannoteerd benchmark voor complex, compositieel en waarnemingsgericht video-redeneren.

1. Data Collectie en Selectie:

• Video's: 279 video's uit diverse domeinen (stadsrondleidingen, villa-tours, videogames, extreme sporten, etc.).
• Complexiteitsfiltering: Video's worden geselecteerd op basis van automatische proxies voor scène-complexiteit: het aantal objecten gedetecteerd door SAM2 en de grootte van de optische stroom (optical-flow magnitude). Dit zorgt voor video's met veel objecten, intense beweging en frequente overgangen.
• Lengte: Video's duren tussen de 2 en 10 minuten.

2. Vraagontwerp en Compositie:

• Aantal: 1.114 meerkeuzevragen (5 opties).
• Compositie: Elke vraag combineert meerdere sub-voorwaarden (subconditions) onder twee logica's:
  • Conjunctief: Alle voorwaarden moeten tegelijkertijd gelden voor hetzelfde doelwit (een "en"-structuur).
  • Sequentieel: Voorwaarden moeten in een specifieke volgorde worden opgelost, waarbij latere stappen afhankelijk zijn van eerdere bevindingen (multi-hop redeneren).
• Vaardigheden: De vragen testen een breed scala aan perceptuele vaardigheden: semantisch herkennen, visuele correspondentie (objecten volgen), temporeel redeneren, ruimtelijk redeneren, wereldmodelleren en commonsense kennis.
• Moeilijkheidsgraad: Vragen zijn ingedeeld in drie niveaus (1-3) op basis van het aantal sub-voorwaarden en de intrinsieke moeilijkheid ervan.

3. Annotatieproces:

• Elk vraag-antwoordpaar vereist 10–20 minuten handmatige arbeid.
• Een strikt validatieprotocol zorgt ervoor dat elk antwoord uniek is en dat geen enkel deel van de voorwaarden overbodig is (geen "shortcuts" mogelijk).
• Distractors (foutieve opties) zijn zorgvuldig ontworpen om plausibel en verwarrend te zijn, zodat het antwoord puur op visueel bewijs moet berusten en niet op taalkundige priors.

Kernbijdragen

1. Eerste Benchmark voor Waarnemingsgericht Redeneren: PerceptionComp is uniek omdat het de moeilijkheid plaatst bij de waarneming (het herhaaldelijk ophalen van visuele details) in plaats van bij pure logica of geheugen.
2. Menselijke Baselines: De auteurs bieden uitgebreide menselijke prestaties als gouden standaard:
   • Mensen met onbeperkt herkijken bereiken 100% nauwkeurigheid.
   • Mensen met slechts één kijkbeurt (zonder herkijken) zakken naar bijna willekeurige prestaties (18,97%), wat aantoont dat herhaalde waarneming essentieel is.
3. Diagnostisch Instrument: Het benchmark dient als testbed om de beperkingen van Multimodal Large Language Models (MLLMs) te diagnosticeren, met name hun vermogen om visuele bewijslast te integreren over lange tijdsperiodes.

Resultaten

De evaluatie omvat state-of-the-art modellen, waaronder proprietair (Gemini-3, GPT-4o/5/o3) en open-source (Qwen, InternVL, Video-R1).

• Algemene Prestaties: Zelfs de beste modellen presteren slecht. De hoogste score is 45,96% (Gemini-3-Flash). Open-source modellen blijven onder de 40%.
• Mens vs. Model: Er is een enorme kloof tussen menselijke capaciteit (100% met herkijken) en modellen. Zelfs met onbeperkt redeneertijd en herkijken halen modellen niet de menselijke prestatie.
• Invloed van "Thinking" (Redeneren): Modellen met "thinking"-capaciteiten (zoals GPT-o3 of Gemini-2.5-Pro) presteren beter dan hun niet-redenerende tegenhangers (bijv. +11,04% voor GPT-o3 vs GPT-4o), maar blijven ver achter bij menselijk niveau.
• Invloed van Resources:
  • Meer frames: Het verhogen van het aantal inputframes (perceptie-budget) verbetert de prestaties monotoon, wat bevestigt dat het benchmark afhankelijk is van gedetailleerde visuele data.
  • Meer tokens: Het verhogen van het "thinking-token budget" verbetert ook de prestaties, wat aangeeft dat langere redeneertraces helpen bij het vasthouden van hypotheses.
• Foutpatronen:
  • Modellen falen vaak in het vasthouden van consistente entiteiten over tijd (correspondentie).
  • Ruimtelijk redeneren is een grote bottleneck; fouten in de eerste stappen van een keten leiden tot een cascade van fouten.
  • Bij complexe vragen (Niveau 3) daalt de nauwkeurigheid drastisch.

Betekenis en Conclusie

PerceptionComp identificeert een kritieke bottleneck in de huidige AI-ontwikkeling: het vermogen van modellen om waarnemingsgericht, lang-horizon redeneren uit te voeren.

• Diagnose: Het paper toont aan dat het simpelweg grotere modellen of meer redeneertijd toevoegen niet voldoende is als de perceptuele basis (het correct vastleggen en koppelen van visuele details over tijd) zwak blijft.
• Toekomstige Richting: De resultaten suggereren dat toekomstige doorbraken vereisen dat modellen niet alleen beter "nadenken", maar ook beter "kijken" door herhaaldelijk en doelgericht terug te grijpen op specifieke momenten in een video.
• Impact: PerceptionComp biedt een gestandaardiseerde, moeilijke testomgeving om de voortgang in multimodaal visueel denken te meten en te sturen, verder dan de huidige benchmarks die vaak te makkelijk of te synthetisch zijn.

Kortom, het paper stelt dat voor echt diep video-onderstanding niet alleen meer rekenkracht nodig is, maar een fundamentele verbetering in het vermogen om visuele bewijslast te integreren over complexe, dynamische scènes heen.