HOCA-Bench: Beyond Semantic Perception to Predictive World Modeling via Hegelian Ontological-Causal Anomalies

Deze paper introduceert HOCA-Bench, een benchmark die Video-LLMs evalueert op hun vermogen om voorspellende wereldmodellen te bouwen door fysieke anomalieën te analyseren via een Hegeliaanse lens, en onthult dat hoewel deze modellen statische ontologische schendingen kunnen herkennen, ze aanzienlijk tekortschieten in het begrijpen van causale fysieke mechanismen.

De kern

HOCA-Bench: De "Fysica-Test" voor Slimme Videobots

Stel je voor dat je een robot hebt die heel goed kan kijken. Hij kan je vertellen dat er een hond op een grasveld loopt, dat de hond blaft en dat de zon schijnt. Hij is een meester in het zien van dingen. Maar als je hem vraagt: "Wat gebeurt er als die hond tegen een muur rent? Zal hij er doorheen gaan of er tegenaan botsen?", dan raakt hij in de war. Hij weet niet hoe de wereld werkt, hij weet alleen hoe hij er uitziet.

Dit is precies het probleem dat de auteurs van dit paper (HOCA-Bench) willen oplossen. Ze hebben een nieuwe test ontwikkeld om te zien of videobots (Video-LLMs) echt begrijpen hoe de fysieke wereld werkt, of dat ze alleen maar patronen nabootsen.

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen:

1. Het Probleem: De "Zombie" die niet snapt

Vroeger waren videobots alsof ze door een raam keken zonder de ramen te openen. Ze zagen wat er gebeurde, maar ze hadden geen idee van de regels erachter (zoals zwaartekracht of wrijving).

• Huidige bots: "Ik zie een bal die omhoog vliegt. Dat is raar, maar ik zie het wel."
• Wat we willen: Een bot die denkt: "Hé, ballen vallen naar beneden door de zwaartekracht. Als deze bal omhoog gaat, is er iets fundamenteel mis met de wetten van de natuurkunde."

2. De Oplossing: De "Hegeliaanse" Test

De auteurs gebruiken een oude filosofische manier van denken (van Hegel) om de test te bouwen. Ze verdelen fouten in twee soorten, alsof je een auto bekijkt:

• Type 1: De "Identiteitscrisis" (Ontologische fouten)

  • Vergelijking: Stel je voor dat je een hond ziet die plotseling een kippenkop krijgt, of een auto die verdwijnt terwijl je naar hem kijkt.
  • Wat het is: Het object zelf is gek. Het is alsof de "definitie" van het object kapot is. Een hond moet een hond zijn, geen kip.
  • Resultaat: De bots zijn hier best goed in. Ze zeggen: "Dat is raar, dat is geen hond."

• Type 2: De "Interactiecrisis" (Causale fouten)

  • Vergelijking: Stel je voor dat je een steen in water gooit, maar de steen blijft drijven alsof het een veer is. Of dat je een bal gooit en hij stopt plotseling in de lucht zonder dat iemand hem vastpakt.
  • Wat het is: Het object is normaal, maar de regels tussen de objecten zijn kapot. De zwaartekracht werkt niet, of de wrijving is verdwenen.
  • Resultaat: Hier falen de bots volledig. Ze zien de steen drijven en denken: "Oh, misschien is het een magische steen?" in plaats van: "Dit is onmogelijk volgens de wetten van de natuurkunde."

3. Hoe hebben ze de test gemaakt? (De "Foutenfabriek")

Je kunt niet gewoon een camera de wereld in sturen om deze fouten te vinden, want in het echte leven vallen appels altijd naar beneden. Er gebeuren geen wonderen.

Dus, de auteurs gebruikten AI-video-generatoren (robots die zelf video's maken) als hun "vijand".

• De truc: Ze gaven deze generatoren moeilijke opdrachten. Omdat deze generatoren nog niet perfect zijn, maken ze per ongeluk video's waarin de natuurkunde kapot gaat (bijv. koffie die uit een kopje stroomt maar het niveau in het kopje daalt niet).
• Deze "gebrekkige" video's gebruikten ze als een testveld. Ze kijken dan of de slimme videobots deze onmogelijke situaties kunnen opsporen en uitleggen.

4. Wat hebben ze ontdekt? (De "Cognitieve Achterstand")

Ze hebben 17 verschillende slimme bots getest. De resultaten waren verrassend:

• Ze zien wel, maar begrijpen niet: De bots zijn heel goed in het zien van de "Identiteitscrisis" (een hond met een kippenkop). Maar zodra het gaat om de "Interactiecrisis" (zwaartekracht, botsingen), zakken ze met meer dan 20% in score.
• Het "Denken" helpt, maar niet genoeg: Sommige bots hebben een speciale "Denk-modus" (waarbij ze langzamer nadenken voor het antwoord). Dit helpt een beetje, maar het lost het probleem niet op. Ze blijven vastzitten in het patroon herkennen in plaats van de wetten van de natuurkunde toe te passen.
• De conclusie: De huidige robots zijn als een acteur die een rol speelt. Ze kunnen perfect doen alsof ze een mens zijn, maar als je vraagt: "Wat gebeurt er als ik deze stoel omgooi?", weten ze het antwoord niet echt. Ze missen een voorspellend wereldmodel.

Samenvatting in één zin

HOCA-Bench is een test die laat zien dat onze slimste videobots nog steeds "fysiek blind" zijn: ze kunnen beschrijven wat ze zien, maar ze begrijpen niet waarom dingen gebeuren of wat er zou moeten gebeuren als de regels van de natuurkunde zouden breken.

Het is alsof we een auto hebben die perfect kan rijden op een rechte weg, maar zodra er een bocht komt, denkt hij dat hij door de muur kan vliegen. De auteurs zeggen: "We moeten eerst leren hoe de bocht werkt, voordat we verder kunnen met de toekomst."

Technische samenvatting

Titel: HOCA-Bench: Voorbij Semantische Perceptie naar Voorspellende Wereldmodellering via Hegeliaanse Ontologische-Causale Anomalieën

1. Het Probleem

Video-Grote Taalmodellen (Video-LLMs) hebben aanzienlijke vooruitgang geboekt op het gebied van semantische perceptie (het begrijpen van "wie doet wat" in een video). Echter, ze missen vaak een fundamenteel voorspellend wereldmodel (predictive world modeling), wat essentieel is voor fysiek onderbouwde intelligentie.

• De Kernvraag: Hebben deze modellen een intern model van de fysieke wereld om te voorspellen "waarom iets gebeurt" en "hoe het zich ontwikkelt", of zijn ze slechts geavanceerde patroonmatchers die visuele statistieken nabootsen?
• De Beperking: Bestaande benchmarks focussen voornamelijk op semantische taken of kennisretrieval. Ze testen zelden of modellen in staat zijn om fundamentele fysieke wetten (zoals zwaartekracht, inertie of behoud van massa) toe te passen om causale relaties te begrijpen.
• Data-uitdaging: Echte wereldbeelden overtreden zelden de natuurwetten, waardoor het moeilijk is om systemen te testen op hun vermogen om fysieke fouten te detecteren.

2. Methodologie: HOCA-Bench

De auteurs introduceren HOCA-Bench, een benchmark die fysieke hallucinaties structureert via een Hegeliaans filosofisch raamwerk. In plaats van willekeurige fouten te zien, worden anomalieën gezien als logische breuken in twee lagen:

A. Filosofisch Raamwerk (Hegeliaanse Logica)
De benchmark onderscheidt twee soorten anomalieën:

1. Ontologische Anomalieën (Zijn/Being): Een ineenstorting van de entiteitslogica. Hierbij schendt een object zijn eigen definitie of persistentie zonder externe stimulus.
   • Voorbeelden: Vormmutaties (een stoel wordt een tafel), objecten die spontaan verdwijnen, biologisch onmogelijke acties (een kat die chopsticks gebruikt).
   • OOP-analogie: Een "buggy" objectclass (bijv. een mens met superkrachten).
2. Causale Anomalieën (Essentie/Interaction): Een breuk in de interactielogica. Hierbij falen interacties tussen objecten om de vereiste fysieke respons op te leveren.
   • Voorbeelden: Objecten die door elkaar heen bewegen (clipping), water dat omhoog stroomt, gebrek aan wrijving, of onjuiste thermodynamica.
   • OOP-analogie: Een foutieve uitvoering van een "physics-method" tussen normale objecten.

B. Data Collectie en Constructie
Om een robuuste testomgeving te creëren, gebruiken de auteurs generatieve videomodellen als adversariële simulatoren.

• Data Bronnen: Een mix van 630 realistische video's (uit Panda-70M) en 809 gegenereerde video's (synthetische anomalieën) gegenereerd door state-of-the-art modellen zoals Wan 2.1, HunyuanVideo, Sora, en Kling.
• Aantal: Totaal 1.439 video's met 3.470 vraag-antwoordparen (QA-paren).
• Annotatie Pipeline: Een "Coarse-to-Fine" proces waarbij VLMs (Video-LMMs) frame-voor-frame captions genereren, die vervolgens door LLMs worden geaggregeerd tot fysieke logica en worden geverifieerd door menselijke experts (5 experts, ~200 man-uren).

C. Taakontwerp
De benchmark evalueert modellen via vier progressieve taken:

1. Plausibility Check (Binair): Is het scenario fysiek plausibel?
2. Domain Categorization (Multi-choice): Welk Hegeliaans domein (bijv. Mechanica, Optica) wordt geschonden?
3. Fine-grained Description (Multi-choice): Selectie van de meest accurate beschrijving van de overtreding.
4. Counterfactual Reasoning (Open-ended): De "ziel" van de benchmark. Het model moet een gestructureerde redenering geven: (1) Scènebeschrijving, (2) Anomalie-identificatie, (3) Taxonomische toewijzing (Ontologisch vs. Causaal), en (4) Voorspelling van het normale resultaat op basis van fysieke wetten.

3. Belangrijkste Bijdragen

1. Hegeliaanse Taxonomie: De eerste benchmark die fysieke hallucinaties classificeert op basis van een strikt filosofisch onderscheid tussen "Zijn" (Ontologie) en "Essentie" (Causaliteit).
2. Adversariële Testbed: Een unieke aanpak waarbij generatieve AI-modellen worden gebruikt om gecontroleerde, fysiek onmogelijke scenario's te genereren, waardoor dataset-bias wordt geminimaliseerd.
3. Uitgebreide Evaluatie: Evaluatie van 17 verschillende Video-LLMs, variërend van kleine dense modellen tot grote MoE-architecturen (Mixture of Experts) en modellen met "Thinking Modes" (System 2).

4. Resultaten en Bevindingen

De evaluatie van 17 modellen (waaronder Qwen3-VL, InternVL, GLM-4.6V, GPT-4o, Gemini-2.5) onthult een duidelijke cognitieve achterstand:

• Ontologie vs. Causaliteit: Modellen presteren aanzienlijk beter bij het detecteren van ontologische fouten (statische onmogelijkheden, zoals een drie-koppig schaap) dan bij het redeneren over causale mechanismen (dynamische wetten zoals zwaartekracht of wrijving).
  • Prestatieverschil: De prestatie daalt met meer dan 20% op causale taken vergeleken met ontologische taken.
• Invloed van "Thinking" Modes (System 2): Het inschakelen van "Thinking" (chain-of-thought) verbetert de redeneercapaciteit en helpt bij het behouden van logische consistentie, maar sluit de kloof niet volledig. Modellen herkennen visuele patronen sneller dan ze fundamentele fysieke wetten toepassen.
• Schalingswetten: Prestaties verbeteren over het algemeen met modelgrootte, maar zelfs de grootste modellen (zoals Qwen3-VL-32B) blijven worstelen met complexe causale interacties.
• Kwalitatieve Analyse: In een casestudie (een koffiemachine waarbij het koffiepeil niet stijgt ondanks het tappen) faalden veel modellen om de behoudswet van massa te herkennen. Sommige modellen hallucineerden zelfs dat de koffie omhoog stroomde of dat het bakje overliep, in plaats van de statische anomalie te zien.
• H-Index: De auteurs introduceren de "Hegelian Index" (H-Index) als een holistische maatstaf. Qwen3-VL-32B behaalde de hoogste score (70.3), wat aangeeft dat gespecialiseerde architecturale optimalisaties soms beter presteren dan gesloten, algemene modellen.

5. Significantie en Impact

HOCA-Bench markeert een verschuiving in de evaluatie van Video-LLMs:

• Van Perceptie naar Modellering: Het beweegt de focus van "wat zie ik?" naar "hoe werkt de wereld?". Dit is een cruciale stap richting Artificial General Intelligence (AGI) en fysiek onderbouwde intelligentie.
• Diagnostisch Instrument: De benchmark biedt een gedetailleerde diagnose van waar modellen falen (bijv. optica, thermodynamica, of inertie), wat helpt bij het richten van toekomstige onderzoeksinspanningen.
• Toekomstige Richting: De resultaten suggereren dat huidige architecturen, zelfs met "Thinking" modes, nog niet beschikken over een robuust, onbewust inferentiemechanisme voor causale wetten. Toekomstige modellen moeten niet alleen visuele patronen leren, maar ook de onderliggende dynamica van de fysieke wereld internaliseren.

Samenvattend biedt HOCA-Bench een rigoureuze, filosofisch onderbouwde manier om de grenzen van de fysieke intelligentie van AI-systemen te testen en bloot te leggen dat er nog een grote kloof bestaat tussen het herkennen van objecten en het begrijpen van de krachten die hen bewegen.