HOCA-Bench: Beyond Semantic Perception to Predictive World Modeling via Hegelian Ontological-Causal Anomalies

Die Studie stellt HOCA-Bench vor, einen Benchmark, der Video-LLMs anhand von hegelianisch definierten ontologischen und kausalen Anomalien testet und zeigt, dass diese Modelle zwar statische Verletzungen erkennen, aber bei der Vorhersage physikalischer Kausalzusammenhänge signifikante Defizite aufweisen.

Das Wesentliche

HOCA-Bench: Ein Test, der KI-Filme auf „magische Fehler" prüft

Stell dir vor, du hast einen sehr klugen Roboter, der Filme schaut und dir erzählt, was er sieht. Bisher war dieser Roboter gut darin, Dinge zu benennen: „Das ist ein Hund, der einen Ball jagt." Aber wenn der Hund plötzlich durch eine Wand läuft oder der Ball gegen die Schwerkraft nach oben fliegt, war der Roboter oft verwirrt. Er dachte vielleicht: „Ach, das ist nur ein cooler Trick" oder er sah gar nichts Falsches.

Das ist das Problem, das die Forscher mit HOCA-Bench lösen wollen. Sie haben eine neue Art von „Prüfstand" für Video-KI entwickelt, um zu testen, ob diese KIs wirklich verstehen, wie die Welt funktioniert, oder ob sie nur gut im Auswendiglernen von Mustern sind.

Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das große Problem: Sehen vs. Verstehen

Bisher waren KI-Modelle wie Super-Beobachter. Sie können sehen, was passiert (ein Mann läuft, ein Auto fährt). Aber sie sind oft schlecht darin zu verstehen, warum es passiert oder wie es passieren müsste.

• Der Vergleich: Stell dir vor, du hast einen Schüler, der alle Wörter in einem Wörterbuch auswendig gelernt hat. Wenn du ihn fragst: „Was ist das?", kann er das Wort sagen. Aber wenn du ihn fragst: „Warum fällt der Apfel vom Baum?", weiß er vielleicht nicht, dass die Schwerkraft dafür verantwortlich ist. Er kennt die Wörter, aber nicht die Gesetze der Physik.

2. Die Lösung: Der „Hegel-Filter"

Die Forscher haben eine alte philosophische Idee (von Hegel) benutzt, um die Fehler in zwei Kategorien zu teilen. Stell dir das wie zwei verschiedene Arten von „Magie" vor, die in einem Film vorkommen könnten:

• Kategorie A: Der „Wesen-Fehler" (Ontologische Anomalie)

  • Was ist das? Etwas verändert sich einfach so, ohne dass jemand es berührt.
  • Der Vergleich: Stell dir vor, du siehst ein Schaf, das plötzlich drei Köpfe hat. Oder eine Tasse, die sich von selbst in einen Stuhl verwandelt. Das Ding selbst ist „kaputt" oder unmöglich.
  • Die KI: Hier sind die KIs ganz gut. Sie merken schnell: „Hey, Schafe haben nur einen Kopf!"

• Kategorie B: Der „Beziehungs-Fehler" (Kausale Anomalie)

  • Was ist das? Etwas passiert, das gegen die Gesetze der Natur verstößt, wenn Dinge aufeinander treffen.
  • Der Vergleich: Stell dir vor, du wirfst einen Stein ins Wasser, aber er schwebt wie ein Blatt Papier. Oder du schiebst einen Ball, und er bleibt plötzlich mitten in der Luft stehen, ohne zu bremsen. Das Ding an sich ist okay, aber die Beziehung zwischen den Dingen ist falsch.
  • Die KI: Hier hapert es gewaltig. Die KIs verstehen oft nicht, warum das falsch ist. Sie sehen den Stein, aber sie „fühlen" nicht die Schwerkraft.

3. Wie haben sie den Test gemacht? (Der „Bösewicht"-Trick)

Echte Filme zeigen fast nie solche Fehler, weil die Realität ja funktioniert. Wie kann man also testen, ob eine KI Fehler erkennt?
Die Forscher haben einen cleveren Trick benutzt: Sie haben KI-Film-Macher (Generative Video-Modelle) gebeten, absichtlich alberne, unmögliche Szenen zu erstellen.

• Der Vergleich: Stell dir vor, du willst testen, ob ein Schiedsrichter gut ist. Du lässt ihn nicht ein normales Fußballspiel leiten, sondern du lässt ihn ein Spiel leiten, bei dem die Spieler durch die Bande laufen und der Ball aus dem Nichts erscheint. Wenn der Schiedsrichter das nicht bemerkt, ist er nicht gut genug.
  Diese „falschen Filme" sind der Test für die KIs.

4. Was haben sie herausgefunden? (Die enttäuschende Wahrheit)

Sie haben 17 verschiedene KI-Modelle getestet. Das Ergebnis war klar:

• Die KIs sind „Wesen-Experten", aber „Beziehungs-Dilettanten". Sie merken sofort, wenn ein Hund drei Beine hat (Wesen-Fehler). Aber wenn ein Ball durch eine Wand fliegt oder Wasser nach oben fließt (Beziehungs-Fehler), sind sie oft blind.
• Den „Denk-Modus" hilft, aber nicht genug. Manche KIs haben einen speziellen Modus, in dem sie erst „nachdenken", bevor sie antworten (wie ein Schüler, der sich die Aufgabe genau durchliest). Das hilft ein bisschen, aber es reicht nicht, um das große Loch in ihrem physikalischen Verständnis zu schließen.
• Größe zählt, aber nicht alles. Größere KIs sind besser, aber selbst die riesigen Modelle scheitern oft an einfachen physikalischen Gesetzen wie Reibung oder Schwerkraft.

5. Warum ist das wichtig?

Bis jetzt haben wir KIs, die uns Filme beschreiben können. Aber für eine echte „künstliche Intelligenz", die uns in der echten Welt hilft (z. B. ein Roboter, der Autos fährt oder in einer Fabrik arbeitet), reicht es nicht, nur zu sehen. Man muss die Welt vorhersagen können.

• Der Vergleich: Ein Autopilot muss nicht nur sehen, dass da ein Auto ist. Er muss wissen: „Wenn ich jetzt bremse, wird das Auto hinter mir auch bremsen, aber wenn ich zu schnell fahre, werde ich rutschen."

Fazit:
HOCA-Bench zeigt uns, dass unsere KIs noch wie sehr gut trainierte Schauspieler sind, die nur ihre Textzeilen lernen. Sie sind noch keine echten Regisseure, die verstehen, wie die Welt funktioniert. Um wirklich intelligent zu werden, müssen sie lernen, nicht nur zu sehen, was passiert, sondern zu verstehen, warum es passiert.

Technische Zusammenfassung

1. Problemstellung

Video-Large-Language-Modelle (Video-LLMs) haben in den letzten Jahren erhebliche Fortschritte bei der semantischen Wahrnehmung gemacht (z. B. „Wer tut was?"). Dennoch fehlt es ihnen oft an einem fundierten Weltmodell, das für eine physikalisch fundierte Intelligenz notwendig ist. Aktuelle Modelle sind zwar hervorragend darin, Muster zu erkennen und Bilder in Sprache zu übersetzen, scheitern jedoch oft an der prädiktiven Modellierung der Welt („Warum passiert das?" und „Wie entwickelt es sich?").

Das Hauptproblem besteht darin, dass bestehende Benchmarks sich meist auf semantische Aufgaben konzentrieren und keine klare Unterscheidung zwischen reinem Erkennen von Objekten und dem Verständnis physikalischer Gesetze treffen. Zudem ist es schwierig, realistische physikalische Fehler (Anomalien) zu testen, da reale Videomaterialien fast immer den Gesetzen der Physik folgen.

2. Methodik: Der Hegel'sche Ansatz

Die Autoren führen HOCA-Bench ein, einen Benchmark, der physikalische Anomalien durch die Linse der Hegel'schen Logik kategorisiert. Statt physikalische Fehler als generische „Halluzinationen" zu betrachten, werden sie als strukturelle logische Brüche definiert:

• Ontologische Anomalien (Sein / Being): Dies bezieht sich auf den Zusammenbruch der Entitätslogik. Ein Objekt verletzt seine eigene Definition oder Persistenz (z. B. ein Objekt verschwindet spontan, verändert seine Form ohne Ursache oder hat unmögliche biologische Eigenschaften).
  • Beispiele: Ein dreiköpfiges Schaf, ein durchsichtiger Holzstuhl, ein Objekt, das ohne äußeren Einfluss verschwindet.
• Kausale Anomalien (Wesen / Essence): Dies bezieht sich auf den Zusammenbruch der Interaktionslogik. Die Interaktion zwischen Objekten verletzt physikalische Gesetze (z. B. Schwerkraft, Reibung, Impulserhaltung).
  • Beispiele: Ein Stein, der schwimmt (Verletzung des Archimedes-Prinzips), ein Auto, das durch eine Wand fährt, oder Flüssigkeit, die nach oben fließt.

Datenerstellung und Adversarial-Simulation:
Da reale Videos selten physikalische Gesetze verletzen, nutzen die Autoren State-of-the-Art Generative Video-Modelle (wie Wan 2.1, Sora, Kling, HunyuanVideo) als adversariale Simulatoren. Diese Modelle erzeugen Videos, die visuell kohärent, aber physikalisch unmöglich sind.

• Datensatz: Insgesamt 1.439 Videos (630 reale, 809 synthetisch generierte) mit 3.470 Frage-Antwort-Paaren.
• Annotation: Ein mehrstufiger Prozess („Coarse-to-Fine") nutzt VLMs und LLMs zur Generierung von Beschreibungen, gefolgt von einer strengen menschlichen Verifizierung durch fünf Experten, um die Anomalien korrekt in die Hegel'sche Taxonomie einzuordnen.

Aufgabenstruktur:
Der Benchmark bewertet Modelle in vier aufsteigenden Stufen der kognitiven Tiefe:

1. Plausibilitätsprüfung (Binär): Ist das Szenario realistisch?
2. Domänen-Kategorisierung (Multi-Choice): Zu welcher der 9 physikalischen Domänen (z. B. Mechanik, Optik, Bio-Verhalten) gehört der Fehler?
3. Feingranulare Beschreibung (Multi-Choice): Identifikation der spezifischen Anomalie.
4. Kontrafaktisches Reasoning (Open-Ended): Das Modell muss eine strukturierte physikalische Argumentationskette erstellen (Szene, Anomalie, Taxonomie, physikalische Begründung).

3. Wichtige Beiträge

1. Hegel'sche Taxonomie: Einführung eines philosophisch fundierten Rahmens, der physikalische Fehler in „Ontologie" (Existenz/Identität) und „Kausalität" (Interaktion/Gesetze) trennt. Dies ermöglicht eine präzisere Diagnose von Modellfehlern.
2. HOCA-Bench Datensatz: Erstellung eines umfassenden Testbeds, das generative Modelle als Werkzeug nutzt, um kontrollierte physikalische Fehler zu erzeugen und damit eine Lücke in der Evaluierung von „Predictive World Modeling" schließt.
3. Umfassende Evaluation: Bewertung von 17 verschiedenen Video-LLMs, darunter Dense-Modelle, MoE-Architekturen (Mixture-of-Experts) und Modelle mit „Thinking"-Modi (System-2-Verarbeitung).

4. Ergebnisse

Die Evaluation zeigt ein deutliches kognitives Defizit bei aktuellen Modellen:

• Ontologie vs. Kausalität: Modelle sind signifikant besser darin, ontologische Verletzungen (statische Unmöglichkeiten) zu erkennen als kausale Mechanismen (dynamische Gesetze). Die Leistung bei kausalen Aufgaben bricht im Vergleich zu ontologischen Aufgaben um mehr als 20 % ein.
• Skalierungsgesetze: Größere Modelle (z. B. Qwen3-VL-32B, GLM-4.6V-106B) schneiden insgesamt besser ab, aber die Lücke zwischen Wahrnehmung und physikalischem Reasoning bleibt bestehen.
• Einfluss von „Thinking"-Modi (System 2): Modelle mit expliziten Reasoning-Modi (Chain-of-Thought) verbessern ihre Leistung bei komplexen kausalen Aufgaben erheblich, schließen die Lücke jedoch nicht vollständig. Sie erkennen Muster besser, wenden aber immer noch nicht konsistent physikalische Gesetze an.
• Leistungsführer: Das Open-Weight-Modell Qwen3-VL-32B erreichte den höchsten H-Index (70,3) und übertraf damit sogar proprietäre Modelle wie GPT-4o (57,4) und Gemini-2.5-Flash (67,5).
• Zeitliche Grounding: Modelle haben große Schwierigkeiten, den genauen Zeitpunkt einer Anomalie zu lokalisieren (niedrige mIoU), was darauf hindeutet, dass sie „was" passiert verstehen, aber nicht „wann" es physikalisch inkonsistent wird.
• Multi-Anomalie-Erkennung: Bei mehreren gleichzeitig auftretenden Fehlern versagen die Modelle oft, die gesamte Fehlerkette korrekt zu identifizieren (niedrige Exact-Match-Accuracy).

5. Bedeutung und Fazit

HOCA-Bench markiert einen Paradigmenwechsel in der Evaluierung von Video-LLMs. Es zeigt, dass aktuelle Modelle zwar starke Muster-Erkennungs-Systeme sind, aber noch keine echten Weltmodelle besitzen, die auf physikalischen A-priori-Wissen basieren.

• Forschungsrichtung: Die Arbeit unterstreicht, dass das nächste große Hindernis für die Künstliche Allgemeine Intelligenz (AGI) nicht die semantische Genauigkeit, sondern das Verständnis von Kausalität und physikalischen Gesetzen ist.
• Architekturelle Implikationen: Die Ergebnisse deuten darauf hin, dass reine Skalierung (mehr Parameter) oder das Hinzufügen von „Thinking"-Modi allein nicht ausreicht. Es sind neue Architekturen oder Trainingsmethoden erforderlich, die physikalisches Common Sense tief in die Repräsentation integrieren.
• Zukunft: HOCA-Bench dient als kritischer Wegweiser für die Entwicklung von Systemen, die nicht nur beschreiben können, was sie sehen, sondern auch vorhersagen können, wie sich die Welt physikalisch entwickeln wird.