💻 computer science

VideoReasonBench: Can MLLMs Perform Vision-Centric Complex Video Reasoning?

Die Studie stellt VideoReasonBench vor, einen Benchmark für visuell zentriertes, komplexes Video-Reasoning, der zeigt, dass die meisten Multimodal-LLMs bei solchen Aufgaben versagen, während Modelle mit erweiterter Denkzeit (wie Gemini-2.5-Pro) deutlich bessere Ergebnisse erzielen, was die Notwendigkeit von längeren Chain-of-Thought-Prozessen für tiefgreifendes Video-Verständnis unterstreicht.

Ursprüngliche Autoren: Yuanxin Liu, Kun Ouyang, Haoning Wu, Yi Liu, Lin Sui, Xinhao Li, Yan Zhong, Y. Charles, Xinyu Zhou, Xu Sun

Veröffentlicht 2026-03-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuanxin Liu, Kun Ouyang, Haoning Wu, Yi Liu, Lin Sui, Xinhao Li, Yan Zhong, Y. Charles, Xinyu Zhou, Xu Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🎬 Der große Test: Können KI-Modelle wirklich „sehen" und „denken"?

Stell dir vor, du hast einen sehr intelligenten Roboter, der Filme schauen kann. Bisher haben wir diesen Roboter nur mit einfachen Aufgaben getestet: „Was trägt der Mann?" oder „Wie viele Autos fahren vorbei?". Der Roboter war darin ziemlich gut.

Aber die Forscher von diesem Papier (erschienen bei ICLR 2026) sagen: „Das ist zu einfach! Wir wollen wissen, ob er wirklich denken kann, während er schaut."

Dafür haben sie einen neuen, extrem schwierigen Test namens VIDEOREASONBENCH erfunden.

1. Das Problem: Der „Gedächtnis-Schwindel"

Bisherige Tests waren wie ein Quiz, bei dem man nur kurz hinschauen musste. Aber in der echten Welt (und bei komplexen Videos) muss man oft Dinge im Kopf behalten, die man gerade nicht sieht.

Die Analogie:
Stell dir vor, du siehst einen Zaubertrick.

Der Zauberer (das Video) zeigt dir eine Schachtel.
Dann deckt er die Schachtel mit einem Tuch ab (das Video zeigt nur die Bewegungen, nicht den Inhalt).
Er schüttelt die Schachtel, tauscht sie mit einer anderen aus und bewegt sie hin und her.
Am Ende hebt er das Tuch wieder auf.

Die Frage ist: Was ist jetzt in der Schachtel?

Um das zu beantworten, musst du nicht nur schauen, sondern jeden einzelnen Schritt im Kopf nachvollziehen. Wenn du den Zauberer nur kurz ansiehst und dann wegschaust, hast du keine Chance. Das ist genau das, was die aktuellen KI-Modelle (MLLMs) oft nicht können.

2. Der neue Test: Ein Puzzle aus dem Nichts

Die Forscher haben 240 solcher Videos erstellt. Sie sehen aus wie:

Ein Schubspuzzle, bei dem die Zahlen unter einem blauen Schleier verschwinden, während sie sich bewegen.
Gläser, unter denen Münzen versteckt sind und die getauscht werden.
Dateien auf einem Computerbildschirm, die verschoben und gelöscht werden.

Die Fragen sind in drei Schwierigkeitsstufen unterteilt:

Erinnern: „Welche Zahl wurde als Erstes bewegt?" (Wie ein gutes Kurzzeitgedächtnis).
Raten (Inferieren): „Wo liegt die Münze jetzt, obwohl wir sie nicht sehen?" (Logik anwenden).
Voraussagen: „Wenn wir jetzt noch einen weiteren Zug machen, wo landet die Münze?" (Zukunft vorhersagen).

3. Die Ergebnisse: Die meisten scheitern kläglich

Als die Forscher 18 der besten KI-Modelle (wie GPT-4o, verschiedene Open-Source-Modelle) diesen Test geben ließen, passierte etwas Erstaunliches:

Die meisten Modelle lagen bei unter 10% richtig. Das ist fast wie Raten.
Selbst die riesigen Modelle (die „Flaggschiffe") schafften es kaum, über 10% hinauszukommen.
Der Gewinner: Ein Modell namens Gemini-2.5-Pro (das „nachdenkt", bevor es antwortet) schaffte 56%. Das ist zwar viel besser, aber immer noch weit entfernt von menschlicher Leistung (die bei ca. 74% lag).

Die Lektion: Die meisten KIs sind wie jemand, der einen Film schaut, aber sofort vergisst, was vor 10 Sekunden passiert ist. Sie können nicht lange genug „nachdenken" (Chain-of-Thought), um die Schritte im Kopf zu behalten.

4. Warum „Nachdenken" (Thinking) so wichtig ist

Ein spannender Teil des Papers untersucht, was passiert, wenn man der KI mehr Zeit zum „Nachdenken" gibt (mehr Token für den Denkprozess).

Bei alten Tests: Wenn man einer KI mehr Zeit gibt, um einfache Fragen zu beantworten, wird sie nicht viel besser. Sie denkt nur länger über Dinge nach, die sie ohnehin schon weiß.
Bei diesem neuen Test: Hier ist das Nachdenken überlebenswichtig. Je mehr Zeit die KI hat, um Schritt für Schritt durch das Video zu „spazieren" und die Logik zu verfolgen, desto besser wird sie.

Die Metapher:

Alte Tests: Wie eine Multiple-Choice-Frage im Mathebuch. Du kannst sie oft im Kopf lösen. Mehr Zeit hilft nicht viel.
VIDEOREASONBENCH: Wie das Lösen eines komplexen Rätsels in einem Escape Room. Du musst jeden Hinweis aufschreiben, jeden Schritt logisch ableiten und alles im Kopf behalten. Ohne „Zettel und Stift" (das Nachdenken) kommst du nicht raus.

5. Fazit: Die KI muss lernen, „Zu schauen" und „Zu behalten"

Das Papier zeigt uns, dass unsere aktuellen KI-Modelle zwar gut darin sind, Bilder zu beschreiben, aber schlecht darin sind, komplexe Abläufe in Videos zu verfolgen.

Sie brauchen:

Ein besseres Kurzzeitgedächtnis für visuelle Details.
Die Fähigkeit, Schritt-für-Schritt zu logisch zu denken, während das Video läuft.

Zusammengefasst:
VIDEOREASONBENCH ist wie ein neuer, harter Führerschein-Test für KIs. Bisher haben die meisten KIs nur den „Fahrschul-Parcours" bestanden. Dieser neue Test verlangt, dass sie in einem Stau mit 14 anderen Autos gleichzeitig navigieren, ohne einen Unfall zu bauen. Bisher schaffen das nur die allerbesten (und teuersten) Modelle, und selbst sie haben noch viel zu lernen.

Es ist ein wichtiger Schritt, um KIs wirklich „klug" zu machen, statt sie nur zu trainieren, Dinge zu erkennen.

1. Problemstellung

Trotz erheblicher Fortschritte beim „Chain-of-Thought" (CoT) Reasoning bei großen Sprachmodellen (LLMs) in Bereichen wie Mathematik und Codierung, bleibt der Nutzen von längeren Denkketten im Bereich des Video-Verständnisses unzureichend erforscht und oft nicht nachweisbar.

Lücke in bestehenden Benchmarks: Aktuelle Video-QA-Datensätze (z. B. Video-MME, TempCompass) fehlen oft die erforderliche Tiefe im logischen Schlussfolgern. Viele Aufgaben sind entweder rein wissensbasiert (knowledge-driven) oder erfordern nur oberflächliches visuelles Verständnis, das ohne komplexe Denkprozesse gelöst werden kann.
Mangel an vischer Zentrierung: Selbst neuere Benchmarks, die Reasoning testen, verlassen sich oft stark auf externes Wissen statt auf die visuelle Analyse des Videomaterials selbst.
Herausforderung: Es fehlt ein Benchmark, der Modelle zwingt, eine Sequenz von fein abgestimmten visuellen Operationen zu verfolgen, latente Zustände zu inferieren und Vorhersagen zu treffen, die über das sichtbare Video hinausgehen.

2. Methodik: VIDEOREASONBENCH

Das Paper stellt VIDEOREASONBENCH vor, einen Benchmark, der speziell für visuell zentriertes, komplexes Video-Reasoning entwickelt wurde.

Datensatz-Design:

Struktur: Jedes Video zeigt eine Sequenz von Operationen ( $o_t$ ), die einen latenten Zustand ( $S_t$ ) in einen neuen Zustand ( $S_{t+1}$ ) überführen.
Visuelle Komplexität: Der latente Zustand (z. B. die Anordnung von Kacheln, Münzen oder Dateien) ist nur teilweise sichtbar – entweder zu Beginn oder am Ende des Videos. Dazwischen sind die Operationen sichtbar, der Zustand jedoch oft maskiert oder nur durch die Bewegung implizit.
Kategorien: Der Benchmark umfasst sechs Szenarien:
1. Number: Schiebepuzzle mit nummerierten Kacheln.
2. Circle: Ein roter Kreis flippt Farben von Figuren in einem Gitter.
3. Cup: Tassen tauschen Positionen und verbergen Münzen.
4. File: Dateioperationen in einer Kommandozeile (Erstellen, Löschen, Verschieben).
5. Card: Kartenstapel, bei denen Karten oben hinzugefügt oder unten entfernt werden.
6. Chip: Chips werden in Tassen hinzugefügt oder entfernt.
Größe: 240 Videos mit insgesamt 1.440 Fragen.

Drei Ebenen des Reasonings:
Die Fragen sind in drei aufsteigende Schwierigkeitsgrade unterteilt:

Level 1 (Recall): Präzises Erinnern der visuellen Beobachtungen (Reihenfolge der Operationen, Zählen von Aktionen).
Level 2 (Infer): Inferenz des latenten Zustands basierend auf den beobachteten Operationen (z. B. „Wie sieht das Board am Ende aus?").
Level 3 (Predict): Gegenfaktisches Reasoning und Vorhersage neuer Informationen (z. B. „Was passiert, wenn weitere Operationen ausgeführt werden?" oder „Welche Operationen führen zu einem Zielzustand?").

Konstruktions-Pipeline:
Ein halbautomatischer Framework aus einem Video-Engine (generiert Zustandsübergänge und Videos via Matplotlib, Screenshots oder manuelle Aufnahmen) und einem Question-Engine (generiert Fragen und Ground-Truth-Antworten basierend auf den Zustandsübergängen).

3. Wichtige Beiträge

Einführung von VIDEOREASONBENCH: Ein neuer Benchmark, der Modelle zwingt, mehrere Aktionen in sequenzieller Reihenfolge wahrzunehmen und schrittweise zu reasoning, um Fragen zu beantworten. Dies erfordert eine deutlich höhere Reasoning-Tiefe und stärkere visuelle Abhängigkeit als bestehende Benchmarks.
Aufdeckung von Defiziten in SOTA-Modellen: Die Studie zeigt, dass die meisten State-of-the-Art (SOTA) Multimodal Large Language Models (MLLMs) bei dieser Aufgabe versagen. Selbst fortschrittliche „Thinking"-Modelle erreichen oft nur geringe Genauigkeiten.
Bedeutung von „Test-Time Scaling": Die Untersuchung zeigt, dass erweiterte CoT-Reasoning-Ketten (Thinking) für VIDEOREASONBENCH entscheidend sind, während sie bei bestehenden Benchmarks kaum einen Vorteil bringen.
Hohe visuelle Abhängigkeit: Das Entfernen visueller Informationen führt bei VIDEOREASONBENCH zu einem drastischen Leistungsabfall, was die Notwendigkeit echter visueller Verarbeitung unterstreicht.

4. Ergebnisse

Die Autoren evaluierten 18 fortschrittliche MLLMs (einschließlich GPT-4o, Gemini-2.5, o4-mini, Qwen2.5-VL, InternVL3, etc.).

Gesamtleistung: Die meisten Modelle schneiden sehr schlecht ab.
- Effiziente Modelle (<10B Parameter) erreichen oft < 2% Genauigkeit.
- Große Flaggschiff-Modelle (z. B. GPT-4o, Qwen2.5-72B) liegen unter 10%.
- Selbst „Thinking"-Modelle wie o4-mini und Seed1.5-VL erreichen nur ca. 10-11%.
Ausreißer: Gemini-2.5-Pro (mit aktiviertem Thinking-Modus) übertrifft alle anderen Modelle signifikant mit einer Genauigkeit von 56,0%.
Vergleich mit Menschen: Auch menschliche Annotatoren haben Schwierigkeiten (ca. 73,8% Genauigkeit), was die hohe Komplexität der Aufgabe unterstreicht.
Einfluss des Thinking-Budgets:
- Bei VIDEOREASONBENCH führt eine Erhöhung des „Thinking-Budgets" (mehr Tokens für Denkprozesse) zu einer signifikanten Leistungssteigerung (ca. +9%).
- Bei bestehenden Benchmarks (Video-MME, TempCompass) bringt mehr Thinking kaum Vorteile (< 2,5% Steigerung).
Visuelle Abhängigkeit: Wenn Videos durch Textzusammenfassungen ersetzt werden („vid2txt"), steigt die Leistung von Gemini-2.5-Flash von 27,4% auf 72,2%. Bei VIDEOREASONBENCH führt das Entfernen von 50% des Videos zu einem Leistungsabfall von 55,5%, während andere Benchmarks nur geringe Einbußen zeigen.

5. Bedeutung und Fazit

VIDEOREASONBENCH etabliert einen neuen Standard für die Bewertung von komplexem Video-Reasoning. Die Ergebnisse zeigen, dass:

Aktuelle MLLMs erhebliche Schwierigkeiten haben, fein abgestimmte zeitliche Abläufe in Videos zu verfolgen und daraus logische Schlüsse zu ziehen.
Der Erfolg von Modellen wie Gemini-2.5-Pro darauf hindeutet, dass erweiterte CoT-Reasoning-Mechanismen („Thinking") essenziell sind, um diese Lücke zu schließen.
Bestehende Benchmarks die Fähigkeiten von MLLMs im Bereich des tiefen visuellen Reasonings überschätzen, da sie oft ohne komplexe Denkprozesse lösbar sind.

Das Paper liefert somit einen kritischen Testfall („Testbed"), um die nächsten Generationen von multimodalen Modellen zu entwickeln, die nicht nur Bilder „sehen", sondern komplexe visuelle Szenarien dynamisch und logisch durchdringen können. Die Daten und der Code sind öffentlich verfügbar, um die Forschung in diesem Bereich voranzutreiben.