PerceptionComp: A Video Benchmark for Complex Perception-Centric Reasoning

Die Arbeit stellt PerceptionComp vor, ein manuell annotiertes Benchmark mit komplexen, langfristigen Video-Fragestellungen, das zeigt, dass aktuelle Multimodale Large Language Models (MLLMs) bei Aufgaben, die mehrere zeitlich getrennte visuelle Beweise und logische Verknüpfungen erfordern, erhebliche Schwierigkeiten haben.

Das Wesentliche

🎥 PerceptionComp: Der „Supermarkt-Rätsel"-Test für KI-Videos

Stell dir vor, du hast einen sehr klugen Freund, der ein KI-Modell ist. Dieser Freund kann Videos schauen und Fragen dazu beantworten. Bisher waren die Tests für diesen Freund eher wie ein Wahrheitsspiel für Kinder: „Was trägt der Mann auf dem Bild?" oder „Welche Farbe hat das Auto?". Man konnte die Antwort oft schon nach einem einzigen kurzen Blick erraten.

Die Forscher von PerceptionComp sagen jedoch: „Das ist zu einfach! Ein echter KI-Forscher muss nicht nur sehen, sondern auch nachdenken und das Video immer wieder neu anschauen, um alle Hinweise zu finden."

Hier ist die Idee hinter dem neuen Benchmark (einem Testsystem) in einfachen Worten:

1. Das Problem: Der „Ein-Blick"-Fehler

Bisherige Tests waren wie ein Fotospick. Wenn du ein Foto von einer Party siehst, kannst du sofort sagen: „Da steht ein Mann mit rotem Hut." Das ist einfach.
Aber im echten Leben ist es wie ein Detektiv-Fall. Stell dir vor, du musst herausfinden:

„In welchem Stockwerk war die Person zuletzt, bevor sie ihre Wohnungsschlüssel (nicht die Büroschlüssel!) fallen ließ?"

Um das zu lösen, musst du:

1. Den Schlüssel identifizieren (Welcher ist der Wohnungsschlüssel?).
2. Ihn im ganzen Video verfolgen (Wo war er?).
3. Den Moment des Fallens finden.
4. Zurückrechnen, wo die Person vorher war.

Wenn man das Video nur ein einziges Mal ansieht, ist die Chance, das zu lösen, fast null. Man muss wie ein Detektiv immer wieder zurückspulen und Details suchen. Genau das fehlt den aktuellen KI-Modellen.

2. Die Lösung: PerceptionComp (Der „Komplexitäts-Test")

Die Forscher haben einen neuen Test namens PerceptionComp gebaut.

• Die Videos: Sie sind nicht langweilig. Sie sind wie ein überfüllter Basar oder ein chaotischer Stadtspaziergang. Es gibt viele Menschen, viele Bewegungen, viele Objekte und ständig Wechsel. Man kann sie nicht in einem Satz zusammenfassen.
• Die Fragen: Sie sind wie ein Schnitzeljagd-Rätsel. Um die Antwort zu finden, muss man mehrere Hinweise aus verschiedenen Zeitpunkten des Videos kombinieren.
  • Beispiel: „Finde den gelben Lieferwagen. Suche die Person, die neben ihm steht. Was trägt sie, als der rote Bus vorbeifährt?"
  • Wenn man einen Schritt verpasst, ist die ganze Kette kaputt.

3. Der Test: Menschen vs. KI

Die Forscher haben Menschen gebeten, diese Rätsel zu lösen, um zu sehen, wie schwer es wirklich ist.

• Menschen: Wenn sie das Video so oft ansehen dürfen, wie sie wollen, lösen sie fast alle Rätsel (100 %). Aber es dauert lange! Sie müssen hin- und herspulen, Notizen machen und sich Dinge merken.
• Menschen (Einmal-Schauen): Wenn sie das Video nur einmal ansehen dürfen, landen sie fast beim Raten (nur ca. 19 % richtig). Das zeigt: Man kann diese Fragen nicht aus dem Gedächtnis oder durch bloßes „Raten" lösen. Man braucht das Video.
• KI-Modelle: Hier wird es spannend. Die besten KI-Modelle der Welt (wie Gemini oder GPT) liegen bei nur ca. 46 %. Das ist deutlich schlechter als ein Mensch, der Zeit hat.

4. Warum scheitern die KI-Modelle?

Die Forscher haben herausgefunden, wo die KI hakt:

• Sie verlieren den Faden: Stell dir vor, du suchst in einem großen Wald nach einem bestimmten Vogel. Die KI sieht den Vogel, vergisst aber nach 10 Sekunden, dass sie ihn eigentlich suchen sollte, und fängt an, über Bäume zu reden.
• Sie sehen nicht genau genug: Sie erkennen vielleicht, dass da ein „gelbes Auto" ist, aber sie verwechseln es mit einem anderen gelben Auto, das später kommt.
• Zu viel Nachdenken hilft nicht immer: Man dachte, wenn die KI mehr Zeit zum „Nachdenken" (Rechnen) hat, wird sie besser. Das stimmt teilweise, aber wenn sie die visuellen Details (das Sehen) nicht richtig versteht, hilft auch das beste Nachdenken nicht. Es ist wie ein Genie, das eine Landkarte falsch liest – es rechnet perfekt, kommt aber am falschen Ort an.

5. Was bedeutet das für die Zukunft?

PerceptionComp ist wie ein Spiegel für KI. Es zeigt uns, dass KI zwar sehr gut darin ist, Texte zu verstehen oder einfache Bilder zu erkennen, aber noch nicht gut darin ist, komplexe Geschichten in Videos zu verfolgen.

Die Botschaft ist: Um wirklich intelligente KI zu bauen, die wie ein Mensch Videos versteht (z. B. für Roboter oder autonome Autos), müssen wir sie nicht nur „dümmer" machen, sondern ihnen beibringen, wiederholt hinzusehen und Hinweise über die Zeit hinweg zu verknüpfen.

Zusammengefasst:
PerceptionComp ist ein neuer, sehr schwerer Test, der KI-Modelle zwingt, wie echte Detektive zu arbeiten: nicht nur einen Blick werfen, sondern das Video wie ein Puzzle Stück für Stück zusammensetzen. Und aktuell sind die KI-Detektive noch weit davon entfernt, die menschlichen Detektive zu schlagen.

Technische Zusammenfassung

1. Problemstellung

Das Verständnis von Videos durch künstliche Intelligenz erfordert oft langfristiges, wahrnehmungsorientiertes Denken (long-horizon, perception-centric reasoning). Modelle müssen ein Video wiederholt ansehen, um zeitlich verteilte Beweise zu sammeln und diese zu komplexen Schlussfolgerungen zu verknüpfen.

Bisherige Benchmarks (z. B. VideoMME, Perception Test) weisen jedoch zwei Hauptmängel auf:

• Zu einfach: Viele Fragen können nach einmaligem Ansehen des Videos beantwortet werden, da sie nur oberflächliche Wahrnehmung erfordern.
• Logiklastig mit vereinfachter Visualität: Andere Benchmarks (z. B. für Mathematik oder Labyrinthe) basieren auf synthetischen oder stark vereinfachten visuellen Eingaben, wobei die Schwierigkeit primär aus der logischen Struktur und nicht aus der realen visuellen Komplexität resultiert.

Es fehlt ein Benchmark, der gleichzeitig langfristige Zeithorizonte, eine hohe visuelle Komplexität und die Notwendigkeit zwingt, das Video mehrfach zu durchsuchen, um verteilte visuelle Evidenz zu integrieren.

2. Methodik und Aufbau von PerceptionComp

Datensatz-Konstruktion:

• Umfang: Der Datensatz enthält 1.114 Multiple-Choice-Fragen (5 Optionen) über 279 Videos aus verschiedenen Domänen (Stadtspaziergänge, Villa-Touren, Videospiele, Extremsport, etc.).
• Video-Auswahl: Die Videos wurden automatisch nach Szene-Komplexität gefiltert. Als Proxy-Metriken dienten die Anzahl der von SAM2 erkannten Instanzen (Objektdichte) und die Magnitude des optischen Flusses (Bewegungsintensität). Die Videos sind 2–10 Minuten lang und weisen viele Objekte, häufige Szenenwechsel und starke Kamerabewegungen auf.
• Fragendesign: Jede Frage ist so konstruiert, dass kein einzelner Moment ausreicht. Die Antworten erfordern die Kombination mehrerer zeitlich getrennter visueller Evidenzen unter kompositionellen Constraints.
  • Subbedingungen: Fragen bestehen aus mehreren Teilbedingungen, die verschiedene Wahrnehmungsfähigkeiten testen (semantische Erkennung, räumliches Verständnis, zeitliches Reasoning, Korrespondenz über Zeit).
  • Logik-Typen:
    • Konjunktiv: Alle Bedingungen müssen gleichzeitig auf dasselbe Ziel zutreffen (UND-Verknüpfung).
    • Sequenziell: Bedingungen müssen in einer festen Reihenfolge gelöst werden, wobei spätere Schritte von früheren Ergebnissen abhängen (Multi-Hop-Reasoning).
• Annotation: Der gesamte Prozess ist manuell annotiert. Jede Frage erfordert 10–20 Minuten Arbeitszeit für die Auswahl des Videos, das Design der Subbedingungen und die Verifizierung. Ein mehrstufiger Prüfprozess (durch andere Annotatoren) stellt sicher, dass die Antwort eindeutig ist und keine Teilmenge der Bedingungen ausreicht, um sie zu lösen.

Schwierigkeitsgrade:
Die Fragen werden von Experten in drei Schwierigkeitsstufen (Level 1–3) eingeteilt, basierend auf der Anzahl der Subbedingungen und deren intrinsischer Schwierigkeit.

3. Wichtige Beiträge

1. PerceptionComp Benchmark: Der erste vollständig manuell annotierte Benchmark, der speziell darauf ausgelegt ist, wahrnehmungsorientiertes, langfristiges Video-Reasoning zu testen. Er zwingt Modelle dazu, visuelle Informationen über mehrere Zeitabschnitte hinweg zu aggregieren.
2. Human-Studie: Eine Evaluation mit menschlichen Teilnehmern zeigt, dass PerceptionComp signifikant schwieriger ist als bestehende Benchmarks:
   • Die Antwortzeit ist mehr als 2- bis 10-mal höher als bei anderen Benchmarks.
   • Unter der strikten Bedingung, das Video nur einmal anzusehen (kein Neuschauen), sinkt die menschliche Genauigkeit auf 18,97 % (nahe dem Zufallsniveau).
   • Mit unbegrenztem Neuschauen erreichen Experten 100 % Genauigkeit, was beweist, dass die Fragen lösbar sind, aber wiederholte Wahrnehmungsschritte erfordern.
3. Analyse von MLLMs (Multimodal Large Language Models): Der Benchmark deckt massive Lücken im aktuellen Stand der Technik auf.

4. Ergebnisse

Leistung der Modelle:

• State-of-the-Art (SOTA): Selbst die besten proprietären Modelle erreichen nur moderate Ergebnisse. Das beste Modell (Gemini-3-Flash) erreicht 45,96 % Genauigkeit.
• Open-Source-Modelle: Diese liegen deutlich darunter, meist unter 40 % (z. B. Qwen3-VL-8B bei ~34 %).
• Skalierung: Eine Vergrößerung der Modellgröße führt nicht konsistent zu besseren Ergebnissen, was darauf hindeutet, dass das Problem nicht in der generellen Kapazität, sondern in der zuverlässigen Extraktion feinabgestimmter visueller Evidenz unter Störungen liegt.

Einfluss von Test-Time-Compute:

• Reasoning-Budget: Modelle mit „Thinking"-Fähigkeiten (Chain-of-Thought) schneiden besser ab als reine Instruktion-Modelle (z. B. GPT-o3 +11,04 % gegenüber GPT-4o). Ein höheres Token-Budget für das Nachdenken verbessert die Leistung.
• Wahrnehmungs-Budget: Eine Erhöhung der Anzahl der Eingabeframes (z. B. von 16 auf 64) führt zu einer monotonen Leistungssteigerung. Dies bestätigt, dass der Benchmark stark von der Dichte der visuellen Informationen abhängt.

Fehleranalyse:
Die häufigsten Fehlerquellen sind:

• Räumliches Missverständnis: Modelle scheitern oft an räumlichen Beziehungen (z. B. „links von", „hinter"), was zu einem Abdrift der gesamten Reasoning-Kette führt.
• Kettenabbruch: Sobald ein Zwischenschritt falsch ist (z. B. falsches Objekt identifiziert), bleiben die folgenden Schritte logisch kohärent, aber faktisch falsch.
• Halluzinationen: Modelle neigen dazu, logische Pfade zu erfinden, wenn sie visuelle Unsicherheiten haben, anstatt die Evidenz neu zu prüfen.

5. Bedeutung und Fazit

PerceptionComp identifiziert einen kritischen Engpass in der aktuellen KI-Forschung: Wahrnehmungsorientiertes Langzeit-Reasoning.

• Diagnose-Tool: Der Benchmark dient als Testumgebung, um zu zeigen, dass aktuelle Modelle zwar gut in logischem Schließen oder einfacher Objekterkennung sind, aber scheitern, wenn sie feinabgestimmte visuelle Details über lange Zeiträume hinweg verknüpfen müssen.
• Richtung für zukünftige Forschung: Die Ergebnisse deuten darauf hin, dass reine Skalierung von Sprachmodellen oder mehr „Nachdenkzeit" allein nicht ausreicht. Es sind Fortschritte in der visuellen Grounding-Fähigkeit (Fähigkeit, sich auf spezifische visuelle Evidenz zu stützen) und der temporalen Integration notwendig.
• Human-Level Gap: Die Diskrepanz zwischen menschlicher Leistung (bei unbegrenztem Neuschauen) und Modellleistung (selbst bei SOTA-Modellen <46 %) unterstreicht, dass tiefes Videoverständnis eine der größten Herausforderungen für Multimodale KI bleibt.

Zusammenfassend bietet PerceptionComp einen rigorosen, manuell verifizierten Standard, um die Grenzen aktueller multimodaler Modelle aufzudecken und die Entwicklung von Systemen voranzutreiben, die echte, evidenzbasierte visuelle Denkprozesse beherrschen.