VideoZeroBench: Probing the Limits of Video MLLMs with Spatio-Temporal Evidence Verification
Die Studie stellt VideoZeroBench vor, einen neuen Benchmark zur Überprüfung der räumlich-zeitlichen Beweisführung in Video-MLLMs, der zeigt, dass selbst fortschrittliche Modelle wie Gemini-3-Pro bei Aufgaben, die eine präzise Verankerung von Beweisen erfordern, fast vollständig versagen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, du hast einen sehr intelligenten Roboter, der dir Filme und Videos ansehen kann. Wenn du ihn fragst: „Was passiert in diesem Film?", antwortet er oft sehr flüssig und klingt wie ein echter Experte. Aber das Paper VideoZeroBench stellt eine ganz neue, sehr strenge Frage: „Weiß er wirklich, was er sieht, oder ratet er nur?"
Hier ist die Erklärung des Papers in einfacher Sprache, mit ein paar lustigen Vergleichen:
1. Das Problem: Der „Blinde" Experte
Bisher haben Forscher Videokünstliche Intelligenz (KI) getestet, indem sie ihnen Fragen stellten und schauten, ob die Antwort richtig war. Das war wie ein Schüler, der eine Mathe-Aufgabe löst. Wenn das Ergebnis stimmt, bekommt er eine 1.
Aber VideoZeroBench sagt: „Moment mal! Wenn der Schüler das Ergebnis richtig hat, aber die Rechenwege völlig falsch sind oder er gar nicht weiß, woher die Zahlen kommen, ist er nicht wirklich schlau."
Die KIs in Videos machen oft genau das: Sie halluzinieren. Sie erraten die Antwort basierend auf ihrem allgemeinen Wissen (z. B. „In Sportvideos gibt es oft Tore"), ohne wirklich hinzuschauen, wann und wo im Video das Tor fiel.
2. Die Lösung: VideoZeroBench (Der „Detektiv-Test")
Die Forscher haben einen neuen Test namens VideoZeroBench entwickelt. Stell dir das wie einen extremen Detektiv-Test vor.
Statt nur zu fragen „Was ist passiert?", verlangen sie Beweise:
- Zeit-Beweis: „Zeig mir genau die Sekunde, in der das passiert ist."
- Ort-Beweis: „Zeig mir genau den kleinen Fleck im Bild, wo das Objekt war."
Der Test ist in 5 Schwierigkeitsstufen unterteilt, wie ein Videospiel, das immer schwerer wird:
- Level 1 (Der Cheat-Modus): Dem Roboter wird gesagt: „Schau genau zwischen Sekunde 10 und 20 und auf diesen kleinen Punkt." (Hier sind die KIs noch ganz gut).
- Level 2 (Nur Zeit): „Schau zwischen Sekunde 10 und 20, aber finde den Ort selbst." (Schwieriger).
- Level 3 (Der normale Test): „Schau dir das ganze Video an und antworte." (Die KIs schneiden hier schon schlecht ab).
- Level 4 (Zeit-Beweis): „Antworte richtig UND zeig mir, wann es passiert ist." (Hier scheitern fast alle).
- Level 5 (Der Meister-Detektiv): „Antworte richtig, zeig mir die Zeit UND den genauen Ort im Bild."
3. Das schockierende Ergebnis: Fast alle sind „blind"
Das Paper zeigt ein sehr ernüchterndes Bild:
- Die Besten der Besten: Selbst die allerstärkste KI (Gemini-3-Pro) schafft es nur in 17 % der Fälle, die Frage im normalen Modus (Level 3) richtig zu beantworten.
- Der Absturz: Sobald sie Beweise liefern müssen (Level 5), stürzt die Leistung auf unter 1 % ab! Das bedeutet: Von 100 Fragen beantworten sie 99 falsch oder geben keine Beweise, die stimmen.
Die Analogie:
Stell dir vor, du fragst einen Touristen in einer riesigen Stadt: „Wo ist das Café?"
- Level 3: Er sagt „Da vorne!" und hat Glück, dass er recht hat.
- Level 5: Er muss dir den Weg zeigen, den genauen Zeitpunkt nennen, an dem er das Café gesehen hat, und den kleinen Schild auf dem Fenster zeigen.
- Das Ergebnis: Die KIs sind wie Touristen, die raten. Sie wissen oft, dass es ein Café gibt, aber sie können es im Chaos der Stadt nicht finden.
4. Warum ist das so schwer?
Das Paper erklärt, wo die KIs hängen bleiben:
- Die Nadel im Heuhaufen: In langen Videos (oft 10–20 Minuten) ist das gesuchte Detail winzig und dauert nur eine Sekunde. Die KIs übersehen es oft, weil sie das Video nicht Frame für Frame genau genug ansehen.
- Kleine Objekte: Wenn es darum geht, ein kleines Objekt zu zählen (z. B. „Wie viele Stühle sind leer?"), verlieren die Kils den Überblick.
- Räumliches Denken: Sie verstehen oft nicht, ob jemand „links" oder „rechts" steht, wenn sich die Kamera bewegt.
5. Was lernen wir daraus?
Das Paper sagt uns: Wir sind noch weit davon entfernt, KIs zu haben, die Videos wirklich „verstehen".
Bisher haben wir KIs, die gut darin sind, zu reden über Videos. Aber sie sind schlecht darin, hinzuschauen und Beweise zu finden. Für eine wirklich vertrauenswürdige KI (z. B. für medizinische Diagnosen aus Operationsvideos oder Sicherheitsüberwachungen) reicht es nicht, nur die richtige Antwort zu kennen. Sie muss beweisen können, warum sie die Antwort kennt.
Zusammengefasst:
VideoZeroBench ist wie ein strenger Lehrer, der den Schülern sagt: „Keine Ahnung, keine Punkte. Zeig mir, wo du die Antwort im Buch gefunden hast!" Und bis jetzt haben fast alle Schüler bei dieser Aufgabe versagt. Das ist eine Einladung an die Forscher, KIs beizubringen, nicht nur zu raten, sondern wirklich zu sehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.