EgoCoT-Bench: Benchmarking Grounded and Verifiable Operation-Centric Chain of Thought Reasoning for MLLMs
Das Papier stellt EgoCoT-Bench vor, einen fein abgestuften Benchmark für egozentrische Videos, der 3.172 überprüfbare Frage-Antwort-Paare mit expliziten schrittweisen Begründungsannotierungen umfasst und zur Evaluierung und Verbesserung der fundierten, handlungszentrierten Schlussfolgerungsfähigkeiten multimodaler großer Sprachmodelle entwickelt wurde.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie schauen sich ein Video an, in dem jemand aus der eigenen Perspektive kocht (als würde eine GoPro auf seiner Stirn sitzen). Sie sehen Hände, die ein Messer, einen Topf und einen Löffel greifen. Stellen Sie sich nun vor, Sie fragen einen superintelligenten KI-Roboter: „Wo befindet sich das Salzstreuer, nachdem der Koch ihn abgestellt hat?"
Der Roboter könnte sagen: „Er liegt auf der Arbeitsplatte." Und er könnte recht haben! Aber hier liegt der Haken: Hat der Roboter tatsächlich gesehen, wie der Salzstreuer dorthin bewegt wurde, oder hat er nur geraten?
Genau dieses Problem versucht das Papier EgoCoT-Bench zu lösen.
Das Problem: Der „Glücksrät"-Roboter
Derzeit sind viele KI-Modelle wie Schüler, die den Lösungsschlüssel auswendig gelernt haben, aber die Mathematik nicht verstehen. Sie können sich ein Video ansehen und die richtige Antwort auf eine Frage geben, aber ihre Erklärung (ihre „Begründung") könnte erfunden, inkonsistent oder auf Dingen basieren, die im Video tatsächlich nicht passiert sind.
In der Welt von „First-Person"- (Egozentrischen) Videos ist dies besonders schwierig, weil:
- Hände den Blick oft verdecken.
- Objekte verschwinden und wieder auftauchen.
- Die Kamera wackelt und sich wild bewegt.
Bestehende Tests für KI prüfen nur, ob die endgültige Antwort richtig ist. Dieses Papier sagt: „Das reicht nicht! Wir müssen prüfen, ob die Geschichte der KI über das, was passiert ist, tatsächlich mit dem Video übereinstimmt."
Die Lösung: EgoCoT-Bench (Der „Wahrheitsdetektiv"-Test)
Die Autoren haben einen neuen, superdetaillierten Test namens EgoCoT-Bench entwickelt. Stellen Sie sich dies als „Führerscheinprüfung" für KI vor, aber statt ein Auto zu fahren, muss die KI ein Video verstehen, in dem jemand Aufgaben mit seinen Händen erledigt.
Wie sie es aufgebaut haben:
- Die Karte (STSG): Anstatt nur das Video anzusehen, haben sie zuerst eine „Karte" des Videos erstellt. Diese Karte verfolgt jedes Objekt, jede Hand und jede Sekunde Zeit, wie ein detailliertes Skript eines Theaterstücks.
- Die Fragen: Sie nutzten diese Karte, um 3.172 Fragen zu erstellen. Dies sind nicht nur Fragen wie „Welche Farbe hat die Tasse?". Es sind knifflige Fragen wie: „Die Hand griff bei 1:00 die blaue Tasse, dann bei 1:05 die rote Tasse. Welche lag bei 1:03 auf dem Tisch?"
- Der Beweis: Jede einzelne Frage kommt mit einem „Quittung". Der Test enthält den genauen Zeitpunkt, den Ort und den visuellen Beweis, der benötigt wird, um sie zu beantworten. Auf diese Weise können wir prüfen, ob die Begründung der KI mit der Quittung übereinstimmt.
Die 4 Arten von Herausforderungen
Der Test ist in vier Hauptkategorien unterteilt, wie Level in einem Videospiel:
- Die Aktion erkennen (Grounding & Wahrnehmung): „Was berührt die Hand gerade?" (Kann die KI sehen, was jetzt passiert?)
- Die Zeitmaschine (Rückblick): „Wo war der Löffel, bevor die Hand ihn aufhob?" (Kann die KI die Vergangenheit erinnern?)
- Die Wahrsagerin (Vorhersage & Kausale Inferenz): „Die Hand hält den Deckel. Was wird als Nächstes passieren?" oder „Warum ist der Kaffee verschüttet?" (Kann die KI die Zukunft erraten oder die Ursache erklären?)
- Das große Ganze (Hochrangiges Schlussfolgern): „Ist der Koch mit dem Sandwich fertig, oder gibt es noch einen weiteren Schritt?" (Kann die KI das gesamte Ziel verstehen?)
Was passierte, als sie die KI testeten?
Die Autoren nahmen die intelligentesten verfügbaren KI-Modelle (wie GPT-5, Qwen und LLaVA) und setzten sie diesem Test aus. Hier ist, was sie herausfanden:
- Das Phänomen des „Glücksrats": Viele Modelle erhielten die richtige Antwort (z. B. „Die Flasche steht im Regal"), aber als sie nach dem Warum gefragt wurden, war ihre Erklärung falsch. Sie sagten vielleicht: „Weil ich eine Flasche gesehen habe", obwohl das Video zeigte, dass die Flasche nach dem Zeitpunkt der Frage bewegt wurde.
- Die Lücke: Selbst die besten KI-Modelle erreichten nur etwa 60–70 % richtige Antworten. Menschen erreichten fast 96 %. Das bedeutet, es gibt immer noch eine riesige Lücke zwischen dem menschlichen Verständnis und dem KI-Verständnis, wenn es darum geht, zu beobachten, wie Hände Dinge bewegen.
- Der schwierigste Teil: Die KI war okay darin, zu erraten, was als Nächstes passiert, aber schrecklich darin, die Geschichte eines Objekts zu verfolgen (wie etwa ein bestimmtes Etikett auf einem Hemd zu verfolgen, während es ausgezogen wird).
Das Fazit
Das Papier stellt eine neue Art vor, KI zu benoten. Anstatt nur eine Note basierend auf der endgültigen Antwort zu geben, bewerten sie nun auch die Begründung.
Sie stellten fest, dass viele KI-Systeme „fälschlich korrekt" sind – sie erhalten die richtige Antwort aus den falschen Gründen. Das ist gefährlich, denn wenn Sie eine KI bitten, einem Roboter in einer Küche zu helfen, und die KI die richtige Antwort rät, aber eine falsche Vorstellung davon hat, wo sich das Messer befindet, könnte der Roboter etwas schneiden, das er nicht schneiden sollte.
EgoCoT-Bench ist ein Werkzeug, um die KI zu zwingen, aufzuhören zu raten und stattdessen Schritt für Schritt die tatsächlichen Beweise im Video zu beachten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.