VideoMemBench: How Well Do MLLMs Remember in Video Conversations?
Dieses Paper führt VideoMemBench ein, einen neuartigen Benchmark bestehend aus 326 Videos und mehrstufigen Dialogen mit verifizierten über die Gesprächsverläufe hinweg bestehenden Abhängigkeiten, um die „In-Context-Video-Gedächtnis“-Fähigkeiten von Multimodalen Großen Sprachmodellen (MLLMs) zu evaluieren, wobei aufgezeigt wird, dass selbst leistungsstärkste Modelle bei dieser Aufgabe erheblich Schwierigkeiten haben und lediglich eine Bestleistung von 45,7 % erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht vom Autor verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Technisches Resümee: VideoMemBench
Problemstellung
Multimodale Large Language Models (MLLMs) haben einen Stand erreicht, an dem sie stundenlange Videos mit Millionen von Token im Kontext verarbeiten können, was ausgedehnte Multi-Turn-Dialoge über ein einzelnes Video ermöglicht. Das Aufrechterhalten solcher Gespräche erfordert jedoch einen In-Context-Video-Speicher (in-context video memory): die Fähigkeit, Informationen, die in früheren Dialogen etabliert wurden, abzurufen und wiederzuverwenden – dies umfasst sowohl die visuellen Episoden, die das Modell gesehen hat, als auch die Antworten, die das Modell zuvor generiert hat.
Bestehende Benchmarks für das Video-Verständnis (z. B. MVBench, Video-MME, LVBench) versäumen es, diese Fähigkeit zu messen. Ihre Fragen sind gegenseitig unabhängig, beziehen sich nie aufeinander und sind allein aus dem Video und der aktuellen Frage beantwortbar. Infolgedessen müssen keine Informationen über die Gesprächsdurchgänge hinweg getragen werden, wodurch die kritische Herausforderung des In-Context-Video-Speichers ungemessen bleibt.
Methodik: Konstruktion von VideoMemBench
Die Autoren führen VideoMemBench ein, einen Benchmark, der darauf ausgelegt ist, den In-Context-Video-Speicher durch strukturierte, typisierte Cross-Turn-Abhängigkeiten explizit zu evaluieren. Die Konstruktionspipeline umfasst drei LLM-Rollen und eine menschliche Expertenprüfung:
- Videosammlung: Ein anfänglicher Pool von ca. 3.200 Videos wurde aus bestehenden Benchmarks (Video-MME, VSI-Bench usw.) und dem Web (YouTube) kuratiert und deckt vier Hauptbereiche ab: Lifestyle & Unterhaltung, Wissen & Bildung, Kunst & Literatur sowie Sport & Wettbewerb.
- Abhängigkeitsplanung (Planner LLM): Vor der Generierung von Fragen erstellt ein Planner eine globale Dialogspezifikation. Diese umfasst eine Video-Synopsis, Richtlinien für den Dialog und einen typisierten Abhängigkeitsgraphen. Der Graph weist den abhängigen Turns (Gesprächsdurchgängen) ihre Eltern-Turns zu und beschriftet die Kanten entweder als:
- Episodische Abhängigkeit (Episodic Dependency): Die Frage bezieht sich auf eine visuelle Episode, die in einem früheren Turn beschrieben wurde (Prüfung des Gedächtnisses dessen, was das Modell gesehen hat).
- Antwort-Abhängigkeit (Answer Dependency): Die Frage baut auf der eigenen früheren Antwort des Modells auf (Prüfung des Gedächtnisses dessen, was das Modell gesagt hat).
- Turn-weise Generierung (Generator LLM): Der Generator konstruiert den Dialog Turn für Turn unter Einhaltung des Plans. Er stellt sicher, dass abhängige Turns Referenzausdrücke verwenden (z. B. „die Szene aus T1“), ohne vorangegangene Inhalte erneut zu wiederholen.
- Automatisierte Verifizierung (Judger LLM): Ein Judger erzwingt drei strikte Anforderungen für jeden Turn:
- Notwendigkeit (Necessity): Die Frage muss unbeantwortbar sein, wenn die Eltern-Turns entfernt würden (selbst mit Zugriff auf das Video).
- Keine Informationsleckage (Non-leakage): Die Frage darf keine Informationen aus den Eltern-Turns wiederholen oder deren Antworten preisgeben.
- Visuelle Fundierung (Visual Grounding): Jede Antwort muss gegen spezifische Videoframes verifizierbar sein.
Gescheiterte Turns werden neu generiert; zwei aufeinanderfolgende Fehler lösen eine Neuplanung aus.
- Menschliche Expertenprüfung: Acht menschliche Experten überprüfen alle Dialoge gegen das Video, um die Korrektheit der Antworten, die Gültigkeit der Abhängigkeiten und das Fehlen von Informationsleckagen zu verifizieren.
Statistiken zum Datensatz:
- 326 Videos gepaart mit 326 Multi-Turn-Dialogen.
- 2.476 QA-Turns insgesamt.
- 1.387 Turns sind abhängig (56,02 %), bestehend aus 1.200 episodischen und 594 Antwort-Abhängigkeiten.
- Die Abhängigkeiten beinhalten Multi-Parent-Strukturen (bis zu 3 Eltern) und weitreichende Ketten (bis zu 9 Turns Distanz).
Evaluationsprotokoll
Der Benchmark evaluierte 25 MLLMs (8 geschlossene Quellen, 17 Open-Weight-Modelle) mittels eines Self-Rollout-Protokolls, bei dem die Modelle 128 gleichmäßig verteilte Frames und die vollständige Konversationshistorie erhalten. Drei Metriken wurden definiert:
- TurnAcc: Genauigkeit über alle Turns, unabhängig bewertet.
- EpiDepAcc: Genauigkeit bei Turns mit episodischen Abhängigkeiten (Gedächtnis des visuellen Kontextes).
- AnsDepAcc: Genauigkeit bei Turns mit Antwort-Abhängigkeiten unter Verwendung von Chain Crediting. Ein Turn wird nur dann gewertet, wenn seine Antwort und alle Antworten entlang der Antwort-Abhängigkeits-Ahnenreihe korrekt sind. Dies bestraft die Akkumulation von Fehlern.
Kernergebnisse
- Gesamtleistung: Das am besten abschneidende Modell, Claude Opus 5, erreichte ein Gesamtergebnis von lediglich 45,7 %, was signifikant niedriger ist als die menschliche Baseline von 86,1 %.
- Abhängigkeitstypen: Die Leistung war bei abhängigen Turns konsistent niedriger als bei unabhängigen Turns.
- AnsDepAcc war die anspruchsvollste Metrik (35,7 % für Claude Opus 5) und lag 16,6 Prozentpunkte hinter der TurnAcc zurück. Dies deutet auf eine schwere Schwierigkeit hin, die Konsistenz mit vorherigen Antworten aufrechtzuerhalten.
- EpiDepAcc (49,1 %) war etwas besser, aber immer noch unter der Genauigkeit unabhängiger Turns (52,3 %).
- Komplexitätseinfluss:
- Distanz: Die Genauigkeit sank, wenn die Abhängigkeitsdistanz zunahm (von 30,2 % bei Distanz 1 auf 23,1 % bei Distanz ≥5).
- Multi-Parent: Die Genauigkeit sank, wenn die Anzahl der Eltern-Turns zunahm.
- Position: Abhängige Turns an späteren Positionen im Dialog zeigten konsistente Rückgänge in der Genauigkeit.
- Fehlerquellen: Experimente, bei denen die Modellhistorie durch die Ground-Truth-Historie ersetzt wurde, zeigten signifikante Leistungssteigerungen (z. B. verbesserte Qwen3-VL-8B von 12,3 % auf 32,4 %), was bestätigt, dass Fehler in früheren Antworten eine primäre Schwierigkeit für nachfolgende Turns darstellen. Selbst mit perfekter Historie blieb die Genauigkeit jedoch unter dem Niveau unabhängiger Turns, was darauf hindeutet, dass eine korrekte Historie allein nicht ausreicht, um einen zuverlässigen In-Context-Video-Speicher zu gewährleisten.
Bedeutung und Ansprüche
Das Paper behauptet, dass der In-Context-Video-Speicher ein offenes und herausforderndes Problem für aktuelle MLLMs bleibt, selbst für Frontier-Modelle. Die primären Beiträge sind:
- Identifizierung einer Lücke: Aufzeigen, dass bestehende Benchmarks versagen, die Fähigkeit zu messen, den etablierten Dialogkontext in Video-Konversationen abzurufen und wiederzuverwenden.
- VideoMemBench: Bereitstellung des ersten Benchmarks mit expliziten, typisierten Cross-Turn-Abhängigkeiten (episodisch und Antwort) sowie einer rigorosen Konstruktionspipeline, die Notwendigkeit und Nicht-Leakage erzwingt.
- Empirische Evidenz: Demonstration, dass aktuelle Modelle signifikant mit Cross-Turn-Abhängigkeiten kämpfen, insbesondere bei der Aufrechterhaltung der Konsistenz mit ihren eigenen vorherigen Antworten (Chain Crediting) und beim Umgang mit weitreichenden oder Multi-Parent-Abhängigkeiten.
Die Autoren kommen zu dem Schluss, dass VideoMemBench eine notwendige Grundlage für die Entwicklung von Video-MLLMs bietet, die in der Lage sind, frühere Beobachtungen und Antworten in ausgedehnten Konversationen zuverlässig abzurufen und darauf aufzubauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.