💻 computer science

HAVEN: Hierarchically Aligned Multimodal Benchmark for Unified Video Understanding

Dieser Artikel stellt HAVEN vor, einen neuartigen, hierarchisch abgestimmten multimodalen Benchmark, der die Einschränkungen bestehender fragmentierter Videoevaluierungsmethoden adressiert, indem er einen einheitlichen, vollständig granularisierten Datensatz und eine umfassende Evaluierungssuite bereitstellt, um die Fähigkeiten multimodaler großer Sprachmodelle in komplexer Videozusammenfassung und -analyse rigoros zu bewerten.

Ursprüngliche Autoren: Mengqi Shi, Haopeng Zhang

Veröffentlicht 2026-05-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mengqi Shi, Haopeng Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, einen Film zu verstehen. Sie zeigen ihm einen Film und fragen: „Was ist passiert?" Der Roboter gibt Ihnen eine sehr flüssige, grammatikalisch perfekte Zusammenfassung. Das klingt großartig! Aber wenn Sie fragen: „Welche spezifische Szene zeigte den Helden beim Springen?", könnte der Roboter auf die falsche Szene zeigen oder eine Szene erfinden, die nie stattgefunden hat.

Dies ist das Problem, das die Arbeit HAVEN adressiert. Die Autoren argumentieren, dass aktuelle KI-Modelle wie Schauspieler sind, die ein Skript perfekt auswendig lernen können, die Handlung oder die Charaktere aber nicht wirklich verstehen. Sie sind „fließend", aber nicht „verankert".

Hier ist eine einfache Aufschlüsselung dessen, was sie taten und was sie fanden:

1. Das Problem: Das „zerbrochene Puzzle"

Bestehende Tests für Video-KI sind wie ein Puzzle, das man einem Schüler gibt, bei dem die Teile verstreut sind und nicht zusammenpassen.

Der alte Weg: Tests verlangen der KI normalerweise, sich einen Video anzusehen und eine Zusammenfassung zu schreiben, ODER ein paar wichtige Bilder auszuwählen. Sie behandeln diese als separate Aufgaben.
Der Fehler: Echte Videos sind hierarchisch aufgebaut. Ein Video besteht aus Bildern (einzelne Bilder), die sich zu Aufnahmen (kurze Clips) gruppieren, die das gesamte Video (die Geschichte) bilden. Alte Tests ignorieren diese Struktur. Sie prüfen auch nicht, ob die Worte der KI tatsächlich mit den spezifischen Momenten im Video übereinstimmen. Die KI kann die richtigen Worte erraten, nur weil sie weiß, wie Sprache funktioniert, ohne das Video tatsächlich zu „sehen".

2. Die Lösung: HAVEN (Der „Master-Plan")

Die Autoren entwickelten einen neuen Benchmark namens HAVEN (Hierarchically Aligned Multimodal benchmark for unified Video undErstandiNg). Denken Sie an HAVEN als Master-Plan für ein Gebäude.

Anstatt nur das fertige Haus (das Video) zu betrachten, zwingt HAVEN die KI, gleichzeitig die Ziegel (Bilder), die Wände (Aufnahmen) und das ganze Haus (Video) zu verstehen.

Vollständige Ausrichtung: Für jeden Satz, den die KI schreibt, prüft HAVEN genau, aus welchem Teil des Videos er stammt. Es ist wie ein Übersetzer, der für jedes übersetzte Wort auf das exakte Wort in der Originalsprache zeigen muss.
Drei Ebenen: Es testet die KI auf drei Ebenen:
1. Bildebene: Können Sie dieses einzelne Bild beschreiben?
2. Aufnahmeebene: Können Sie diesen kurzen Clip beschreiben und wissen, welche Bilder dazu gehören?
3. Videoebene: Können Sie die ganze Geschichte zusammenfassen und wissen, welche Clips am wichtigsten sind?

3. Der Test: Vier verschiedene Herausforderungen

Die Autoren forderten die KI nicht nur auf, eine Zusammenfassung zu schreiben. Sie gaben ihr vier verschiedene Herausforderungen, um zu sehen, ob sie wirklich intelligent war oder nur gut im Reden:

Zusammenfassung: „Schreiben Sie eine Geschichte über dieses Video."
Zeitreise (Temporales Schlussfolgern): „Hier sind die Clips eines Videos, aber ich habe sie durcheinandergebracht. Bringen Sie sie in die richtige Reihenfolge."
Der Detektiv (Verankerung): „Hier ist ein Satz aus der Geschichte. Zeigen Sie auf den exakten Clip im Video, der diesem Satz entspricht."
Der Redakteur (Saliency-Ranking): „Hier sind 10 Clips. Ordnen Sie sie von ‚am wichtigsten für die Geschichte' bis ‚am wenigsten wichtig'."

4. Die Ergebnisse: Die „Illusion der Fähigkeit"

Als sie die intelligentesten verfügbaren KI-Modelle (wie GPT-4, Qwen und andere) auf HAVEN testeten, stellten sie eine schockierende Lücke fest:

Die Redner: Die Modelle waren hervorragend darin, flüssige, gut formulierte Zusammenfassungen zu schreiben. Sie klangen so, als würden sie den Film verstehen.
Die Blinden: Wenn sie aufgefordert wurden, auf die spezifischen Szenen zu zeigen (Verankerung) oder die Wichtigkeit der Clips zu rangieren (Saliency), versagten sie jämmerlich.
Die Text-Falle: Sie testeten sogar eine „nur-Text"-Version (eine KI, die nur Beschreibungen der Bilder liest, nicht die Bilder selbst). Überraschenderweise schnitt diese Text-only-KI beim Finden der richtigen Szenen oft besser ab als die vollständige Video-KI. Dies beweist, dass die Video-KI nur basierend auf Sprachmustern riet und die visuellen Beweise nicht tatsächlich analysierte.

5. Die Schlussfolgerung

Die Arbeit kommt zu dem Schluss, dass wir überschätzt haben, wie gut KI Videos versteht. Nur weil eine KI eine großartige Geschichte über ein Video schreiben kann, bedeutet das nicht, dass sie das Video tatsächlich „gesehen" hat.

HAVEN ist ein neuer, strengerer Test, der die KI zwingt, nachzuweisen, dass sie ihre Worte mit den tatsächlichen visuellen Beweisen verbinden kann, und stellt sicher, dass zukünftige KI-Modelle nicht nur gute Redner sind, sondern wahre Verstehende der visuellen Welt.

(Hinweis: Die Arbeit konzentriert sich streng auf die Evaluierung von Modellen zum Videoverständnis. Sie schlägt keine spezifischen medizinischen, industriellen oder zukünftigen Anwendungen für diese Technologie vor, noch behauptet sie, dass diese Modelle für den Einsatz in der realen Welt in diesen Bereichen bereit sind.)

Technische Zusammenfassung: HAVEN – Hierarchisch ausgerichteter multimodaler Benchmark für vereinheitlichtes Videoverständnis

Problemstellung

Während Multimodale Large Language Models (MLLMs) auf Standard-Videotasks wie Zusammenfassung, Bildunterschriftenerstellung und Beantwortung von Fragen eine starke Leistung gezeigt haben, bleibt ihre Fähigkeit, komplexe Narrative treu zusammenzufassen und zu reasoning, schlecht evaluiert. Aktuelle Videobenchmarks leiden unter zwei systemischen Einschränkungen:

Fragmentierte Supervision: Die meisten bestehenden Datensätze arbeiten auf einer einzigen zeitlichen Granularität (z. B. Schlüsselbilder, Clips oder videobasierte Zusammenfassungen) und ignorieren die inhärent hierarchische Struktur realer Videos, bei der Frames Shots aufbauen und Shots kohärente Narrative konstruieren.
Fehlende präzise cross-modale Verankerung: Textannotationen sind typischerweise nur schwach mit visuellem Inhalt abgestimmt. Dies ermöglicht Modellen, erfolgreich zu sein, indem sie Sprachpriors ausnutzen, ohne relevante visuelle Evidenz genau zu lokalisieren oder darauf zu reasoning.

Folglich überschätzen aktuelle Evaluierungsprotokolle systematisch die Fähigkeiten von MLLMs und erzeugen eine „Illusion der Fähigkeit", bei der Modelle fließenden Text produzieren, aber versagen, ihre Ausgaben in korrekter visueller Evidenz zu verankern.

Methodik: Der HAVEN-Benchmark

Um diese Lücken zu adressieren, stellen die Autoren HAVEN (Hierarchically Aligned multimodal benchmark for unified Video undErstandiNg) vor, einen Datensatz und ein Evaluierungsframework, das auf zwei Kernprinzipien basiert: Hierarchische Vollständigkeit und Cross-modale Kontinuität.

Datensatzkonstruktion

HAVEN wird durch Erweiterung von sechs bestehenden Datensätzen zur Videozusammenfassung (SumMe, TVSum, OVP, YouTube, VideoXum und MR.HiSum) konstruiert. Der Konstruktionsprozess umfasst:

Hierarchische Annotation: Jedes Video-Instanz wird auf drei Ebenen annotiert:
- Frame-Ebene: Gleichmäßig abgetastete Frames (durchschnittlich 164,9 pro Video) gepaart mit von LLMs generierten textlichen Beschreibungen ( $D_V$ ) und menschlich annotierten Schlüsselbildern ( $V_{key}$ ).
- Shot-Ebene: Frames werden mittels Kernel Temporal Segmentation (KTS) in zeitlich kohärente Shots ( $H$ ) partitioniert. Jeder Shot verfügt über eine von LLMs generierte Beschreibung ( $D_H$ ) und menschlich annotierte Schlüssel-Shots ( $H_{key}$ ).
- Video-Ebene: Ein globales Dokument ( $T$ ) und eine prägnante Zusammenfassung ( $S$ ) werden durch Aggregation von Shot-level-Beschreibungen generiert, mit expliziten Satz-zu-Shot-Ausrichtungen.
Ausrichtung: Der Datensatz weist eine explizite, kontinuierliche Ausrichtung zwischen visuellem Inhalt und textlichen Beschreibungen auf allen Ebenen auf und stellt sicher, dass Sprache in zeitlich lokalisierten Evidenzen verankert ist.
Qualitätskontrolle: Eine menschliche Evaluation an 15 Stichproben-Videos bestätigte hohe Werte für Genauigkeit, Informativität und Vollständigkeit auf allen Annotationsebenen.

Evaluierungs-Suite

HAVEN definiert eine vereinheitlichte Suite von vier Aufgabenfamilien, um verschiedene Aspekte des Videoverständnisses zu evaluieren:

Multimodale Zusammenfassung: Umfasst Video-zu-Text (V2T), Schlüsselbildauswahl (V2V) und gemeinsame Video-Text-Zusammenfassung (V2VT).
Zeitliches Verständnis: Erfordert von Modellen, die chronologische Reihenfolge von gemischten Video-Shots wiederherzustellen, mit und ohne Dokumentenkontext.
Multimodale Verankerung: Aufgaben Modelle, gemischte Zusammenfassungssätze mit ihren entsprechenden visuellen Shots abzugleichen.
Saliency-Ranking: Erfordert von Modellen, Video-Shots nach Wichtigkeit zu rangieren, mit und ohne Dokumentenkontext.

Hauptbeiträge

Neuer Datensatz: HAVEN ebt den Weg für ein vollständig granulares (Frame, Shot, Video) und vollständig multimodales Framework mit expliziter, kontinuierlicher cross-modaler Ausrichtung, abgeleitet von bestehenden hochwertigen menschlich annotierten Datensätzen.
Rigoroses Testframework: Die Autoren etablieren eine vielschichtige Bewertung, die vier Kernbereiche abdeckt (Zusammenfassung, Verankerung, zeitliches Reasoning und Saliency), was eine kontrollierte Analyse des Modellverhaltens über Abstraktionsebenen hinweg ermöglicht.
Empirische Analyse: Die Arbeit bietet eine umfassende Analyse von State-of-the-Art-MLLMs und legt eine schwerwiegende Diskrepanz zwischen oberflächlicher textlicher Flüssigkeit und wahrer multimodaler Verankerung offen.

Experimentelle Ergebnisse

Die Autoren haben mehrere kommerzielle und Open-Source-MLLMs (einschließlich GPT-5.2, Qwen3-VL, VideoLLaMA3 und InternVideo2.5) in einem Zero-Shot-Setting getestet. Zu den wichtigsten Erkenntnissen gehören:

Die „Fähigkeits-Illusion": Modelle produzieren konsistent fließende textliche Zusammenfassungen, versagen jedoch häufig darin, diese Ausgaben in der korrekten visuellen Evidenz zu verankern. Hohe Werte bei der Textgenerierung korrelieren nicht mit einem genauen visuellen Verständnis.
Aufgabensensitivität: Die Modellleistung ist hochgradig sensitiv gegenüber der Aufgabenformulierung. Beispielsweise fallen Modelle, die in V2T-Zusammenfassung stark sind, bei der Schlüsselbildauswahl (V2V) und bei multimodalen Verankerungsaufgaben oft signifikant ab.
Grenzen der gemeinsamen Generierung: Die gemeinsame multimodale Generierung (V2VT) verbessert die Ausrichtung zwischen textlichen und visuellen Ausgaben im Vergleich zur unabhängigen Generierung nicht konsistent. In einigen Fällen führt sie zu einem Trade-off, bei dem die Textqualität auf Kosten der Genauigkeit der visuellen Auswahl verbessert wird.
Text-Proxy-Baselines: Überraschenderweise übertreffen rein textbasierte Baselines (unter Verwendung von Frame-Beschreibungen) multimodale Modelle häufig bei Verankerungs- und zeitlichen Reasoning-Aufgaben, was darauf hindeutet, dass aktuelle MLLMs Schwierigkeiten haben, präzise semantische Korrespondenzen zwischen den Modalitäten herzustellen, trotz des Zugangs zu visuellen Daten.
Saliency vs. Zusammenfassung: Es besteht eine klare Lücke zwischen der Leistung bei der Zusammenfassung und dem Saliency-Ranking. Starke Zusammenfassungsleistung impliziert kein genaues Saliency-Verständnis, was darauf hindeutet, dass Zusammenfassung auf einem ganzheitlicheren Begriff von Wichtigkeit beruht, während Saliency-Ranking eine explizite visuelle Modellierung erfordert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass HAVEN die Evaluierung multimodaler Systeme über traditionelle Question-Answering (QA)-Formate hinaus vorantreibt. Durch die Bereitstellung eines rigorosen, standardisierten Testbetts mit expliziter hierarchischer Ausrichtung zielt HAVEN darauf ab:

Die Grenzen aktueller MLLMs aufzudecken, die durch grobe oder schwach verankerte Evaluierungsprotokolle maskiert werden.
Die zukünftige Forschung hin zu interpretierbarem, hierarchischem Videoverständnis zu lenken, bei dem Modelle effektiv sowohl textliche als auch visuelle Informationen in vereinheitlichter Weise verankern, ausrichten und reasoning können.
Eine Ressource zur Entwicklung von Modellen bereitzustellen, die über „plausible" Sprachgenerierung hinausgehen hin zu echter multimodaler Komprehension.

Die Autoren erkennen Einschränkungen an und stellen fest, dass der Benchmark Verzerrungen aus den Quelldatensätzen erbt, derzeit Audio-Modalitäten auslässt und sich auf relativ kurze Videos konzentriert, wodurch das Verständnis von Langform-Videos und die multimodale Integration (einschließlich Audio) als Richtungen für zukünftige Arbeit verbleiben.