🤖 AI

See More, Think Deeper: Query-Expanded Visual Evidence and Answer-Clue Guided Reflection for Long Video Understanding

Das Paper stellt CoVER vor, ein Framework, das das Verständnis langer Videos in Video-LLMs durch das dynamische Sammeln von abfrageerweiterten visuellen Evidenzen, um „mehr zu sehen“, und den Einsatz von antworten-hinweisgesteuerter Reflexion, um „tiefer zu denken“, verbessert und dadurch bestehende Modelle durch evidenzzentrierte und visuell verifizierbare Argumentation übertrifft.

Ursprüngliche Autoren: Shuning Wang, Zhiheng Wu, YiNuo Lu, Naiming Liu, Chen Jia, Bowen Liu, Shuo Nie, Weijie Zhu, Yumeng Zhang

Veröffentlicht 2026-06-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shuning Wang, Zhiheng Wu, YiNuo Lu, Naiming Liu, Chen Jia, Bowen Liu, Shuo Nie, Weijie Zhu, Yumeng Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein Rätsel in einem sehr langen, komplexen Film zu lösen. Sie sind der Detektiv, und der Film ist Ihre einzige Quelle für Hinweise.

Die meisten aktuellen „KI-Detektive“ (Video-LLMs) versuchen, das Rätsel zu lösen, indem sie den Film einmal sehr schnell anschauen und dann die Antwort erraten. Dabei könnten sie ein winziges Detail übersehen, weil sie den ganzen Bildschirm auf einmal betrachtet haben, oder sie könnten raten, was in Filmen übllicherweise passiert, anstatt darauf zu achten, was in dieser speziellen Szene tatsächlich geschah.

Das Paper stellt einen neuen Detektiv namens CoVER (Comprehensive Visual Evidence and Reflection) vor. CoVER rät nicht einfach nur; es folgt einem strengen zweistufigen Prozess, um „Mehr zu sehen“ und „Tiefer nachzudenken“.

So funktioniert CoVER, unter Verwendung einer einfachen Analogie:

Das Problem: Der „Blick und Rate“-Ansatz

Stellen Sie sich vor, man fragt Sie: „Was war der allererste Snack, den der Charakter gegessen hat?“

Alte KI: Schaut den ganzen Film schnell an. Sie sieht später einen Charakter, der einen Apfel isst. Sie rät: „Es war ein Apfel!“ Sie hat nicht genau genug hingesehen, um zu sehen, dass der Charakter tatsächlich vor dem Essen des Apfels eine Limonade mit Eis getrunken hat.
Das Problem: Die KI verlässt sich auf einen einzigen, breiten Blick und übersieht oft die kleinen, entscheidenden Hinweise, die in der Zeitachse verborgen sind.

Die Lösung: CoVERs zweistufige Detektivarbeit

CoVER verändert das Spiel durch den Einsatz zweier spezieller Werkzeuge: Der Lupe und dem Faktenchecker.

Schritt 1: „Mehr sehen“ (Die Lupe)

Anstatt den Film nur einmal anzuschauen, agiert CoVER wie ein Detektiv, der erkennt: „Ich muss genauer hinsehen.“

Der Trick: Bevor es eine Antwort gibt, stellt CoVER sich selbst eine Reihe von Folgefragen, die im Paper als „Pseudo-Abfragen“ bezeichnet werden.
Die Analogie: Wenn die Frage lautet: „Was haben sie zuerst gegessen?“, sucht CoVER nicht einfach nur nach „Essen“. Es generiert spezifische Suchbegriffe wie: „Gibt es ein Getränk mit Eis?“, „Gibt es Wassermelonenstücke?“, „Gibt es einen Becher?“.
Das Ergebnis: Es nutzt diese spezifischen Fragen, um in winzige, hochauflösende Clips aus dem Video hineinzuzoomen, die es bei einem ersten schnellen Blick vielleicht übersehen hätte. Es sammelt einen vollständigen Stapel an Beweisen, bevor es eine Vermutung anstellt.

Schritt 2: „Tiefer nachdenken“ (Der Faktenchecker)

Sob nachdem CoVER die Beweise gesammelt hat, erstellt es eine Entwurfsantwort (eine erste Vermutung). Aber es hört dort nicht auf.

Der Trick: CoVER nimmt seine eigene Entwurfsantwort und verwandelt sie in einen „Hinweis“, um sich selbst zu prüfen.
Die Analogie: Wenn CoVER rät: „Der erste Snack war Wassermelone“, erstellt es einen spezifischen Hinweis: „Prüfe, ob die Wassermelone vor der Limonade erscheint.“ Es geht dann gezielt zurück zum Video, um speziell nach dieser Beziehung zu suchen.
Das Ergebnis: Wenn das Video zeigt, dass die Limonade vor der Wassermelone kam, korrigiert CoVER seinen eigenen Fehler. Es sagt: „Oh nein, meine Entwurfsantwort war falsch, weil die Beweise ihr widersprechen“, und korrigiert die Antwort zur richtigen (die Limonade).

Warum das wichtig ist

Die meisten KI-Modelle sind wie Schüler, die einen Aufsatz schreiben und ihn sofort abgeben. CoVER ist wie ein Schüler, der:

Das Thema tiefgründig recherchiert (mehr Beweise sammelt).
Einen ersten Entwurf schreibt.
Seinen eigenen Entwurf kritisch prüft (gegen die Fakten).
Fehler korrigiert, bevor er die fertige Arbeit abgibt.

Die Ergebnisse

Das Paper zeigt, dass diese Methode funktioniert. CoVER ist wesentlich besser darin, Fragen zu langen Videos zu beantworten, als andere Modelle derselben Größe. Es schlägt sogar einige sehr teure „Closed-Source“-Modelle (Modelle, in deren Inneres man nicht sehen kann) in bestimmten Tests.

Kurz gesagt: CoVER verhindert, dass die KI basierend auf einem flüchtigen Blick rät. Stattdessen zwingt es die KI, nach spezifischen Hinweisen zu suchen, einen Entwurf zu schreiben und diesen Entwurf dann gegen das Video zu überprüfen, um sicherzustellen, dass die Antwort tatsächlich wahr ist.

Technisches Resümee: CoVER – Umfassende visuelle Evidenz und Reflexion für das Verständnis langer Videos

1. Problemstellung

Neuere Video-Large-Language-Models (Video-LLMs) haben das Verständnis langer Videos vorangebracht, stehen jedoch bei Denkaufgaben vor zwei kritischen Einschränkungen:

Unvollständige Akquisition von Evidenz: Bestehende Methoden verlassen sich oft auf eine einzige Suchintention (die ursprüngliche Frage), um visuelle Evidenz abzurufen. Dieser grobkörnige Ansatz übersieht häufig spärliche, feingliedrige oder kritische visuelle Hinweise (z. B. spezifische Objektattribute, zeitliche Sequenzen oder Zustandsänderungen), die für komplexes Denken notwendig sind.
Mangel an visueller Verifizierung: Aktuelle Modelle generieren Antworten typischerweise in einem Open-Loop-Verfahren. Sobald eine Entwurfsantwort erstellt wurde, endet der Prozess, ohne zu verifizieren, ob die Antwort durch visuelle Evidenz gestützt wird oder ob sie revidiert werden muss, falls neue Evidenz der ursprünglichen Hypothese widerspricht. Dies führt zu einer Lücke, in der eine hohe Antwortgenauigkeit nicht zwangsläufig eine genaue Verankerung in der Evidenz impliziert.

2. Methodik: Das CoVER-Framework

Die Autoren schlagen CoVER (Comprehensive Visual Evidence and Reflection) vor, ein Framework, das darauf ausgelegt ist, das Verständnis langer Videos von einer antwortzentrierten Generierung hin zu einer evidenzzentrierten, visuell verifizierbaren Argumentation zu verschieben. CoVER operiert durch einen Closed-Loop-Prozess, der zwei primäre Module und ein spezialisiertes Retrieval-Tool umfasst.

2.1 Kernkomponenten

CueZoom (Cue-Aware Visual Evidence Zoom-In Tool):
Ein Retrieval-Mechanismus, der hochauflösende Videosegmente basierend auf textuellen Hinweisen lokalisiert. Er berechnet Relevanzscores zwischen Videoframes und textuellen Hinweisen (Fragen, Pseudo-Queries oder Antwort-Clues) unter Verwendung von Text- und Visual-Encodern. Um Stabilität zu gewährleisten, wendet er eine Laplacian Temporal Smoothing (LTS) auf die Relevanzscores an, wodurch verrauschte Spitzen herausgefiltert und benachbarte Frames zu kohärenten Evidenz-Clips zusammengeführt werden.
Query-Expanded Visual Evidence (QVE):
Um die unvollständige Akquisition von Evidenz zu adressieren, generiert CoVER Pseudo-Queries ( $P$ ) aus der ursprünglichen Frage und der globalen Video-Beobachtung. Diese Pseudo-Queries zerlegen die Denkforderung in vielfältige, beobachtbare visuelle Hinweise (z. B. „Gibt es ein Getränk mit Eiswürfeln?“). Das Modell nutzt die ursprüngliche Frage kombiniert mit diesen Pseudo-Queries, um umfassende, aufgabenrelevante Zoom-In-Clips für die Generierung einer Entwurfsantwort abzurufen.
Answer-Clue Guided Reflection (AGR):
Um den Mangel an Verifizierung zu adressieren, führt CoVER einen Reflexionsschritt ein. Nach der Generierung einer Entwurfsantwort leitet das Modell einen antwortspezifischen visuellen Hinweis (eine verifizierbare Bedingung, die erfüllt sein muss, wenn die Antwort korrekt ist) ab. Dieser Hinweis wird verwendet, um spezifische Verifizierungs-Evidenz abzurufen. Das Modell vergleicht dann die Entwurfsantwort mit dieser neuen Evidenz. Wenn die Evidenz der Entwurfsantwort widerspricht, wird die Antwort revidiert; andernfalls bleibt sie erhalten.

2.2 Trainings-Pipeline

CoVER verwendet ein zweistufiges Supervised Fine-Tuning (SFT), gefolgt von Reinforcement Learning (RL):

Stufe 1 (QVE SFT): Trainiert das Modell darauf, zuverlässige Entwurfsantworten unter Verwendung erweiterter Evidenz zu generieren. Das Modell lernt eine adaptive Policy, um das Zoom-In-Tool mit Pseudo-Queries aufzurufen, wenn die globale Beobachtung unzureichend ist.
Stufe 2 (AGR SFT): Trainiert das Modell, Entwurfsantworten unter Verwendung von antwortspezifischen Hinweisen zu verifizieren. Die Loss-Funktion maskiert Tokens, die zu falschen Entwurfsantworten gehören, um zu verhindern, dass das Modell aus fehlerhaften Zwischenschritten lernt, und konzentriert die Supervision auf die Verifizierungsargumentation und die finale Antwortgenerierung.
Reinforcement Learning (GRPO): Das Modell wird weiter optimiert mittels Group Relative Policy Optimization (GRPO) mit einer zusammengesetzten Reward-Funktion, die aus besteht aus:
- Answer Reward: Fördert korrekte finale Vorhersagen.
- Verification Reward: Bestraft das Revidieren einer korrekten Entwurfsantwort in eine falsche finale Antwort und belohnt konsistente, evidenzbasierte Übergänge.
- Format Reward: Stellt die Einhaltung des strukturierten Ausgabeformats sicher.

3. Wichtigste Beiträge

Das Paper beansprucht die folgenden Beiträge:

Erste visuelle Feedback-Reflexion in Video-LLMs: CoVER ist das erste Framework, das visuelle Feedback-Reflexion in die Video-LLM-Argumentation integriert und den Inferenzprozess von einem Open-Loop zu einem Closed-Loop transformiert.
Dual-Modul-Framework: Es schlägt einen vereinheitlichten Ansatz vor, der Query-Expanded Visual Evidence (um durch diverse Pseudo-Queries „mehr zu sehen“) und Answer-Clue Guided Reflection (um durch visuelle Verifizierung „tiefer zu denken“) kombiniert.
Evidenzzentrierte Argumentation: Das Framework verschiebt das Paradigma von der Generierung von Antworten basierend auf linguistischen Priors hin zum Denken basierend auf umfassender, verifizierbarer visueller Evidenz.

4. Experimentelle Ergebnisse

Experimente wurden auf vier bedeutenden Long-Video-Benchmarks durchgeführt: MLVU, Video-MME, LongVideoBench und LVBench. Das Basismodell war Qwen2.5-VL-7B.

Leistungssteigerungen: CoVER-7B übertraf das Baseline-Modell Qwen2.5-VL-7B deutlich und erzielte Verbesserungen von +3,9 % auf MLVU, +0,7 % auf Video-MME, +1,1 % auf Video-MME-Long, +2,3 % auf LongVideoBench und +4,6 % auf LVBench.
Vergleich mit SOTA: CoVER übertraf State-of-the-Art Open-Source-Reasoning-Modelle (z. B. Video-MTR, Conan) und übertraf sogar bestimmte Closed-Source-Modelle bei spezifischen Metriken, trotz eines vergleichbaren Parametermaßstabs (7B).
Ablationsstudien:
- Das Entfernen entweder von Stufe-1 oder Stufe-2 SFT führte zu einer Leistungsverschlechterung, was die Notwendigkeit sowohl der Evidenzakquisition als auch des Verifizierungstrainings bestätigt.
- Das Entfernen von Reinforcement Learning (RL) verursachte signifikante Einbußen, insbesondere auf MLVU und LVBench, was die Rolle von RL bei der Optimierung der evidenzbasierten Argumentation hervorhebt.
- Das Entfernen entweder der QVE- oder der AGR-Module verschlechterte die Leistung konsistent über alle Benchmarks hinweg, was zeigt, dass beide Komponenten essenziell sind.

5. Bedeutung und Ansprüche

Das Paper postuliert, dass CoVER die grundlegende Herausforderung der Evidenz-Verankerung (Evidence Grounding) im Verständnis langer Videos adressiert. Durch die Abkehr von der Abhängigkeit von markanten Teil-Hinweisen oder linguistischen Priors ermöglicht CoVER den Modellen:

Spärliche Evidenz zu lokalisieren: Dynamische Sammlung feingliedriger visueller Fakten durch Query-Expansion.
Argumentation zu verifizieren: Nutzung von visuellem Feedback zur Validierung und Korrektur von Entwurfsantworten, um sicherzustellen, dass die finale Ausgabe durch den Videoinhalt gestützt wird.

Die Autoren kommen zu dem Schluss, dass eine umfassende Evidenzakquisition und visuelle Feedback-Reflexion entscheidend für zuverlässiges langes Video-Verständnis sind und einen Weg zu robusteren Video-LLMs aufzeigen, ohne notwendigerweise die Modellskalierung zu erhöhen.

6. Limitationen

Die Autoren räumen mehrere Limitationen ein:

Abhängigkeit von der Query-Qualität: Die Effektivität hängt von der Qualität der generierten Pseudo-Queries und Antwort-Hinweise ab; ambivalente Queries können irreführende Evidenz abrufen.
Initialer Antwort-Bias: Da die Reflexion auf der initialen Entwurfsantwort basiert, können falsche initiale Vorhersagen zu verzerrten Verifizierungs-Hinweisen führen.
Rechenaufwand: Der Zoom-In-Retrieval-Prozess führt im Vergleich zu Uniform Sampling zu zusätzlichem Rechenaufwand.
Ganzheitliches Verständnis: Das Framework könnte weniger effektiv für Fragen sein, die ein ganzheitliches Video-Verständnis statt lokalisierter visueller Evidenz erfordern.