💻 computer science

VideoSEAL: Mitigating Evidence Misalignment in Agentic Long Video Understanding by Decoupling Answer Authority

VideoSEAL adressiert das Problem der „Fehlausrichtung von Beweisen" beim agentenbasierten Verständnis langer Videos durch die Einführung eines entkoppelten Planer-Inspektor-Rahmens, der die Langzeitplanung von der Antwortautorität trennt, eine pixelgenaue Verifizierung erfordert, um sicherzustellen, dass Antworten durch abgerufene Beweise gestützt werden, und auf mehreren Benchmarks State-of-the-Art-Leistung erzielt.

Ursprüngliche Autoren: Chenhao Qiu (Mango TV), Yechao Zhang (Nanyang Technological University), Xin Luo (Mango TV), Shien Song (Mango TV), Xusheng Liu (Mango TV)

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chenhao Qiu (Mango TV), Yechao Zhang (Nanyang Technological University), Xin Luo (Mango TV), Shien Song (Mango TV), Xusheng Liu (Mango TV)

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „selbstsichere, aber falsche" Detektiv

Stellen Sie sich vor, Sie schauen sich einen sehr langen Film an (wie einen 2-Stunden-Film), und jemand fragt Sie nach einem spezifischen Detail, das 45 Minuten zuvor passiert ist.

Aktuelle KI-Systeme, die versuchen, diese Fragen zu beantworten, sind wie überarbeitete Detektive, die unter großem Druck stehen. Sie müssen den gesamten Film durchsuchen, um die Antwort zu finden.

Der Fehler: Diese Detektive werden oft müde oder verwirrt durch die Fülle an Informationen. Sie finden vielleicht ein paar Hinweise, aber nicht die richtigen. Doch weil sie unter Druck stehen, eine Antwort zu geben, raten sie.
Das Ergebnis: Sie geben manchmal die richtige Antwort, haben aber tatsächlich nicht die Beweise gefunden, um sie zu untermauern. Sie raten einfach basierend darauf, was „richtig klingt" oder was sie aus dem Training erinnern. Dies wird als Fehlausrichtung der Beweise (Evidence Misalignment) bezeichnet. Es ist wie bei einem Schüler, der die richtige Mathe-Antwort erhält, aber die falschen Schritte aufschreibt, um dorthin zu gelangen.

Das Papier nennt dies „Fehlausrichtung der Beweise". Die KI „halluziniert" den Beweis, selbst wenn die endgültige Antwort zufällig richtig ist.

Warum passiert das? (Zwei Arten von Druck)

Die Autoren haben zwei Hauptgründe gefunden, warum diese KI-Detektive diese Fehler machen:

Prompt-Druck (Das „lange Geschichte"-Problem):
Stellen Sie sich vor, der Detektiv muss ein 500-seitiges Notizbuch mit eigenen Notizen lesen, bevor er antwortet. Je länger und unübersichtlicher die Notizen werden, desto überwältigt gerät der Detektiv. Er hört auf, nach dem spezifischen Hinweis zu suchen, und versucht einfach, die „Geschichte abzuschließen", um eine Antwort zu geben. Er hört auf zu suchen und beginnt, die Antwort an das anzupassen, was er hat.
Belohnungs-Druck (Das „Nur-Note"-Problem):
Stellen Sie sich einen Lehrer vor, der auf einem Test nur die endgültige Antwort bewertet und ignoriert, wie der Schüler dorthin gelangt ist. Wenn ein Schüler die richtige Antwort rät, ohne die Arbeit zu leisten, erhält er trotzdem eine „1". Die KI lernt, dass es schneller und einfacher ist zu raten, als die harte Arbeit zu verrichten, den exakten Videoframe zu finden. Sie lernt, zu „betrügen", um die Belohnung zu erhalten.

Die Lösung: Die Arbeit aufteilen (Der Planer vs. Der Inspektor)

Das Papier argumentiert, dass der alte Weg, bei dem eine einzige KI alles erledigt (suchen, denken und antworten), die Ursache ist. Es ist, als würde man eine Person bitten, gleichzeitig Kundschafter, Richter und Sheriff zu sein.

VideoSEAL führt eine neue Teamstruktur ein:

Der Planer (Der Kundschafter):
- Aufgabe: Die einzige Aufgabe dieser KI ist es, durch das Video zu schauen und Kandidaten-Clips zu finden. Es interessiert sie noch nicht die endgültige Antwort. Sie sagt einfach: „Ich habe diese 3 Clips gefunden, die relevant sein könnten."
- Analogie: Denken Sie an einen Bibliothekar, der einfach die Bücher im Regal findet, die möglicherweise die Antwort enthalten. Sie lesen die Bücher nicht; sie holen sie nur.
Der Inspektor (Der Richter):
- Aufgabe: Dies ist eine separate, leistungsfähige KI. Sie schaut nur auf die spezifischen Videoclips, die der Planer gefunden hat. Sie fragt: „Beweisen diese Clips tatsächlich die Antwort?"
- Der Türsteher: Wenn der Inspektor genügend Beweise sieht, sagt er: „Ja, hier ist die Antwort." Wenn er nicht genügend Beweise sieht, sagt er: „Suche weiter."
- Analogie: Denken Sie an einen strengen Sicherheitsbeamten vor einem Club. Der Kundschafter bringt Leute (Clips) zur Tür. Der Wächter prüft ihren Ausweis (Beweis). Wenn der Ausweis gefälscht ist oder fehlt, lässt der Wächter sie nicht herein (keine Antwort). Der Wächter verweigert das Raten.

Wie es in der Praxis funktioniert

Alter Weg: Eine KI sucht, wird durch zu viel Text verwirrt und rät eine Antwort.
VideoSEAL-Weg:
1. Der Planer sucht und findet einen Clip.
2. Der Inspektor schaut sich den Clip an. „Ist das genug?"
3. Wenn Nein: Der Inspektor schickt den Planer zurück, um erneut zu suchen.
4. Wenn Ja: Der Inspektor gibt die endgültige Antwort.

Dies schafft ein System der „Kontrolle und Balance". Der Planer kann nicht einfach raten; er muss Beweise finden, die der Inspektor genehmigt.

Die Ergebnisse: Bessere Genauigkeit und weniger Raten

Die Autoren haben dieses neue System an vier verschiedenen Benchmarks für lange Videos getestet. Hier ist, was passierte:

Höhere Genauigkeit: Das neue System erzielte bessere Ergebnisse (z. B. 55,1 % bei einem Test, 62,0 % bei einem anderen) im Vergleich zu den alten „All-in-One"-Systemen.
Bessere Beweise: Nicht nur waren die Antworten korrekter, das System war auch viel besser darin, tatsächlich die richtigen Videomomente zu finden, um sie zu beweisen.
Skalierbarkeit: Das System wird intelligenter, wenn man ihm mehr Zeit zum Suchen gibt (mehr „Suchbudget"). Die alten Systeme wurden einfach verwirrter und machten mehr Fehler, je länger sie suchten.
Plug-and-Play: Da der „Inspektor" separat ist, können Sie ihn später gegen eine intelligentere, leistungsfähigere KI austauschen, ohne den „Planer" neu trainieren zu müssen. Es ist wie der Austausch des Motors eines Autos, ohne das gesamte Fahrgestell neu zu bauen.

Zusammenfassung

VideoSEAL behebt das Problem des Ratens von KI-Antworten in langen Videos, indem es die Arbeit in zwei Rollen aufteilt: einen Planer, der nach Hinweisen jagt, und einen Inspektor, der diese überprüft. Indem sie das System zwingen, seine Antwort zu beweisen, bevor sie sie ausgibt, verhindern sie, dass die KI mit Raten „betrügt", was zu einer zuverlässigeren und vertrauenswürdigeren Videoanalyse führt.

Technische Zusammenfassung: VideoSEAL

Problem: Fehlende Übereinstimmung von Evidenz in agenter Langvideo-Verstehung

Das Verstehen langer Videos (LVU) stellt eine einzigartige Herausforderung dar: Relevante visuelle Evidenz ist oft spärlich und innerhalb hochredundanter Inhalte zeitlich verstreut. Während aktuelle multimodale große Sprachmodelle (MLLMs) beim Schlussfolgern über kurze Videos hervorragend abschneiden, erfordert ihre Erweiterung auf lange Videos eine iterative, agentenbasierte Interaktion, um Zeitachsen zu navigieren und Evidenz zu ermitteln.

Die Autoren identifizieren einen kritischen Fehlermodus in bestehenden agenticen LVU-Systemen, den sie als Fehlende Übereinstimmung von Evidenz (evidence misalignment) bezeichnen. In diesem Regime produzieren Agenten korrekte Antworten, die tatsächlich nicht durch die abgerufenen oder inspizierten Evidenzen gestützt werden. Das Papier formalisiert dies als Zustand „korrekt, aber nicht verankert" (correct but ungrounded), bei dem ein Agent die Korrektheit des Ergebnisses erreicht ( $C=1$ ), aber eine nachvollziehbare Verankerung vermissen lässt ( $G=0$ ). Dieses Phänomen wird durch zwei systemische Drücke angetrieben:

Prompt-Druck (Inferenzzeit): Da Interaktionsspuren länger und verrauschter werden, wird der Planer dazu angereizt, entscheidend zu handeln, ohne zuverlässig Evidenz zu lokalisieren. Dies verschiebt das Verhalten von „Evidenzsuche" hin zu „Evidenzanpassung", wobei der Agent auf parametrische Priors oder plausible Vorlagen zurückgreift, um Unsicherheit zu lösen, was zu semantischen Halluzinationen führt.
Belohnungsdruck (Trainingszeit): Standard-Reinforcement-Learning (RL) für LVU verwendet oft ausschließlich ergebnisbasierte Belohnungen (Korrektheit der finalen Antwort), da fein abgestufte zeitliche Verankerungsmarkierungen selten sind. Dies ermutigt Agenten, Erträge durch spekulative Vervollständigung oder Abkürzungsverhalten zu maximieren, anstatt eine strenge Evidenzüberprüfung durchzuführen, und vergrößert so die Lücke zwischen Genauigkeit und Verankerung.

Die Autoren argumentieren, dass die Ursache dieser Drücke das gekoppelte Agentenparadigma ist, bei dem ein einziges monolithisches Modell sowohl für die Langzeitplanung (Suche) als auch für die Antwortgenerierung (Autorität) innerhalb desselben gemeinsamen Kontexts verantwortlich ist.

Methodik: Das entkoppelte Planer-Inspektor-Framework

Um der Fehlenden Übereinstimmung von Evidenz zu begegnen, schlägt VideoSEAL eine strukturelle Abhilfe vor: die Entkoppelung der Langzeitplanung von der Antwortautorität. Das Framework führt zwei unterschiedliche Entitäten ein:

Der Planer: Eine Sprachmodell-Policy, die ausschließlich für die Evidenzsuche verantwortlich ist. Er navigiert die Videozeitachse, formuliert Abfragen und ermittelt Kandidaten-Zeitintervalle mithilfe von Werkzeugen (Offline-Indexierung, Abruf und visuelle Inspektion). Entscheidend ist, dass der Planer die finale Antwort nicht generiert; er unterhält ein spärliches, strukturiertes Suchgedächtnis, um eine Kontextüberlastung zu vermeiden.
Der Inspektor: Ein eingefrorenes MLLM, das die ausschließliche Antwortautorität innehat. Er erhält von dem Planer eingereichte Kandidaten-Videoevidenzen und führt eine pixelgenaue Verifikation durch. Der Inspektor gibt ein binäres Ausreichend-Urteil aus ( $z_t \in \{0, 1\}$ $z_{t} \in {0, 1}$ ):
- Wenn $z_t=1$ , wird die Evidenz als ausreichend erachtet, und der Inspektor generiert die finale Antwort.
- Wenn $z_t=0$ , gibt der Inspektor ein „WEITERE SUCHE"-Signal mit Feedback zu fehlender Evidenz zurück und zwingt den Planer, die Suche fortzusetzen.

Wichtige technische Komponenten:

Werkzeug-Schnittstellen: Das System nutzt VisualRetrieve (semantische Suche über vorberechnete Bildunterschriften/Embeddings) und VisualInspect (pixelgenaue Verifikation spezifischer Intervalle).
Training: Der Planer wird mittels Group Relative Policy Optimization (GRPO) optimiert, während der Inspektor eingefroren bleibt. Das Belohnungsdesign umfasst eine evidenzgesteuerte terminale Belohnung, die mit der zeitlichen Überlappung zwischen abgerufenen Intervallen und der Ground-Truth-Evidenz skaliert und so eine Ausrichtung fördert, ohne eine vollständige Neukalibrierung des visuellen Rückgrats zu erfordern.
Modularität: Die Architektur unterstützt „Plug-and-Play"-Upgrades. Der Inspektor kann zur Inferenzzeit gegen ein stärkeres MLLM ausgetauscht werden, um die Verifikationsgenauigkeit zu verbessern, ohne den Planer neu zu trainieren.

Hauptbeiträge

Diagnostik der Fehlenden Übereinstimmung von Evidenz: Das Papier führt zwei komplementäre Diagnostiken ein, um Fehlentsprechungen zu quantifizieren:
- Zeitliche Verankerung ( $G_t$ ): Misst, ob der Agent relevante zeitliche Regionen erreicht (unter Verwendung des zeitlichen IoU).
- Semantische Verankerung ( $G_s$ ): Verwendet einen LLM-Richter, um zu verifizieren, ob die finale Antwort logisch durch die Werkzeugausgaben in der Spur gestützt wird.
  Diese Diagnostiken offenbaren das Regime „korrekt, aber nicht verankert" und quantifizieren die „Rate zeitlicher Halluzinationen" ( $H_t$ ) und die „Rate semantischer Halluzinationen" ( $H_s$ ).
Entkoppeltes Planer-Inspektor-Framework: Eine neuartige Architektur, die die Evidenzsuche von der Antwortgenerierung trennt. Durch die Gating der finalen Antwort auf pixelgenaue Verifikation verhindert das Framework nicht gestützte Antworten, die durch nicht verifizierte Werkzeugausgaben getrieben werden.
Empirische Gewinne und Skalierung: Das Framework zeigt konsistente Verbesserungen über vier Langvideo-Benchmarks hinweg (MLVU, LongVideoBench, LVBench, VideoMME). Bemerkenswert ist, dass es mit größeren Suchbudgets und stärkeren Inspektor-Modellen monoton skaliert, wohingegen gekoppelte Baselines oft aufgrund von Kontextüberlastung stagnieren oder verschlechtern.

Ergebnisse

Die Autoren bewerten VideoSEAL gegenüber proprietären Modellen, Open-Source-MLLMs und bestehenden agentenbasierten Frameworks (sowohl gekoppelte als auch entkoppelte).

Genauigkeit: VideoSEAL erreicht 55,1 % auf LVBench und 62,0 % auf LongVideoBench und übertrifft gekoppelte Baselines um signifikante Margen (z. B. +20,5 % auf LVBench gegenüber der gekoppelten Version desselben Rückgrats).
Verankerung: Das Framework reduziert Halluzinationen erheblich. Auf LVBench erreicht es eine semantische Verankerung ( $G_s$ ) von 0,808 (im Vergleich zu ~0,25–0,47 für Baselines) und reduziert die semantische Halluzination ( $H_s$ ) auf 0,113.
Skalierungseigenschaften:
- Such-Skalierung: Die Erhöhung des Suchbudgets ( $K$ ) verbessert die Leistung von VideoSEAL, während gekoppelte Agenten nach einem bestimmten Punkt aufgrund von Kontextüberlastung regressieren.
- Wahrnehmungs-Skalierung: Das Upgrade des Inspektors von einem 7B- auf ein 72B-Modell liefert erhebliche Genauigkeitsgewinne ohne Neutrainieren des Planers und demonstriert die Modularität des Ansatzes.
Verweigerungsfähigkeit: Der Inspektor unterscheidet effektiv zwischen ausreichender und unzureichender Evidenz und verweigert die Antwort (Ausgabe von $z=0$ ) bei Nicht-Ziel-Clips signifikant häufiger als bei Ground-Truth-Clips, wodurch das Raten reduziert wird.

Bedeutung und Behauptungen

Das Papier behauptet, dass der primäre Treiber für die Leistung in agentenbasiertem Langvideo-QA nicht lediglich größere Modelle oder bessere Belohnungsfunktionen sind, sondern die architektonische Trennung von Planung und Antwortautorität. Durch die Entkoppelung dieser Rollen mildert VideoSEAL den „Prompt-Druck" und „Belohnungsdruck" ab, die zu Fehlentsprechungen von Evidenz führen.

Die Autoren positionieren diese Arbeit als Paradigmenwechsel: weg vom Training eines einzelnen gekoppelten Agenten zum Suchen und Entscheiden hin zu einem verifizierbaren, modularen System, bei dem die Antwortgenerierung strikt durch visuelle Evidenz gating wird. Dieser Ansatz verbessert die Interpretierbarkeit (durch Suchpfade) und Verifizierbarkeit und bietet eine strukturelle Lösung für das Problem „korrekt, aber nicht verankert", das aktuelle Langvideo-Agenten plagt. Die Arbeit legt nahe, dass zukünftige Verbesserungen in der LVU eher von der Genauigkeit der pixelgenauen Inspektion (Wahrnehmung) abhängen könnten als von der Raffinesse der sprachlichen Planung (Schlussfolgern), sofern die Planungslogik solide ist.