💻 computer science

Searching Videos as Trees: Self-Correcting Agents for Grounded Long Video QA

Das Papier schlägt VideoTreeSearch (VTS) vor, ein selbstkorrigierendes Agenten-Framework, das die gebundene Langvideo-Beantwortung von Fragen als eine iterative Suche über einen adaptiven zeitlichen Baum mit expliziten Backtracking-Operationen modelliert und dadurch vorangegangene Methoden signifikant übertrifft, indem es die Erholung von frühen Fehlern ermöglicht und State-of-the-Art-Ergebnisse über mehrere Benchmarks hinweg erzielt.

Ursprüngliche Autoren: Ce Zhang, Ziyang Wang, Yulu Pan, Oluwatumininu Oguntola, Pranav Wagh, Qiyu Wu, Hiromi Wakaki, Mohit Bansal, Gedas Bertasius

Veröffentlicht 2026-07-20

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ce Zhang, Ziyang Wang, Yulu Pan, Oluwatumininu Oguntola, Pranav Wagh, Qiyu Wu, Hiromi Wakaki, Mohit Bansal, Gedas Bertasius

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen ganz bestimmten, winzigen Moment in einem Film zu finden, der Stunden dauert. Vielleicht müssen Sie genau sehen, was ein Koch kurz bevor es in den Ofen kam, in eine Schüssel gegeben hat, aber das Video ist ein Kochtutorial in voller Länge. Wenn Sie das ganze Video nur schnell durchscannen, übersehen Sie vielleicht diese sekundenkurze Handlung. Aber wenn Sie jedes einzelne Frame mit normaler Geschwindigkeit ansehen, würde es ewig dauern. Dies ist die Herausforderung des „Grounded Long-Video Question Answering“. Es ist eine Aufgabe, bei der ein Computer nicht nur eine Frage zu einem langen Video beantworten muss, sondern auch genau auf die wenigen Sekunden hinweisen muss, in denen sich die Antwort verbirgt.

Eine Zeit lang versuchten Wissenschaftler, dies zu lösen, indem sie dem Computer ein „Scheren“-Werkzeug gaben. Der Computer würde einen Zeitbereich erraten, das Video dort ausschneiden und das Ergebnis betrachten. Wenn er falsch lag, versuchte er, erneut auszuschneiden. Aber dieser Ansatz war so, als würde man versuchen, eine Nadel im Heuhaufen zu finden, indem man nur erlaubt ist, den Heuhaufen in der Mitte durchzuschneiden; wenn man die falsche Hälfte geschnitten hat, kann man nicht einfach wieder zur anderen Seite zurückkehren, um es erneut zu versuchen. Man schneidet das falsche Stück immer weiter kleiner und kleiner, bis man aufgibt. Dieses Paper führt eine intelligentere Art der Suche ein, die das Video in eine Karte verwandelt, die der Computer erkunden, zurückverfolgen und seine Fehler korrigieren kann – ganz ähnlich wie ein Detektiv, der ein Geheimnis löst.

Die Karte des Detektivs: Wie VTS das Video-Rätsel löst

Lernen Sie kennen: VideoTreeSearch (VTS), ein neues Framework, das entwickelt wurde, um Computer zu Experten für Video-Detektivarbeit zu machen. Die Forscher hinter diesem Paper erkannten, dass die alte Art, Videos zu durchsuchen, zu ungeschickt war. Frühere Methoden funktionierten wie eine Person, die sich nur vorwärts bewegen konnte, indem sie einen Videoclip ständig durch Zuschneiden verkleinerte. Wenn sie früh einen Fehler machten – zum Beispiel dachten, die Antwort läge in den ersten zehn Minuten, obwohl sie tatsächlich in den letzten zehn Minuten lag –, saßen sie fest. Sie hatten keine Möglichkeit zu sagen: „Warte, ich bin in die falsche Richtung gegangen“, und zurückzugehen, um einen anderen Pfad zu versuchen. Sie gruben einfach immer weiter in das falsche Loch.

Die Baum-Analogie
Um dies zu beheben, verwandelten die Autoren das Video in einen Baum. Stellen Sie sich das gesamte Video als den Stamm eines riesigen Baumes vor. Der Stamm teilt sich in einige große Äste auf, die Hauptszenen oder Kapitel repräsentieren. Diese Äste teilen sich wiederum in kleinere Zweige auf, und die Zweige teilen sich in winzige Blätter auf.

Die Wurzel: Das gesamte Video.
Die Äste: Große Abschnitte des Videos, in denen sich die Szene ändert (wie der Wechsel von der Küche ins Esszimmer).
Die Blätter: Die winzigen, spezifischen Momente, in denen sich die Antwort verstecken könnte.

Entscheidend ist, dass dieser Baum nicht aus gleich großen Stücken besteht. Stattdessen betrachtet der Computer das Video und schneidet den Baum genau dort, wo sich die visuelle Geschichte ändert. Wenn eine Szene fünf Minuten dauert, ist dieser Ast lang; wenn eine Szene nur ein kurzer Blitz ist, ist dieser Ast kurz. Das bedeutet, dass jeder Teil des Baumes als eine logische Einheit der Geschichte Sinn ergibt, anstatt nur ein zufälliger Zeitabschnitt zu sein.

Die vier magischen Züge
Sobald das Video ein Baum ist, „schneidet“ der Computer-Agent nicht mehr einfach nur zu. Er hat vier spezifische Züge, um auf dieser Karte zu navigieren:

Zoom In (Hineinzoomen): Gehe auf einen Ast hinunter, um einen kleineren, detaillierteren Teil des Videos zu sehen.
Zoom Out (Herauszoomen): Gehe zurück zum übergeordneten Ast, wenn du merkst, dass du zu tief in die falsche Richtung vorgedrungen bist.
Shift (Verschieben): Bewege dich seitlich zu einem anderen Ast auf derselben Ebene (wie beim Überprüfen des nächsten Raums anstatt des aktuellen).
Answer (Antworten): Beende die Suche und gib die endgültige Antwort mit dem exakten Zeitstempel.

Der aufregendste Teil sind Zoom Out und Shift. Dies sind die „Ich habe einen Fehler gemacht, lass es uns noch einmal versuchen“-Buttons. In den alten Methoden war das Zurückgehen unmöglich oder sehr schwierig. In VTS ist es ein Standardzug. Der Agent kann in einen falschen Ast eintauchen, merken, dass es eine Sackgasse ist, wieder nach oben klettern und zu einem anderen Ast springen, um die Wahrheit zu finden.

Das Training des Detektivs
Man kann einem Computer nicht einfach einen Baum geben und erwarten, dass er weiß, wie man ihn benutzt. Die Forscher mussten den Agenten lehren, wie er mit Fehlern umgeht. Sie entwickelten einen speziellen Trainingsprozess, bei dem sie den Agenten absichtlich auf den falschen Pfad schickten.

Die Umleitung: Der Agent wurde dazu geleitet, einen falschen Ast zu wählen.
Die Erholung: Dann musste er herausfinden, wie er wieder nach oben klettert und den richtigen Pfad findet.

Durch das Üben dieser „Umleitung-und-Erholung“-Szenarien lernte der Agent, dass das Machen eines Fehlers nicht das Ende des Spiels ist, sondern nur Teil der Suche. Er lernte, dass er, wenn er feststeckt, seine Zoom Out- und Shift-Werkzeuge nutzen sollte, um sich zu erholen.

Die Ergebnisse
Als sie diesen neuen Detektiv auf drei verschiedenen Video-Beantwortungs-Herausforderungen testeten, waren die Ergebnisse beeindruckend.

Beim CG-Bench Test verbesserte VTS die Fähigkeit, das richtige Zeitintervall zu finden, um 12,5 Punkte gegenüber der besten bisherigen Methode.
Beim Haystack-Ego4D Test (der sehr lange Videos verwendet) verbesserte es sich um 7,4 Punkte.
Selbst bei allgemeinen Videofragen, bei denen es nicht darum ging, das exakte Zeitintervall zu finden, übertraf es andere Methoden um bis zu 7,1 Punkte in der Genauigkeit.

Das Paper legt nahe, dass diese „hierarchische Suche“ (Suche in Schichten) das Geheimrezept ist. Als sie die Fähigkeit entfernten, Zoom Out oder Shift zu nutzen, sank die Leistung signifikant. Dies beweist, dass die Fähigkeit zum Backtracking (Zurückverfolgen) der Grund dafür ist, warum das System so gut ist.

Warum es wichtig ist
Die Autoren fanden heraus, dass VTS nicht nur rät, sondern exploriert. Im Durchschnitt benötigt es etwa 4,8 Züge (Schritte), um ein Problem zu lösen, während ältere Methoden meist schon nach 1 oder 2 Zügen aufgaben. Der neue Agent nutzt seine Backtracking-Werkzeuge in etwa 60 % seiner Suchen aktiv. Er ist nicht nur ein schnellerer Taschenrechner; er ist ein klügerer Entdecker, der weiß, wie man zugibt, dass man falsch lag, und einen anderen Weg einschlägt.

Kurz gesagt zeigt dieses Paper, dass die Behandlung eines langen Videos als strukturierte Karte statt als flache Liste von Frames es Computern ermöglicht, komplexe Fragen mit viel höherer Genauigkeit zu lösen. Indem wir ihnen die Werkzeuge gaben, zurückzugehen und die Richtung zu ändern, haben wir sie zu viel besseren Suchern der Nadel im Heuhaufen gemacht.

Technisches Resümee: VideoTreeSearch (VTS) für Grounded Long Video QA

1. Problemdefinition

Die Arbeit befasst sich mit Grounded Long Video Question Answering (Grounded LVQA), einer Aufgabe, die von einem Modell verlangt, eine Frage zu einem langen Video zu beantworten und gleichzeitig das kurze zeitliche Intervall (Evidenz) zu lokalisieren, das die Antwort stützt.

Aktuelle agentische Ansätze rahmen dies typischerweise als mehrstufige Exploration mit einer einzigen kontinuierlichen Aktion ein: crop_video(start, end). Die Autoren identifizieren zwei kritische strukturelle Mängel bei diesen Methoden:

Asymmetrischer Aktionsraum: Während Cropping die Suche natürlich verengt (von grob nach fein), fehlt ein Primitiv für das Backtracking von fein nach grob. Sobald ein Agent sich auf eine falsche Region festgelegt hat, kann er nicht ohne Weiteres regenerieren, was zu vorzeitiger Konvergenz führt.
Flacher Suchraum: Kontinuierliche Zeitstempel-Regression zwingt den Agenten dazu, Evidenz aus Rohpixeln zu lokalisieren, ohne eine hierarchische Dekomposition des Videos zu nutzen. Dies lässt den Suchraum unorganisiert zurück und es mangelt an semantischen Priors darüber, wo kohärente Segmente liegen.

Infolgedessen scheitern vorangegangene Methoden oft daran, sich von frühen Fehlern zu erholen, und haben Schwierigkeiten mit der präzisen Lokalisierung in langen Videos, in denen die relevante Evidenz nur einen winzigen Bruchteil der Gesamtdauer einnimmt.

2. Methodik: VideoTreeSearch (VTS)

Die Autoren schlagen VideoTreeSearch (VTS) vor, ein Framework, das Grounded LVQA als iterative, selbstkorrigierende Suche über einen adaptiven zeitlichen Baum neu definiert.

2.1 Konstruktion des adaptiven zeitlichen Baums

Anstatt einer uniformen Frame-Sampling-Methode konstruiert VTS einen nicht-uniformen Baum, bei dem die Knoten mit semantisch kohärenten Videosegmenten korrespondieren.

Grenzerkennung: Der Baum wird durch die Erkennung visueller Szenenwechsel mittels CLIP-Embeddings aufgebaut. Für ein gegebenes Segment werden Frames mit 1 fps gesampelt und die Kosinus-Distanzen zwischen aufeinanderfolgenden Embeddings berechnet. Grenzen werden dort gesetzt, wo die visuelle Veränderung einen adaptiven Schwellenwert überschreitet.
Struktur: Die Wurzel repräsentiert das gesamte Video. Zwischenknoten sind grobkörnige Segmente, und Blätter sind feinkörnige Kandidaten. Die Kinder eines Knotens bilden eine sich nicht überschneidende Partition des Intervalls des Elternknotens.
Lazy Materialization: Der Baum wird während der Inferenz verzögert (lazy) konstruiert; nur die Wurzel und die Kinder der besuchten Knoten werden materialisiert, um den Navigationsraum klein zu halten.

2.2 Baum-gestützter Aktionsraum

Der Agent navigiert durch den Baum unter Verwendung von vier diskreten Operationen, die Exploration explizit von Selbstkorrektur trennen:

zoom_in(c): Steigt in das $c$ -te Kindsegment ab (Verengung von grob nach fein).
zoom_out(): Steigt zum Elternknoten auf (Vergröberung von fein nach grob/Backtracking).
shift(s): Bewegt sich lateral zum $s$ -ten Geschwisterknoten unter demselben Elternknoten.
answer(ŷ, [ts, te]): Beendet die Suche mit einer finalen Antwort und dem lokalisierten Evidenzintervall.

Dieses Design macht Backtracking von einem impliziten, schwierigen Verhalten zu einem expliziten, lernbaren Primitiv.

2.3 Trainings-Pipeline

Das Training erfordert Supervision nicht nur für korrekte Pfade, sondern auch für die Erholung von Fehlern, was in Standard-Datensätzen fehlt. Die Autoren führen eine Trajektorien-Synthese-Pipeline ein:

Synthese: Ein Controller generiert Trajektorien, die bewusste Umwege in falsche Zweige gefolgt von einer Erholung (unter Verwendung von zoom_out und shift) beinhalten.
Supervised Fine-Tuning (SFT): Der Agent wird darauf trainiert, diese Trajektorien zu imitieren. Entscheidend ist, dass der Verlust selektiv angewendet wird: Das Modell beobachtet die vollständige „Umweg-und-Erholung“-Sequenz als Kontext, wird aber nur auf den wünschenswerten Bewegungen (korrekte Zoom-ins, Erholungsaktionen und Shifts) supervidiert. Beabsichtigte Fehler in der Trajektorie dienen als Kontext, werden aber aus dem Loss maskiert.
Reinforcement Learning (RL): Im Anschluss an das SFT wird die Policy mittels GRPO verfeinert, wobei Belohnungen auf Basis der Lokalisierungsgenauigkeit (Temporal IoU) und der Antwortkorrektheit basieren.

3. Kernbeiträge

Framework: Einführung von VTS, welches Grounded LVQA als hierarchische Suche über einen semantischen Baum statt als kontinuierliche Regression darstellt.
Aktions-Primitive: Vorschlag diskreter zoom_in, zoom_out und shift Aktionen, die explizit Backtracking und Selbstkorrektur ermöglichen und damit die Asymmetrie früher Cropping-Methoden adressieren.
Trainingsstrategie: Eine neuartige Trajektorien-Synthese-Pipeline, die „Umweg-und-Erholung“-Pfade generiert, wodurch der Agent lernt, Erholungsmuster zu entwickeln, die in den Ground-Truth-Daten nicht vorhanden sind.
Empirische Validierung: Nachweis, dass explizite hierarchische Suche und Backtracking zentrale Mechanismen zur Verbesserung der Leistung bei Langzeit-Videoaufgaben sind.

4. Experimentelle Ergebnisse

VTS wurde auf drei Grounded LVQA-Benchmarks (CG-Bench, Haystack-LVBench, Haystack-Ego4D) und drei allgemeinen Long-Video-QA-Benchmarks (Video-MME, MLVU, LVBench) evaluiert.

Grounded LVQA Performance

CG-Bench: VTS erreichte 16,8 mIoU und 36,4 % Genauigkeit und übertraf damit die stärkste vorangegangene agentische Baseline (LongVT) um +12,5 mIoU und +19,0 Genauigkeit.
Haystack-Ego4D: VTS erreichte 18,4 T-F1 und 66,1 % Genauigkeit und übertraf die beste Baseline um +7,4 T-F1.
Effizienz: Trotz überlegener Leistung verarbeitete VTS im Durchschnitt weniger Frames (328) als uniforme Sampling-Baselines (384) und Captioner-LLM-Agenten (450).

General Long-Video QA Transfer

Die gelernte Navigations-Policy transferierte auf allgemeine QA-Aufgaben ohne explizites Grounding-Training:

VTS übertraf alle vorangegangenen agentischen Baselines auf Video-MME, MLVU und LVBench, mit Gewinnen von bis zu +7,1 Genauigkeitspunkten auf LVBench.

Ablationsstudien

Backtracking: Das Entfernen von zoom_out und shift (kein Backtracking) verschlechterte die Leistung über alle Metriken hinweg signifikant, was bestätigt, dass Selbstkorrektur entscheidend ist.
Baum vs. Flach: Der Ersatz des hierarchischen Baums durch einen flachen Baum mit uniformen Segmenten verschlechterte die QA-Genauigkeit, was den Wert der Multiskalen-Suche demonstriert.
Trajektorien-Synthese: Das Training auf „Umweg-und-Erholung“-Trajektorien lieferte eine signifikant höhere Leistung (+6,4 mIoU) als das Training auf reinen Optimalpfad-Trajektorien.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass die Strukturierung der Suche über ein langes Video als adaptiver Baum ein nützlicher induktiver Bias für das Reasoning über lange Video-Horizonte ist. Die primäre Bedeutung liegt in der Verschiebung des Paradigmas von „kontinuierlicher Regression“ zu „diskreter Navigation“, was:

Exploration und Korrektur entkoppelt: Backtracking zu einem expliziten, lernbaren Verhalten macht statt zu einer impliziten, instabilen Fähigkeit.
Mit Semantik korreliert: Durch die Verankerung der Suche in visuellen Szenengrenzen operiert das Modell über semantisch kohärente Einheiten statt über willkürliche Zeitstempel.
Erholung ermöglicht: Die Fähigkeit, ein falsches Absinken explizit „rückgängig zu machen“, erlaubt es Agenten, die hohen Kosten von Fehlern in langen Videos zu bewältigen, wo ein einziger Fehler zu einem unumkehrbaren Verlust des Kontextes führen kann.

Die Autoren kommen zu dem Schluss, dass, obwohl VTS primär für die Evidenzlokalisierung trainiert wurde, die baumgestützte Such-Policy effektiv auf breitere Aufgaben des Long-Video-Verständnisses generalisiert, was darauf hindeutet, dass der Mechanismus der hierarchischen, selbstkorrigierenden Suche allgemein vorteilhaft für das Video-Reasoning ist.