💻 computer science

Video-o3: Native Interleaved Clue Seeking for Long Video Multi-Hop Reasoning

Video-o3 ist ein neuartiges Framework für die mehrstufige Argumentation in langen Videos, das die Einschränkungen der uniformen Stichprobenziehung überwindet, indem es eine native, iterative Suche nach Hinweisen durch aufgabenentkoppelte Maskierung der Aufmerksamkeit und einen überprüfbaren, durch Trajektorien geleiteten Belohnungsmechanismus ermöglicht und damit auf Benchmarks wie MLVU und Video-Holmes State-of-the-Art-Ergebnisse erzielt.

Ursprüngliche Autoren: Xiangyu Zeng, Zhiqiu Zhang, Yuhan Zhu, Xinhao Li, Zikang Wang, Changlian Ma, Qingyu Zhang, Zizheng Huang, Kun Ouyang, Tianxiang Jiang, Ziang Yan, Yi Wang, Hongjie Zhang, Yali Wang, Limin Wang

Veröffentlicht 2026-05-22

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xiangyu Zeng, Zhiqiu Zhang, Yuhan Zhu, Xinhao Li, Zikang Wang, Changlian Ma, Qingyu Zhang, Zizheng Huang, Kun Ouyang, Tianxiang Jiang, Ziang Yan, Yi Wang, Hongjie Zhang, Yali Wang, Limin Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein Rätsel in einem 30-minütigen Film zu lösen, aber Sie haben nur wenige Sekunden Zeit, ihn anzusehen. Die meisten aktuellen KI-Modelle versuchen dies zu lösen, indem sie alle paar Sekunden einen schnellen, unscharfen Schnappschuss des gesamten Films machen und dann sofort die Antwort raten. Es ist, als würde man versuchen, eine spezifische Nadel im Heuhaufen zu finden, indem man nur einmal über den ganzen Haufen schaut und hofft, sie gesehen zu haben. Oft verpasst man die Nadel, weil sie im „Heu" (den langweiligen Teilen) versteckt ist, oder man wird von zu vielen Informationen überwältigt.

Video-o3 ist ein neues KI-Framework, das das Spiel verändert. Anstatt nur einen flüchtigen Blick zu werfen, agiert es wie ein Detektiv mit einer Lupe. So funktioniert es, aufgeteilt in einfache Konzepte:

1. Die Herangehensweise des Detektivs (Native Interleaved Clue Seeking)

Anstatt den ganzen Film anzusehen und dann zu raten, sieht Video-o3 ein wenig, denkt nach und entscheidet dann: „Ich muss auf diesen spezifischen 5-Sekunden-Abschnitt heranzoomen, um zu sehen, was passiert."

Wie es funktioniert: Es fordert das System auf, ein bestimmtes Segment des Videos „zuzuschneiden" (wie ein kleines Stück Film aus der Rolle zu schneiden), um es genauer zu betrachten.
Die Schleife: Dieser Prozess wird wiederholt. Ein wenig ansehen $\rightarrow$ Nachdenken $\rightarrow$ Auf einen Hinweis zoomen $\rightarrow$ Erneut nachdenken $\rightarrow$ Auf einen weiteren Hinweis zoomen.
Das Ergebnis: Es baut die Antwort Stück für Stück auf, betrachtet nur die Teile des Videos, die tatsächlich wichtig sind, und ignoriert den Rest.

2. Das Problem der „Geteilten Aufmerksamkeit" (Task-Decoupled Attention Masking)

Stellen Sie sich einen Detektiv vor, der versucht, einen Bericht zu schreiben, während er gleichzeitig einen Tatort beobachtet. Wenn er versucht, beides genau zur gleichen Zeit zu tun, könnte er verwirrt werden. Er könnte den Tatort ansehen, aber etwas aus seinem Gedächtnis aufschreiben, anstatt das, was er tatsächlich sieht. Dies wird als „gefälschtes Denken" bezeichnet.

Die Lösung: Video-o3 verwendet eine spezielle „Maskierungs"-Technik.
- Wenn die KI nach Hinweisen sucht (das Video scannt), wird sie gezwungen, die finale Antwort, die sie möglicherweise schreibt, zu ignorieren. Sie konzentriert sich vollständig darauf, die Beweise zu finden.
- Wenn die KI die Antwort schreibt, wird sie gezwungen, das rohe Videomaterial zu ignorieren und sich nur auf die Hinweise zu konzentrieren, die sie gerade gefunden hat.
Die Analogie: Es ist wie ein Schüler, der nur während der „Lernphase" in sein Lehrbuch schauen darf und nur während der „Prüfungsphase" in seine Notizen. Dies verhindert, dass er schummelt oder verwirrt wird, und stellt sicher, dass seine endgültige Antwort auf soliden Beweisen basiert.

3. Das „Stoppschild" (Verifiable Trajectory-Guided Reward)

Ein Detektiv könnte theoretisch für immer weiter heranzoomen und jeden einzelnen Frame betrachten, was zu lange dauern und zu viel Geld (Rechenleistung) kosten würde.

Die Lösung: Video-o3 wird mit einem speziellen Belohnungssystem trainiert.
- Wenn die KI die Antwort schnell und genau findet, erhält sie einen großen „Goldstern" (Belohnung).
- Wenn die KI unnötigerweise weiter heranzoomt, nachdem sie bereits die Antwort hat, erhält sie eine „Strafe" (die Belohnung wird kleiner).
Die Analogie: Es ist wie ein Spiel von „Heiß und Kalt". Die KI lernt, die Suche sofort zu beenden, sobald sie sich „heiß" fühlt (genug Beweise hat). Sie lernt, effizient zu sein und genau dann aufzuhören, wenn sie das Rätsel gelöst hat, anstatt Zeit damit zu verschwenden, leere Räume zu durchsuchen.

4. Der Trainingsplatz (Seeker-173K)

Um eine KI zum Detektiv auszubilden, kann man ihr nicht einfach nur ein Lehrbuch geben; man muss ihr Tausende von Übungsfällen geben, in denen sie Hinweise suchen muss.

Der Datensatz: Die Forscher haben einen riesigen Datensatz namens Seeker-173K erstellt. Dieser enthält 173.000 Beispiele für „Video-Rätsel", bei denen die KI gezwungen ist, den Zyklus zu üben: Schauen $\rightarrow$ Zoomen $\rightarrow$ Nachdenken $\rightarrow$ Erneut Schauen $\rightarrow$ Lösen.
Das Ergebnis: Da sie so viel an diesen spezifischen „Hinweis-Such"-Aufgaben geübt hat, wurde sie viel besser darin, komplexe Video-Fragen zu lösen als frühere Modelle.

Das Fazit

Video-o3 ist eine intelligentere Art für Computer, lange Videos anzusehen. Anstatt zu versuchen, den ganzen Film auf einmal auswendig zu lernen, agiert es wie ein menschlicher Detektiv: Es scannt die Szene, zoomt auf die wichtigen Details heran, verbindet die Punkte und hört auf, sobald es den Beweis hat. Dies macht es viel schneller, genauer und besser darin, komplexe Rätsel zu lösen, die in langen Videos versteckt sind.

Leistung: In Tests ermöglichte dieser Ansatz der KI, Video-Rätsel mit deutlich höherer Genauigkeit zu lösen (z. B. 72,1 % auf einem wichtigen Benchmark) im Vergleich zu älteren Methoden, die das Video nur „flüchtig" betrachteten.

Technische Zusammenfassung: Video-o3

Problemstellung

Bestehende Multimodale Große Sprachmodelle (MLLMs) für das Verständnis langer Videos stützen sich überwiegend auf eine gleichmäßige Frame-Auswahl gefolgt von einer Inferenz in einem einzigen Durchgang. Dieser Ansatz hat Schwierigkeiten, spärliche, aber kritische Beweise innerhalb umfangreichen redundanten Hintergrundinhalts zu identifizieren, was zu erheblichem Rechenaufwand und einer verschlechterten Genauigkeit beim Schlussfolgern führt. Zwar existieren frühe Prototypen für „Hinuchsuche + Antwortableitung", doch verlassen sie sich häufig auf handgefertigte Heuristiken, fehlen eine End-to-End-Optimierung und trennen die Hinuchsuche von der Schlussfolgerung, wodurch sie nicht auf komplexe, langformatige Videos skalieren können, die eine gemeinsame mehrstufige Schlussfolgerung erfordern. Darüber hinaus führt die native mehrstufige Werkzeugaufrufung zu zwei Kernherausforderungen: Aufmerksamkeitsdispersion, verursacht durch die Heterogenität von Schlussfolgerungs- und Werkzeugaufrufaufgaben innerhalb eines gemeinsamen Kontexts, und Kontextineffizienz, bei der unkontrollierte Werkzeuginteraktionen zu übermäßigem Tokenverbrauch und redundanter Exploration führen.

Methodik

Die Autoren stellen Video-o3 vor, ein Framework, das für eine native, interleaved Hinuchsuche und mehrstufige Schlussfolgerung in langen Videos konzipiert ist. Das System ermöglicht dem Modell, iterativ saliente visuelle Hinweise zu entdecken, feingranulare Inspektionen von Schlüsselsegmenten über ein VideoCrop-Werkzeug durchzuführen und die Suche adaptiv zu beenden, sobald ausreichende Beweise vorliegen.

1. Aufmerksamkeitsmaskierung mit entkoppelten Aufgaben (TDAM)

Um die durch heterogene Aufgaben (Hinuchsuche vs. Antwortableitung) verursachte Aufmerksamkeitsdispersion zu mildern, schlagen die Autoren TDAM vor. Dieser Mechanismus setzt während des Supervised Fine-Tuning (SFT) explizite Sichtbarkeitsbeschränkungen:

Hinuchsuch-Phase: Das Modell ist darauf beschränkt, ausschließlich auf den globalen Videoeingang zu achten, wodurch es gezwungen wird, Planungsstrategien basierend auf dem globalen Kontext zu erlernen.
Antwortableitungs-Phase: Der globale Überblick wird maskiert, was das Modell zwingt, Antworten ausschließlich aus hochauflösenden Werkzeugbeobachtungen abzuleiten.
Diese Strategie wird nur auf 10 % der Trainingsdaten angewendet, um entkoppelte Expertise mit der Notwendigkeit einer ganzheitlichen Schlussfolgerung in Einklang zu bringen, wodurch das Training dieser beiden Modi effektiv isoliert wird, während ein gemeinsamer globaler Kontext erhalten bleibt.

2. Überprüfbarer, trajektoriengeführter Reward (VTGR)

Um das Wachstum der Kontextlänge zu kontrollieren und eine effiziente Exploration zu fördern, wird eine neue Reward-Funktion für das Reinforcement Learning (RL) eingeführt. Der Reward $R$ setzt sich aus der Korrektheit der Antwort, der Formatvalidität und einem trajektoriengeführten Multiplikator $\beta$ zusammen:
$R = r_a \cdot (1 + \beta) + r_f$

Hybrider Hinuchscore ( $S_{clue}$ ): Belohnt präzise Lokalisierung, indem Trajektorien belohnt werden, die mit Ground-Truth-Intervallen übereinstimmen (unter Verwendung von IoU, IoP, IoG), oder indem Vielfalt in „freien Exploration"-Stichproben gefördert wird.
Turn-Abklingfaktor ( $\gamma$ ): Bestraft Trajektorien, die eine Referenzanzahl von Turns überschreiten, fördert ein agiles Beenden und verhindert redundante Schleifen.
Das Modell wird unter Verwendung des DAPO-Algorithmus, einer Variante von GRPO, optimiert, um relative Vorteile innerhalb gesampelter Gruppen zu maximieren.

3. Datensynthese und Seeker-173K

Um die Datenknappheit für das Training einer nativen, interleaved Werkzeugaufrufung zu überwinden, entwickelten die Autoren eine skalierbare, automatisierte Datensynthesepipeline. Diese Pipeline verarbeitet „Video-Frage-Antwort"-Triplets durch vier Stufen: Hinuchlokalisierung, Validitätsverifizierung, Trajektoriengenerierung und Prüfung der logischen Konsistenz. Dieser Prozess ergibt Seeker-173K, ein hochwertiges Korpus von 173.000 Werkzeuginteraktions-Trajektorien, das explizit entwickelt wurde, um robuste Fähigkeiten zur nativen, interleaved Werkzeugaufrufung zu kultivieren.

Hauptbeiträge

Aufmerksamkeitsmaskierung mit entkoppelten Aufgaben: Ein Mechanismus, der die Hinuchlokalisierung von der Antwortableitung entkoppelt, um Aufmerksamkeitsinterferenzen zu verhindern, und es End-to-End-Modellen ermöglicht, sich auf spezifische Explorationsphasen zu konzentrieren, während der globale Kontext erhalten bleibt.
Überprüfbarer, trajektoriengeführter Reward: Eine Reward-Formulierung, die eine exhaustive Exploration mit Recheneffizienz in Einklang bringt und das Modell ermutigt, Hinweise präzise zu lokalisieren und die Schlussfolgerung genau dann zu beenden, wenn die Beweise ausreichend sind.
Seeker-173K-Datensatz: Ein groß angelegtes, hochwertiges Trainingskorpus, das 173.000 Werkzeuginteraktions-Trajektorien umfasst und über eine automatisierte Synthesepipeline erstellt wurde, um überwachtes und bestärkendes Lernen für die Schlussfolgerung in langen Videos zu unterstützen.

Experimentelle Ergebnisse

Umfassende Evaluierungen über diverse Benchmarks für das Verständnis und die Schlussfolgerung in langen Videos hinweg zeigen, dass Video-o3 die State-of-the-Art-Methoden erheblich übertrifft:

MLVU: Erzielte eine Genauigkeit von 72,1 % (SFT+RL) und übertraf damit die bisherigen Bestwerte.
Video-Holmes: Erzielte eine Genauigkeit von 46,5 % und demonstrierte starke Fähigkeiten zur mehrstufigen Beweisfindung.
LVBench: Erzielte eine Genauigkeit von 47,6 %.
Temporale Verankerung: Auf dem Benchmark Charades-STA erreichte Video-o3 einen mIoU von 60,7 und übertraf damit Baselines wie LongVT (27,2) und Qwen2.5-VL (43,6) erheblich.
Effizienz: Im Vergleich zu entkoppelten iterativen Schlussfolgerungsmethoden reduzierte Video-o3 die Inferenzzeit um 32,9 % (gegenüber LOVE-R1) und 46,0 % (gegenüber VideoChat-R1.5), während es weniger visuelle Tokens verwendete und einen einheitlichen gemeinsamen Kontext nutzte, um redundante Berechnungen über den KV-Cache zu eliminieren.

Das Framework zeigte zudem eine Generalisierung auf kleinere Basismodelle (Qwen3-VL-4B) und erzielte konsistente Verbesserungen über alle getesteten Benchmarks hinweg.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Video-o3 einen neuen State-of-the-Art für das Verständnis langformatiger Videos etabliert, indem es die Wirksamkeit einer nativen Werkzeugaufrufung in diesen Szenarien validiert. Indem es Modellen ermöglicht, aktiv aufgabenrelevante Beweise durch iterative, mehrstufige Interaktionen zu suchen, anstatt statische Eingaben passiv zu verarbeiten, adressiert Video-o3 die grundlegenden Einschränkungen der gleichmäßigen Auswahl und der Inferenz in einem einzigen Durchgang. Die Arbeit unterstreicht das transformative Potenzial nativer Werkzeugnutzungsparadigmen für die Weiterentwicklung der nächsten Generation agenter MLLMs, wobei insbesondere die Fähigkeit hervorgehoben wird, komplexe Anfragen in handhabbare Teilziele zu zerlegen und Mehrdeutigkeiten durch robuste mehrstufige Schlussfolgerungsketten aufzulösen. Die Autoren betonen, dass ihr Ansatz den Kompromiss zwischen Explorationsabdeckung und Schlussfolgerungseffizienz erfolgreich ausbalanciert, eine kritische Anforderung für eine skalierbare Analyse langer Videos.