💻 computer science

Video-o3: Native Interleaved Clue Seeking for Long Video Multi-Hop Reasoning

Video-o3 is een nieuw kader voor multi-hop-resoneren in lange video's dat de beperkingen van uniforme steekproefneming overwint door middel van native, iteratieve clue-zoekopdrachten via taakontkoppelde attentiemaskering en een verifieerbare, trajectgeleide beloning, waardoor state-of-the-art-prestaties worden bereikt op benchmarks zoals MLVU en Video-Holmes.

Oorspronkelijke auteurs: Xiangyu Zeng, Zhiqiu Zhang, Yuhan Zhu, Xinhao Li, Zikang Wang, Changlian Ma, Qingyu Zhang, Zizheng Huang, Kun Ouyang, Tianxiang Jiang, Ziang Yan, Yi Wang, Hongjie Zhang, Yali Wang, Limin Wang

Gepubliceerd 2026-05-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xiangyu Zeng, Zhiqiu Zhang, Yuhan Zhu, Xinhao Li, Zikang Wang, Changlian Ma, Qingyu Zhang, Zizheng Huang, Kun Ouyang, Tianxiang Jiang, Ziang Yan, Yi Wang, Hongjie Zhang, Yali Wang, Limin Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een mysterie op te lossen in een film van 30 minuten, maar je hebt slechts een paar seconden om ernaar te kijken. De meeste huidige AI-modellen proberen dit op te lossen door elke paar seconden een snelle, wazige foto van de hele film te nemen en vervolgens direct het antwoord te raden. Het is alsof je probeert een specifieke naald in een hooiberg te vinden door één keer over de hele berg te gluren en te hopen dat je hem hebt gezien. Je mist de naald vaak omdat hij verborgen zit in het "hooi" (de saaie delen), of je raakt overweldigd door te veel informatie.

Video-o3 is een nieuw AI-kader dat het spel verandert. In plaats van te gluren, handelt het als een detective met een vergrootglas. Hieronder wordt uitgelegd hoe het werkt, opgesplitst in eenvoudige concepten:

1. De aanpak van de detective (Native Interleaved Clue Seeking)

In plaats van de hele film te bekijken en vervolgens te raden, kijkt Video-o3 een beetje, denkt na en besluit dan: "Ik moet inzoomen op dit specifieke 5-seconden-deel om te zien wat er gebeurt."

Hoe het werkt: Het vraagt het systeem om een specifiek segment van de video te "croppen" (alsof je een klein stukje film uit de rol knipt) om het van dichtbij te bekijken.
De lus: Het herhaalt dit proces. Iets bekijken $\rightarrow$ Nadenken $\rightarrow$ Inzoomen op een aanwijzing $\rightarrow$ Opnieuw nadenken $\rightarrow$ Inzoomen op een andere aanwijzing.
Het resultaat: Het bouwt het antwoord stuk voor stuk op, kijkt alleen naar de delen van de video die echt belangrijk zijn en negeert de rest.

2. Het probleem van "gesplitste aandacht" (Task-Decoupled Attention Masking)

Stel je een detective voor die probeert een verslag te schrijven terwijl hij tegelijkertijd naar een misdaadplek kijkt. Als ze proberen beide dingen exact tegelijk te doen, raken ze misschien in de war. Ze kijken misschien naar de misdaadplek, maar schrijven iets op uit hun geheugen in plaats van wat ze daadwerkelijk zien. Dit wordt "nepdenken" genoemd.

De oplossing: Video-o3 gebruikt een speciale "maskeringstechniek".
- Wanneer de AI op zoek is naar aanwijzingen (de video scant), wordt ze gedwongen het uiteindelijke antwoord dat ze misschien schrijft te negeren. Ze richt zich volledig op het vinden van het bewijs.
- Wanneer de AI het antwoord schrijft, wordt ze gedwongen de ruwe videobeelden te negeren en zich alleen te richten op de aanwijzingen die ze zojuist heeft gevonden.
De analogie: Het is als een student die alleen mag kijken naar hun lesboek tijdens de "studiefase", en alleen mag kijken naar hun aantekeningen tijdens de "toetsfase". Dit voorkomt dat ze bedriegen of in de war raken, en zorgt ervoor dat hun uiteindelijke antwoord gebaseerd is op stevig bewijs.

3. Het "stopbord" (Verifiable Trajectory-Guided Reward)

Een detective zou theoretisch oneindig kunnen blijven inzoomen, elke enkele frame bekijken, wat te lang zou duren en te veel geld zou kosten (rekenkracht).

De oplossing: Video-o3 is getraind met een speciaal beloningssysteem.
- Als de AI het antwoord snel en nauwkeurig vindt, krijgt ze een grote "gouden ster" (beloning).
- Als de AI blijft inzoomen zonder reden nadat ze het antwoord al heeft, krijgt ze een "straf" (de beloning wordt kleiner).
De analogie: Het is als een spelletje "Warm en Koud". De AI leert te stoppen met zoeken op het moment dat ze zich "warm" voelt (genoeg bewijs heeft). Ze leert efficiënt te zijn en stopt precies wanneer ze het raadsel heeft opgelost, in plaats van tijd te verspillen aan het bekijken van lege kamers.

4. De trainingsplaats (Seeker-173K)

Om een AI te leren als een detective te werken, kun je haar niet zomaar een lesboek geven; je moet haar duizenden oefenopdrachten geven waarbij ze op zoek moet gaan naar aanwijzingen.

De dataset: De onderzoekers hebben een enorme dataset gecreëerd genaamd Seeker-173K. Deze bevat 173.000 voorbeelden van "videomysteriën" waarbij de AI gedwongen wordt de cyclus te oefenen: Kijken $\rightarrow$ Inzoomen $\rightarrow$ Nadenken $\rightarrow$ Opnieuw Kijken $\rightarrow$ Oplossen.
Het resultaat: Omdat ze zo veel heeft geoefend op deze specifieke "aanwijzingen-jacht"-taken, is ze veel beter geworden in het oplossen van complexe videovragen dan eerdere modellen.

De conclusie

Video-o3 is een slimmere manier voor computers om lange video's te bekijken. In plaats van te proberen de hele film in één keer te onthouden, handelt het als een menselijke detective: het scant de scène, zoomt in op de belangrijke details, verbindt de puntjes en stopt zodra het het bewijs heeft. Dit maakt het veel sneller, nauwkeuriger en beter in het oplossen van complexe puzzels die verborgen zitten in lange video's.

Prestaties: In tests liet deze aanpak de AI videopuzzels oplossen met aanzienlijk hogere nauwkeurigheid (bijvoorbeeld 72,1% op een belangrijke benchmark) in vergelijking met oudere methoden die de video gewoon "gluurden".

Technische Samenvatting: Video-o3

Probleemstelling

Bestaande Multimodale Grootte Taalmodellen (MLLM's) voor het begrijpen van lange video's vertrouwen voornamelijk op uniforme frame-steekproeven gevolgd door inferentie in één ronde. Deze aanpak worstelt met het identificeren van schaarse maar kritieke bewijsstukken binnen uitgebreide, redundante achtergrondinhoud, wat leidt tot aanzienlijke computerefficiëntie en een verminderde redeneernauwkeurigheid. Hoewel er vroege prototypes bestaan voor "sporen zoeken + antwoordredenering", zijn deze vaak afhankelijk van handgemaakte heuristieken, missen ze end-to-end optimalisatie en ontkoppelen ze het spoorzoeken van de redenering, waardoor ze niet schalen naar complexe, langdurige video's die gezamenlijke multi-hop redenering vereisen. Bovendien introduceert native multi-turn tool-uitvoering twee kernuitdagingen: attentieverspreiding veroorzaakt door de heterogeniteit van redenerings- en tooloproptaken binnen een gedeelde context, en contextuele inefficiëntie waarbij ongecontroleerde tool-interacties leiden tot overmatig tokenverbruik en redundante exploratie.

Methodologie

De auteurs introduceren Video-o3, een framework ontworpen voor native interleaved spoorzoeken en multi-hop redenering in lange video's. Het systeem stelt het model in staat om iteratief opvallende visuele aanwijzingen te ontdekken, gedetailleerde inspectie van sleutelsegmenten uit te voeren via een VideoCrop-tool, en de zoektocht adaptief te beëindigen zodra voldoende bewijs is verzameld.

1. Taak-ontkoppelde Attentiemaskering (TDAM)

Om attentieverspreiding veroorzaakt door heterogene taken (spoorontdekking versus antwoordredenering) te mitigeren, stellen de auteurs TDAM voor. Dit mechanisme legt expliciete zichtbaarheidsbeperkingen op tijdens Supervised Fine-Tuning (SFT):

Spoorzoekfase: Het model is beperkt tot het uitsluitend richten op de globale video-invoer, waardoor het leert planningsstrategieën op basis van de globale context.
Antwoordredeneringsfase: Het globale overzicht wordt gemaskeerd, waardoor het model gedwongen wordt antwoorden uitsluitend af te leiden uit hoogresolutie tool-observaties.
Deze strategie wordt slechts op 10% van de trainingsdata toegepast om ontkoppelde expertise in evenwicht te brengen met de behoefte aan holistische redenering, waardoor het trainen van deze twee modi effectief wordt geïsoleerd terwijl een gedeelde globale context behouden blijft.

2. Verifieerbare Trajecto-geleide Beloning (VTGR)

Om de groei van de contextlengte te beheersen en efficiënte exploratie te stimuleren, wordt een nieuwe beloningsfunctie geïntroduceerd voor Reinforcement Learning (RL). De beloning $R$ is een compositie van antwoordcorrectheid, formatvaliditeit en een trajecto-geleide multiplier $\beta$ :
$R = r_a \cdot (1 + \beta) + r_f$

Hybride Spoor Score ( $S_{clue}$ ): Stimuleert precieze lokalisatie door trajecten te belonen die overeenkomen met ground-truth intervallen (met behulp van IoU, IoP, IoG) of door diversiteit aan te moedigen in "vrije exploratie" steekproeven.
Ronde Verval Factor ( $\gamma$ ): Straft trajecten die een referentienummer van rondes overschrijden, waardoor agile beëindiging wordt bevorderd en redundante lussen worden voorkomen.
Het model wordt geoptimaliseerd met het DAPO-algoritme, een variant van GRPO, om relatieve voordelen binnen gesampleerde groepen te maximaliseren.

3. Data Synthese en Seeker-173K

Om data-schaarste voor het trainen van native interleaved tool-uitvoering te overwinnen, ontwikkelden de auteurs een schaalbaar geautomatiseerd data-synthesepijplijn. Deze pijplijn verwerkt "Video-Vraag-Antwoord" triplets door vier fasen: Spoorlokalisatie, Validiteitsverificatie, Trajectgeneratie en Logische Consistentiecontrole. Dit proces levert Seeker-173K op, een corpus van hoge kwaliteit met 173.000 tool-interactie trajecten die expliciet zijn ontworpen om robuuste native interleaved tool-uitvoeringscapaciteiten te kweken.

Belangrijkste Bijdragen

Taak-ontkoppelde Attentiemaskering: Een mechanisme dat spoorlokalisatie ontkoppelt van antwoordredenering om attentie-interferentie te voorkomen, waardoor end-to-end modellen zich kunnen concentreren op specifieke exploratiefasen terwijl de globale context behouden blijft.
Verifieerbare Trajecto-geleide Beloning: Een beloningsformulering die uitputtende exploratie in evenwicht brengt met computerefficiëntie, waardoor het model wordt aangemoedigd om aanwijzingen nauwkeurig te lokaliseren en redenering precies te beëindigen wanneer het bewijs voldoende is.
Seeker-173K Dataset: Een grote, hoogwaardige trainingscorpus bestaande uit 173k tool-interactie trajecten, opgebouwd via een geautomatiseerde synthesepijplijn ter ondersteuning van supervised en reinforcement learning voor redenering in lange video's.

Experimentele Resultaten

Uitgebreide evaluaties over diverse benchmarks voor het begrijpen en redeneren van lange video's tonen aan dat Video-o3 aanzienlijk beter presteert dan state-of-the-art methoden:

MLVU: Bereikte 72,1% nauwkeurigheid (SFT+RL), wat de vorige beste resultaten overtreft.
Video-Holmes: Bereikte 46,5% nauwkeurigheid, wat sterke multi-hop bewijszoekcapaciteiten aantoont.
LVBench: Bereikte 47,6% nauwkeurigheid.
Temporale Grounding: Op de Charades-STA-benchmark bereikte Video-o3 een mIoU van 60,7, wat significant beter is dan baselines zoals LongVT (27,2) en Qwen2.5-VL (43,6).
Efficiëntie: In vergelijking met ontkoppelde iteratieve redeneringsmethoden verlaagde Video-o3 de inferentietijd met 32,9% (ten opzichte van LOVE-R1) en 46,0% (ten opzichte van VideoChat-R1.5) terwijl het minder visuele tokens gebruikte, door een uniek gedeelde context te benutten om redundante berekening via KV-cache te elimineren.

Het framework toonde ook generalisatie naar kleinere basismodellen (Qwen3-VL-4B), wat consistente verbeteringen opleverde over alle geteste benchmarks.

Betekenis en Claims

Het artikel beweert dat Video-o3 een nieuwe state-of-the-art vestigt voor het begrijpen van langdurige video's door de effectiviteit van native tool-uitvoering in deze scenario's te valideren. Door modellen in staat te stellen actief naar taakrelevante bewijsstukken te zoeken via iteratieve, multi-turn interacties in plaats van passief statische invoer te verwerken, adresseert Video-o3 de fundamentele beperkingen van uniforme steekproeven en inferentie in één ronde. Het werk onderstreept het transformatieve potentieel van native tool-gebruik paradigma's in het bevorderen van de volgende generatie agentische MLLM's, met name door de capaciteit te benadrukken om complexe queries op te splitsen in beheersbare subdoelen en ambiguïteiten op te lossen via robuuste multi-hop redeneerketens. De auteurs benadrukken dat hun aanpak succesvol het compromis tussen exploratie-omvang en redeneer-efficiëntie in evenwicht brengt, een kritieke vereiste voor schaalbare analyse van lange video's.