VideoTIR: Accurate Understanding for Long Videos with Efficient Tool-Integrated Reasoning

Het paper introduceert VideoTIR, een nieuwe aanpak die Reinforcement Learning en een geoptimaliseerde toolkit-gebruiksstrategie (TAGPO) combineert om hallucinaties in langdurige video-analyse door multimodale modellen te verminderen en zo zowel de nauwkeurigheid als de efficiëntie te verhogen.

De kern

Stel je voor dat je een gigantische, drie uur durende film moet bekijken om één specifieke vraag te beantwoorden, bijvoorbeeld: "Wat deed de vrouw in de rode jurk precies 45 minuten nadat de ontploffing plaatsvond?"

Als je die hele film in één keer probeert te bekijken, wordt je hoofd er warm van. Je vergeet details, je raakt de draad kwijt, en je maakt waarschijnlijk een fout. Dit is precies het probleem dat kunstmatige intelligentie (AI) heeft met lange video's. De huidige slimme computers (MLLMs) zijn geweldig in korte filmpjes, maar bij lange video's beginnen ze te "hallucineren" – ze verzinnen dingen die er niet zijn, omdat ze te veel informatie tegelijk proberen te verwerken.

De onderzoekers van VideoTIR hebben een slimme oplossing bedacht. Laten we het uitleggen met een paar creatieve metaforen.

1. De Probleemoplossing: Van "Alles in één keer" naar "Een Slimme Detective"

Stel je de huidige AI voor als een student die een heel dik boek moet samenvatten. De student probeert alle bladzijden in één keer te lezen. Het resultaat? Verwarring en fouten.

VideoTIR is als een slimme detective die een dossier onderzoekt. Deze detective doet niet alles in één keer. Hij werkt in stappen:

1. Eerst kijken: Hij kijkt even snel door het hele dossier (de video) om een idee te krijgen.
2. Vragen stellen: Als hij niet zeker is, zegt hij: "Wacht even, ik heb meer details nodig over die specifieke scène."
3. Hulpmiddelen gebruiken: Hij pakt dan zijn gereedschapskist en zoekt alleen naar die specifieke scène, zoomt in op een gezicht, of kijkt naar een bepaald tijdstip.
4. Antwoorden: Pas als hij alle stukjes van de puzzel heeft, geeft hij het antwoord.

Dit noemen ze "Tool-Integrated Reasoning": de AI denkt niet alleen na, maar gebruikt ook gereedschappen om informatie op te halen, net als een mens.

2. De Gereedschapskist: Een Meerdere-Lagen Koffer

De onderzoekers hebben een speciale koffer met gereedschappen voor de AI gebouwd. Deze koffer heeft twee soorten gereedschap:

• De "Browsen"-tool (Globaal): Stel je voor dat je een video kijkt met een wazige bril. Je ziet dat er iets gebeurt, maar niet wat. Deze tool helpt de AI om de video langzamer en scherper te bekijken, alsof je de bril afzet en de video in slow-motion bekijkt. Dit is goed voor vragen als: "Waar gaat deze video over?"
• De "Zoek en Zoom"-tool (Lokaal): Stel je voor dat je een klein detail zoekt, zoals een nummerplaat of een gezicht. Deze tool werkt als een Google Maps voor video's. De AI kan zeggen: "Ga naar minuut 12:30, zoom in op de achtergrond, en zoek naar een rode auto."

De AI heeft een router (een soort verkeersleider) die beslist welk gereedschap hij moet pakken. Is het een grote vraag? Dan pakt hij de "Browsen"-tool. Is het een kleine, specifieke vraag? Dan pakt hij de "Zoek en Zoom"-tool.

3. De Leermethode: Reinforcement Learning (RL) als een Videospel

Hoe leert de AI om deze gereedschappen slim te gebruiken? Ze gebruiken een methode die lijkt op het trainen van een personage in een videospel.

• De fout: Soms roept de AI te veel gereedschappen aan (bijvoorbeeld: "Zoom in, zoek, zoom weer in, zoek nog eens") terwijl het antwoord al duidelijk was. Dit noemen ze overgebruik.
• De andere fout: Soms gebruikt de AI het verkeerde gereedschap of roept het niets aan terwijl het dat wel nodig had. Dit noemen ze misbruik.

Om dit op te lossen, hebben ze een slimme beloningssysteem bedacht, genaamd TAGPO.

• De analogie: Stel je voor dat je een kind leert om een kamer op te ruimen.
  • Als het kind de kamer op tijd en zonder rommel op te ruimen, krijgt het een gouden ster.
  • Als het kind eerst alle kasten open doet, alles eruit haalt, en dan pas begint met opruimen, krijgt het geen ster (of een straf), want het was inefficiënt.
  • Als het kind de verkeerde kast open doet, krijgt het ook geen ster.

TAGPO geeft de AI precies de juiste "sterren" (beloningen) voor elke stap die het zet. Het leert de AI: "Gebruik niet te veel gereedschap als het niet nodig is, en gebruik het juiste gereedschap op het juiste moment."

4. De Oefenplaats: Een Zandbak voor Trainingsdata

Een ander probleem is: waar haalt de AI de voorbeelden vandaan om te leren? Er zijn niet genoeg video's met perfecte instructies over hoe je gereedschappen moet gebruiken.

De onderzoekers hebben een virtuele zandbak (sandbox) gebouwd.

• Ze laten een andere, zeer slimme AI (een "leraar") duizenden video's bekijken en zelf de beste manier bedenken om de vragen te beantwoorden.
• Deze "leraar" schrijft dan een script op: "Eerst kijken, dan zoeken, dan zoomen, dan antwoorden."
• Dit script wordt gebruikt om de echte AI te trainen. Het is alsof je een leerling eerst een perfecte lesbrief geeft voordat je hem de toets laat maken.

Waarom is dit belangrijk?

Vroeger moesten AI-modellen de hele video in één keer "in hun hoofd" houden, wat leidde tot fouten en traagheid. Met VideoTIR kan de AI:

1. Efficiënter werken: Het kijkt alleen naar de delen van de video die echt belangrijk zijn.
2. Nauwkeuriger zijn: Het hallucineert minder omdat het feitelijke informatie opzoekt in plaats van te raden.
3. Langer video's aankunnen: Of het nu 5 minuten of 5 uur duurt, de AI weet hoe hij de informatie moet vinden.

Kortom: VideoTIR is als het geven van een slimme detective, een uitgebreide gereedschapskist en een strenge maar eerlijke trainer aan een computer. Hierdoor wordt de computer veel beter in het begrijpen van lange, complexe verhalen in video's, zonder dat hij de draad kwijtraakt.

Technische samenvatting

Probleemstelling

Bestaande Multimodale Large Language Models (MLLMs) kampen bij het begrijpen van lange video's (Long Video Understanding - LVU) vaak aan hallucinaties. Dit wordt voornamelijk veroorzaakt door een onbalans tussen tekstuele en visuele tokens. Om contextuele beperkingen te omzeilen, worden video's vaak gereduceerd tot een klein aantal frames, wat cruciale tijds-ruimtelijke informatie verliest.

Recente benaderingen proberen dit op te lossen door visuele data te parsen in beheersbare segmenten, maar bestaande methoden hebben tekortkomingen:

1. Non-TIR methoden: Selecteren frames voor de redenering, wat leidt tot een gebrek aan adaptieve verfijning tijdens het inferentieproces.
2. Bestaande Tool-Integrated Reasoning (TIR) methoden:
   • Externe tools: Zijn vaak zwaar, complex en gebonden aan vaste workflows, wat de generalisatie beperkt.
   • Interne tools (SFT/RL): MLLMs zijn vaak onvoldoende getraind op fijnmazige spatiotemporele annotaties. Dit leidt tot inefficiëntie, waarbij modellen tools herhaaldelijk en onnodig aanroepen (misbruik) of te gedetailleerde informatie ophalen wanneer grovere informatie volstaat (overgebruik).
3. Data-tekort: Er is een gebrek aan hoogwaardige, fijnmazige datasets voor het trainen van tool-gebruik, wat het "cold-start" probleem voor Reinforcement Learning (RL) verergert.

Methodologie: VideoTIR

VideoTIR is een nieuw framework dat Tool-Integrated Reasoning combineert met Reinforcement Learning (RL) om lange video's efficiënt en nauwkeurig te begrijpen. Het systeem werkt in een multi-turn cyclus: het model scant de video eerst op lage resolutie, en roept indien nodig specifieke tools aan om ontbrekende visuele aanwijzingen te halen.

1. Hiërarchische Interne Toolkits

In plaats van externe API's, gebruikt VideoTIR een interne toolkit die de eigen encoders van de MLLM benut. Deze toolkit is opgedeeld in twee lagen:

• Global Tools (Browsing Tool): Voor algemene vragen. Dit tool verhoogt de resolutie en het aantal frames per seconde (fps) progressief om een grootschalig beeld te krijgen.
• Local Tools (Temporal-Spatial Grounding): Voor specifieke vragen. Dit is een keten van tools die werkt van grof naar fijn:
  • Segment Retriever: Zoekt relevante videosegmenten op basis van tekstuele queries.
  • Frame Retriever: Haalt de belangrijkste frames uit een segment.
  • Zoom-in Retriever: Croupt specifieke gebieden binnen een frame voor detail.
• Textual Router: Een component die bepaalt welke tools er nodig zijn op basis van de vraag en de huidige context.

2. Toolkit Action Grouped Policy Optimization (TAGPO)

Om het probleem van tool-misbruik en overgebruik op te lossen, introduceren de auteurs een nieuwe RL-optimalisatie-algoritme: TAGPO.

• Stapsgewijze beloning: In tegenstelling tot traditionele GRPO (Grouped Policy Optimization) die alleen de uiteindelijke antwoordnauwkeurigheid beloont, geeft TAGPO beloningen op het niveau van elke individuele tool-call.
• Strategie:
  • Straf voor redundantie: Als een traject correct is maar onnodige extra tool-calls bevat, krijgen die extra calls een negatief voordeel (advantage).
  • Beloning voor exploratie: Als een traject faalt, krijgen exploratieve calls (die nieuwe tools proberen) een neutrale of positieve score om aanmoediging te geven.
  • Dit zorgt voor een efficiëntere zoektocht naar de juiste informatie zonder overbodige stappen.

3. Sandbox-gebaseerde Trajectie Synthese

Om het gebrek aan trainingsdata voor tool-gebruik op te lossen, ontwikkelen de auteurs een framework voor het synthetiseren van hoogwaardige trainingsdata:

• Een externe MLLM (bijv. GLM-4.5V) genereert vraag-antwoordparen en simuleert mogelijke tool-volgorde.
• Een sandbox simuleert de omgeving en genereert synthetische trajecten (intermediate prompts, tool calls, feedback).
• Deze data wordt gebruikt voor SFT (Supervised Fine-Tuning) om het model "cold-start" te laten starten met goede instructievolging en tool-gebruik voordat de RL-fase begint.

Belangrijkste Bijdragen

1. Multi-turn Multi-Tool Agent: Een framework dat lange video's begrijpt door dynamisch interne tools aan te roepen in een iteratieve cyclus.
2. TAGPO: Een innovatieve RL-algoritme die tool-gebruik optimaliseert door voordeel-schattingen te groeperen per tool-actie, wat leidt tot minder redundantie en snellere convergentie.
3. Trajectie Synthese Framework: Een open-source sandbox-omgeving om hoogwaardige trainingsdata te genereren voor tool-gebaseerde agents, wat de noodzaak van grote, hand-gemaakte datasets vermindert.

Resultaten

Het model is getest op drie benchmarks voor lange video's: MVBench, Video-MME, en LongVideoBench.

• Prestaties: VideoTIR (gebaseerd op Qwen2.5-VL-7B) overtreft de basis-modellen en andere state-of-the-art methoden, zelfs met minder input-frames en lagere resolutie.
  • Op Video-MME bereikt het een score van 67.2 (met TAGPO en hoge resolutie), wat een aanzienlijke verbetering is ten opzichte van de basis (63.1) en concurrenten zoals Video-MTR.
  • Het model presteert bijzonder goed op lange video's, waar andere methoden vaak falen door tijdsverlies bij downsampling.
• Efficiëntie:
  • TAGPO vs. GRPO: TAGPO versnelt het leren van geldige tool-calls aanzienlijk. De "valid tool reward" stijgt sneller, en het model heeft ongeveer 50% minder stappen nodig om een bepaalde prestatiedrempel te bereiken vergeleken met standaard GRPO.
  • Ablatie studies: Het gebruik van "Random-Noised SFT" voor de 3B-modellen bleek effectiever dan standaard SFT, wat de robuustheid van het framework onderstreept.
  • Router Analyse: De tekstuele router kiest correct de juiste toolketen: "Browsing" voor globale vragen en "Retriever" voor lokale, specifieke vragen.

Significantie

VideoTIR markeert een belangrijke stap in de evolutie van multimodale AI voor lange video's. Het lost het fundamentele probleem op van hallucinaties door de afhankelijkheid van statische frame-selectie te vervangen door een dynamisch, agentisch redeneerproces.

De innovatie ligt niet alleen in het gebruik van tools, maar vooral in hoe deze tools worden geleerd via RL. Met TAGPO wordt de inefficiëntie van "trial-and-error" in het vroege stadium van RL-aanpakken opgelost. Daarnaast maakt het synthetische data-framework het mogelijk om geavanceerde tool-gebruikstrategieën te trainen zonder de onmogelijke taak om enorme hoeveelheden menselijk gelabelde tool-trajecten te verzamelen. Dit maakt VideoTIR schaalbaar en toepasbaar voor een breed scala aan complexe visuele taken.