Technische Samenvatting: LongVT

Probleemstelling

Grote Multimodale Modellen (LMMs) hebben potentieel getoond voor video-redenering met behulp van tekstuele Chain-of-Thought (CoT). Ze blijven echter kwetsbaar voor hallucinaties, vooral bij het verwerken van langdurige video's (>15 minuten) waar bewijsmateriaal schaars is en temporair verspreid. Bestaande benaderingen, die vaak vertrouwen op R1-achtige paradigma's (Supervised Fine-Tuning met tekstuele CoT gevolgd door Group Relative Policy Optimization), zijn grotendeels taalcentraal. Ze slagen er niet in om adaptief cruciaal visueel bewijsmateriaal vast te leggen, waardoor ze vaak fijne of beslissende momenten missen die essentieel zijn voor redenering. Bovendien lijden huidige benchmarks vaak aan data-contaminatie en antwoordbias, waardoor ze niet rigoureus testen of modellen het vermogen hebben om een "Video Segment-in-a-Haystack" te vinden, waarbij het antwoord ligt binnen een smalle, specifieke venster van urenlang beeldmateriaal.

Methodologie

Het artikel introduceert LongVT, een end-to-end agentisch framework dat ontworpen is om "Denken met Langdurige Video's" mogelijk te maken via Interleaved Multimodal Chain-of-Tool-Thought (iMCoTT).

Kernmechanisme: iMCoTT

Geïnspireerd door menselijke kijkgewoonten (globaal scannen gevolgd door gedetailleerde inspectie), staat LongVT LMMs toe om redenering op een natuurlijke manier te verweven met tijdsgebonden ophaalverzoeken op aanvraag. In plaats van tekst blindelings te herschrijven, voert het model de volgende stappen uit:

1. Globaal Scannen: Het model voert een ruwe voorvertoning van de video uit om een hypothese te formuleren over relevante tijdsvensters.
2. Tool-aanroep: Het roept een native crop_video(start_time, end_time)-tool aan om fijner opgesplitste frames te hersamplen uit het gehypotheceerde segment.
3. Verificatie en Zelfcorrectie: Het model analyseert het opgehaalde fragment. Als het bewijsmateriaal onvoldoende is of de lokalisatie onjuist, engageert het model zich in zelfreflectie, verfijnt het het tijdsvenster en roept de tool opnieuw aan. Deze lus gaat door totdat het antwoord is verankerd in opgehaald visueel bewijsmateriaal.

Data Suite: VideoSIAH

Om de schaarste aan fijnmazige QA-data voor redenering met langdurige video's aan te pakken, hebben de auteurs VideoSIAH samengesteld, een grote dataset bestaande uit:

• Trainingsdata: 247.9K samples voor cold-start Supervised Fine-Tuning (SFT) (inclusief tool-verrijkte traces), 1.6K samples voor Agentic Reinforcement Learning (RL) en 15.4K samples voor Agentic Reinforcement Fine-Tuning (RFT).
• Evaluatiebenchmark (VideoSIAH-Eval): 652 zorgvuldig samengestelde open-ended QA-paren met menselijke validatie in de loop, specifiek ontworpen om redenering met schaars bewijsmateriaal te testen in video's met een gemiddelde duur van ongeveer 1.688 seconden.

Drie-fasen Trainingsstrategie

1. Cold-Start SFT: Loopt de basis-LMM (Qwen2.5-VL-7B) leren om tijdsvensters voor te stellen, de crop-tool aan te roepen en multimodaal bewijsmateriaal samen te stellen. Deze fase is cruciaal om RL-collaps te voorkomen als gevolg van het aanvankelijke onvermogen van het model om vensters te lokaliseren of tool-outputs te integreren.
2. Agentic RL: Optimaliseert het model met behulp van een gezamenlijke beloningsfunctie voor antwoord en temporale verankering. In tegenstelling tot eerdere werken die antwoordcorrectheid of temporale uitlijning afzonderlijk belonen, koppelt deze beloningsfunctie de twee, en moedigt expliciet exploratieve rollouts aan die de temporale lokalisatie verbeteren terwijl de antwoordcorrectheid behouden blijft.
3. Agentic RFT: Distilleert hoogwaardige trajecten uit de RL-fase terug naar superviserende data. Dit stabiliseert de agentische gedragingen die tijdens RL zijn geleerd en consolideert fijne temporale lokalisatie en meerstapsredenering.

Belangrijkste Bijdragen

1. End-to-End Agentisch Paradigma: LongVT is het eerste framework dat multimodale, tool-verrijkte CoT op een natuurlijke manier verweeft met ophaalverzoeken voor clips op aanvraag voor video's van urenlang, waardoor LMMs actief, bewijszoekend redeneren in plaats van passieve frameconsumptie.
2. VideoSIAH Dataset en Benchmark: De bouw van een schaalbare data-pijplijn die diverse, hoogwaardige tool-geïntegreerde redeneertraces produceert en een specifieke evaluatiebenchmark die data-contaminatie en antwoordbias in bestaande benchmarks mitigeert.
3. Validatie van Trainingsstrategie: Het artikel valideert systematisch dat een drie-fasen pijplijn (SFT + RL + RFT) met een gezamenlijke beloningsfunctie consistente winst oplevert ten opzichte van alleen SFT of alleen RL, en een nieuwe state-of-the-art baseline vestigt voor redenering met langdurige video's.

Experimentele Resultaten

Geëvalueerd op vier benchmarks (VideoMME, VideoMMMU, LVBench en VideoSIAH-Eval) onder zowel schaarse (64 frames) als dichte (512/768 frames) bemonsteringsregimes:

• Prestaties: LongVT-7B-RFT bereikt state-of-the-art prestaties onder open-source, video-gerichte LMMs. Op de uitdagende VideoSIAH-Eval bereikt het een score van 42,0, waarmee het het op één na beste open-source model met 6 punten verslaat.
• Kloof Verkleinen: De beste LongVT-checkpoint verkleint de kloof met propriëtaire modellen (bijv. GPT-4o) tot gemiddeld ongeveer 4 punten.
• Efficiëntie: Ondanks multi-turn tool-interacties loopt LongVT geen extra inferentie-latentie op ten opzichte van single-turn baselines; in sommige gevallen is het sneller door het vermijden van hallucinatie-gedreven, omvangrijke generatie.
• Ablatiestudies: Resultaten bevestigen dat zelfsamengestelde iMCoTT-data cruciaal is voor SFT, dat de gezamenlijke beloningsfunctie beter presteert dan aparte beloningen, en dat de volledige drie-fasen pijplijn noodzakelijk is voor optimale prestaties.

Betekenis en Claims

Het artikel beweert dat LongVT het begrijpen van langdurige video's succesvol transformeert van een passieve taak naar een actief, bewijszoekend proces. Door elke redeneerstap te verankeren in opgehaald visueel bewijsmateriaal via native tool-aanroepen, mitigeert het framework hallucinaties aanzienlijk en verbetert het de temporale lokalisatie. De auteurs stellen dat dit paradigma "Denken met Langdurige Video's", dat menselijke cognitieve strategieën nabootst, een noodzakelijke evolutie is voor betrouwbare redenering over langdurige video's. Het werk vestigt dat open-source modellen robuuste, mens-gealigneerde redeneercapaciteiten kunnen bereiken door gestructureerde, tool-verrijkte training en hoogwaardige, fijnmazige data, zonder afhankelijk te zijn van externe retrievers of aanvullende expertmodellen.