Incentivizing Vision Language Models to Search for Long Video Question Answering

tags.
2. Zoeken: Voert natuurlijke taalzoekopdrachten uit via <search> of <search subtitle> tools om kandidaat-clips op te halen.
3. Observeren: Ontvangt een beperkt budget aan frames (16 frames per beurt) van de opgehaalde clips.
4. Verfijnen: Bijwerkt zijn context op basis van opgehaalde bewijslast voordat het het definitieve antwoord formuleert.

Het systeem maakt gebruik van een duale indexeringsinfrastructuur:

• Semantische Visuele Index: Video's worden gesegmenteerd in clips van 8 seconden en ingebed met behulp van de ViCLIP-encoder.
• Ondertitelingsindex: Teksttranscripten worden gekoppeld aan exacte frame-vensters, waardoor de agent kan zoeken naar specifieke gesproken dialogen of benoemde entiteiten die visuele embeddings mogelijk missen.

2.2 VETL: Visueel Bewijs via Temporele Logica

Om het probleem van beloningsschaarsheid op te lossen, stellen de auteurs VETL voor, een neuro-symbolische pipeline die open eind natuurlijke taal overbrugt met discrete visuele verificatie.

• Specificatiegeneratie: Complexe gebruikersvragen worden gecompileerd naar formele Temporele Logica (TL) specificaties. Een LLM-generator stelt een TL-formule $\phi$ voor over een set atomaire visuele primitieven (bijv. "vrouw," "schenkt water in," "voegt aardbei toe"). Een judge-model verifieert deze specificatie op entiteitsdekking en temporele getrouwheid.
• Ontkoppeling van Semantiek en Tijd: De TL-specificatie ontkoppelt de visuele grondingsevenementen (primitieven) van hun temporele afhankelijkheden. Dit transformeert de langetermijnvraag naar een exacte checklist van vereiste visuele elementen.
• Dichte Beloningssignalen: Tijdens de RL post-training wordt de door de agent opgehaalde videocontext geëvalueerd tegen de TL-specificatie. Een deterministische visuele checker (gebruikmakend van ViCLIP) detecteert of specifieke primitieven aanwezig zijn in de opgehaalde frames. De beloning $R_{VETL}$ wordt berekend als het fractie van de vereiste primitieven die succesvol zijn geobserveerd over de gehele trajectorie. Dit biedt dichte, stapgewijze feedback, wat de agent stimuleert om specifieke bewijslast te verzamelen in plaats van alleen het uiteindelijke antwoord te raden.

2.3 Reinforcement Learning

Het framework maakt gebruik van Group Relative Policy Optimization (GRPO) voor post-training. De totale beloning is een gewogen combinatie van de nauwkeurigheid van het uiteindelijke antwoord (Exact Match, $R_{EM}$) en de VETL-bewijsbeloning ($R_{VETL}$):
$$R = \lambda_1 R_{EM} + \lambda_2 R_{VETL}$$
waarbij $\lambda_1=0.7$ en $\lambda_2=0.3$. Dit doel stimuleert het model om een zoekbeleid te leren dat context rigoureus verifieert voordat het antwoord geeft.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

1. VSeek Framework: Een agentisch systeem dat LVQA omzet in een actief, multi-turn ontdekkingsproces met behulp van natuurlijke taal als de primaire zoekinterface, waarbij de noodzaak voor rigide tijdstempelvoorspelling wordt omzeild.
2. VETL Pipeline: Een neuro-symbolische methode die open eind vragen omzet in verifieerbare temporele logica-specificaties, wat effectief "visuele unit tests" creëert voor contextconstructie.
3. Geverifieerde RL-beloningen: Een nieuw mechanisme voor beloningsvorming dat de trajectorie van een agent bij het verzamelen van bewijs scoort tegen geëxtraheerde visuele primitieven, wat controleerbare, stapgewijze feedback mogelijk maakt buiten alleen uitkomst-supervisie.
4. Empirische Validatie: Demonstratie dat het optimaliseren voor geverifieerde contextconstructie de prestaties van langetermijn-agentische redenering aanzienlijk verbetert.

4. Experimentele Resultaten

De auteurs evalueerden VSeek op meerdere in-domain (LongVideoBench, MLVU, Video-MME) en out-of-domain (LVBench, CGBench-mini) benchmarks.

• Prestatiewinst: Vergeleken met basismodellen (Qwen3-VL-4B-Thinking) lieten VSeek-varianten significante verbeteringen zien. Specifiek verbeterde VSeek-VETL de Pass@1-scores met tot wel 8% en de Pass@4-scores met 15% op benchmarks voor langdurige video-begrip.
• Effectiviteit van Beloningen: De introductie van VETL-beloningen bood een duidelijk voordeel ten opzichte van modellen die alleen getraind zijn met Exact Match-beloningen (VSeek-EM), met name op in-domain datasets waar bewijsdekking cruciaal is.
• Robuustheid van Lange Video's: Naarmate de videoduur toenam (bijv. >10 minuten), behielden VSeek-varianten een hogere redeneerstabiliteit vergeleken met baselines zoals VideoTree en Naive RAG. VSeek-VETL leerde specifiek om zeer specifieke zoekwoorden te produceren, waardoor generieke zoekopdrachten die vaak tot irrelevante clips leiden, werden vermeden.
• Efficiëntie: VSeek-varianten bereikten state-of-the-art prestaties terwijl ze aanzienlijk minder frames verwerkten (gemiddeld ongeveer 30–32 frames) vergeleken met het vaste budget van 64 frames van standaard VLMs en RAG-baselines.
• Algoritmische Robuustheid: De voordelen van geverifieerde beloningen waren consistent over de GRPO en RLOO algoritmen, hoewel degradatie werd waargenomen met GSPO.

5. Betekenis en Claims

Het artikel beweert dat de weg vooruit voor agentische lange-video QA moet spiegelen aan de doorbraken in LLM-redenering voor wiskunde en programmeren, waar vooruitgang wordt gecatalyseerd door verifieerbare beloningen.

• Verschuiving van Passief naar Actief: VSeek beweegt het veld weg van passieve, uniforme sampling naar actieve, iteratieve bewijszoeking, in het besef dat mensen niet vertrouwen op willekeurige frame-sampling voor lange documenten.
• Overbruggen van de Verificatiekloof: Door VETL te introduceren, claimen de auteurs de kritieke bottleneck bij het toepassen van RL op video te hebben opgelost: het gebrek aan een signaal om contextconstructie te verifiëren. Dit maakt het mogelijk om agents te trainen die worden gestimuleerd om het "juiste" visuele bewijs te vinden, niet alleen het "juiste" uiteindelijke antwoord.
• Fundament voor Toekomstige Agents: De auteurs positioneren VSeek en VETL als een fundamentele stap voor sterkere video-agents, waarbij zij suggereren dat expliciete optimalisatie voor geverifieerd bewijs-zoekgedrag essentieel is voor het schalen van langdurig video-begrip.

Het artikel concludeert dat hoewel er uitdagingen blijven bestaan (zoals sequentiële zoekbeperkingen en retriever-bottlenecks), de combinatie van agentische zoekopdrachten en neuro-symbolische verificatie een robuust pad biedt naar het oplossen van complexe, langdurige video-redeneringstaken.