Technische Samenvatting: VideoSearcher

Probleemdefinitie

Videoverstaan heeft traditioneel opereerd onder een closed-evidence paradigma, waarbij modellen ervan uitgaan dat alle noodzakelijke informatie binnen de invoervideoframes aanwezig is. Hoewel dit effectief is voor spatio-temporele perceptie, is deze aanpak ontoereikend voor real-world scenario's waarin video's vaak slechts visuele ankers bieden (bijv. een logo, een persoon of een landmerk), terwijl het uiteindelijke antwoord het ophalen van externe kennis uit open-webbronnen vereist.

Deze kloof definieert de opkomende taak van Video Deep Research (VDR). VDR vereist dat agenten:

1. Relevante momenten en fijnmazige visuele details lokaliseren over evoluerende temporele dynamiek heen.
2. Deze visuele aanwijzingen gronden om multimodale queries te construeren.
3. Bewijs ophalen uit open-webbronnen (tekst, afbeeldingen, nieuws).
4. Antwoorden synthetiseren door video-gegronde bewijslast te integreren met externe kennis.

Bestaande multimodale zoekagenten zijn primair ontworig voor statische afbeeldingen of vertrouwen op tekstgecentreerde retrieval die cruciale visuele informatie tijdens het zoekproces verwerpt. Bovendien ontbreken in huidige VDR-benchmarks een rigoureuze evaluatie van open-world video-informatie gronding en multimodal search-gebaseerde redenering.

Methodologie: VideoSearcher

Om deze beperkingen aan te pakken, stellen de auteurs VideoSearcher voor, een closed-loop agentic framework dat Vision-Language Models (VLMs) voorziet van multi-tool redenering voor VDR.

1. Agentic Framework en Toolset

VideoSearcher verenigt temporele lokalisatie, ruimtelijke focus en multimodale zoekopdrachten binnen één enkele redeneertraject. De agent werkt met vijf specifieke tools:

• choose_frames: Selecteert een grove temporele interval.
• find_frame: Lokaliseert een specifieke key frame.
• zoom_in: Inspecteert een specifiek gebied (bounding box) binnen een frame.
• web_search: Haalt tekstuele web-bewijslast op.
• image_search: Voert visuele retrieval uit met behulp van een frame of bijgesneden regio.

De agent verkleint iteratief de video-tijdlijn, focust op informatieve regio's, haalt multimodale bewijslast op en synthetiseert het uiteindelijke antwoord.

2. Data Constructie Pipeline

De auteurs hebben een video-centrische datasynthese-pipeline geconstrueerd om hoogwaardige trainingsdata te genereren:

• Entity-driven Acquisition: Kernvisuele entiteiten worden geëxtraheerd uit kennisintensieve beeld-tekst QA-datasets (bijv. FVQA, DeepEyes) en kruislings gevalideerd met grote modellen (Qwen3.5, Kimi-K2.5) om betrouwbaarheid te garanderen. Deze entiteiten dienen als doelwitten om relevante video's op te halen.
• Normalisatie & Alignment: Video's worden hersampled naar 1 FPS met frame-markers. Oorspronkelijke QA-paren worden herschreven om aan te sluiten bij de videocontext.
• Hard Sample Mining: Samples waar baseline-modellen consistent falen, worden behouden om de nadruk te leggen op temporele lokalisatie en externe bewijslastverwerving.
• Trajectory Synthesis: Multi-tool redeneertrajecten worden gesynthetiseerd via een hiërarchische aanpak, gevolgd door rigoureuze filtering om hallucinaties, gebroken redeneerketens en ongeldige tool-aanroepen te verwijderen.

3. Bi-branch Sequence Policy Optimization (BiSPO)

Om long-horizon redeneertrajecten te optimaliseren, introduceren de auteurs BiSPO, een reinforcement learning (RL) algoritme gebouwd op GSPO.

• Gedecoupleerde Optimalisatie: BiSPO scheidt de optimalisatie van antwoordnauwkeurigheid van tool-aanroepgedrag. Dit voorkomt dat het model leert om antwoorden correct te raden terwijl het tools inefficiënt gebruikt, of vice versa.
• Dual Reward Branches:
  • Accuracy Branch: Evalueert de correctheid van het antwoord, format compliance en tool-afhankelijkheidsrestricties.
  • Tool Behavior Branch: Alleen actief voor trajecten met correcte antwoorden. Het maakt gebruik van een klokvormige gated reward die voldoende video-observatie en externe retrieval aanmoedigt, terwijl overbodige of redundante tool-aanroepen worden bestraft.
• Sequence-Level Clipping: Om de instabiliteit van token-level clipping in lange trajecten aan te pakken, past BiSPO sequence-level importance sampling en clipping toe.

4. Benchmark: VideoSearch-QA (VSQA)

De auteurs introduceren VideoSearch-QA, de eerste benchmark die specif으로 is ontworpen om open-world video-informatie gronding en multimodal search-gebaseerde redenering te evalueren. Het dekt diverse domeinen (landmerken, geografie, cultuur, sport) en vereist dat agenten visuele informatie in dynamische video's vastleggen om open-web zoekopdrachten en bewijs-gebaseerde redenering uit te voeren.

Belangrijkste Bijdragen

1. VideoSearcher Framework: De eerste closed-loop agent die temporele lokalisatie, ruimtelijke focus en multimodale zoekopdrachten integreert voor dynamische video's.
2. BiSPO Algoritme: Een dual-branch RL-algoritme dat antwoordnauwkeurigheid ontkoppelt van tool-aanroep, wat stabiele leersignalen biedt voor kennisintensieve redenering.
3. VideoSearch-QA Benchmark: Een handmatig geannoteerde benchmark (278 samples) voor het evalueren van VDR-agenten in open-world scenario's.
4. Data Pipeline: Een rigoureuze pipeline voor het synthetiseren van hoogwaardige, multi-tool redeneertrajecten vanuit bestaande beeld-tekst QA-datasets.

Experimentele Resultaten

Uitgebreide experimenten zijn uitgevoerd op VideoDR, VideoSearch-QA en diverse multimodale zoek- en video-begripsbenchmarks.

• Search-Oriented Benchmarks: VideoSearcher presteert significant beter dan eerdere open-source agentic baselines (inclusief Qwen3-VL, Webwatcher, MMSearch-R1) en benadert de prestaties van proprietary modellen (GPT-4o, Gemini-3-Pro) op VideoDR en VSQA. Opvallend genoeg generaliseert het goed naar algemene multimodale zoekbenchmarks (MMSearch, HR-MMSearch), ondanks dat het primair getraind is op video-gebaseerde data.
• Algemeen Videoverstand: Op benchmarks zoals MMVU, TempCompass en VideoMMMU behoudt VideoSearcher concurrerende redeneerkracht, wat aantoont dat de agentic training de algemene video-begripscapaciteiten niet degradeert.
• Ablatie-studies:
  • RL Design: BiSPO met de volledige klokvormige tool-reward presteert beter dan single-branch varianten (GRPO, GSPO) en monotone tool-rewards, wat de noodzaak van gedecoupleerde optimalisatie en het klokvormige reward-ontwerp bevestigt.
  • Tool Noodzakelijkheid: Het verwijderen van ofwel lokalisatie-tools of zoektools leidt tot significante prestatiedalingen, wat bewijst dat visuele gronding en externe retrieval complementair en essentieel zijn voor VDR.

Betekenis en Claims

Het artikel claimt dat VideoSearcher een paradigmaverschuiving vertegenwoordigt van closed-context perceptie naar open-world evidence exploration in video-begrip. Door VDR te formaliseren en de eerste toegewijde benchmark en agentic framework te leveren, pakt dit werk de kritieke bottleneck aan bij het inzetten van VLMs in real-world applicaties waarbij video's dienen als toegangspunten voor het ophalen en verifiëren van informatie in expansieve webomgevingen.

De auteurs positioneren VideoSearcher als een stap naar robuust videoverstand dat zowel globale contextmodellering als fijnmazige spatio-temporele perceptie vereist, waardoor agenten stapsgewijs visuele aanwijzingen kunnen gronden, relevante bewijslast kunnen ophalen en antwoorden kunnen synthetiseren in complexe, open-world scenario's.

Beperkingen

De auteurs erkennen verschillende beperkingen:

• Afhankelijkheid van Externe Tools: De kwaliteit van het antwoord hangt af van de latentie, dekking en stabiliteit van de image/web search API's.
• Computationele Kosten: Online RL met multi-turn toolgebruik is computationeel duur vanwege lange contexten en herhaalde rollouts.
• Scope: De huidige focus ligt op zoek-georiënteerde visuele/video QA. Het dekt mogelijk niet volledig taken die dichte temporele lokalisatie, audio-begrip, embodied interactie of gespecialiseerde domeinkennis vereisen, vooral gezien de 1-fps frame representatie die in de training wordt gebruikt.
• Evaluatie: Open-ended evaluatie vertrouwt op LLM judges, wat ruis kan introduceren bij ambigue antwoorden.