Technische Samenvatting: VideoSEAL

Probleem: Misalignering van Bewijs in Agente Lang Videobegrip

Lang videobegrip (LVU) vormt een unieke uitdaging: relevant visueel bewijs is vaak schaars en temporair verspreid binnen sterk redundante inhoud. Waar huidige Multimodale Grootte Taalmodellen (MLLM's) uitblinken in redenering over korte video's, vereist hun uitbreiding naar lange video's iteratieve, agente interactie om tijdlijnen te navigeren en bewijs op te halen.

De auteurs identificeren een kritieke faalmodus in bestaande agente LVU-systemen, genaamd misalignering van bewijs. In dit regime produceren agenten correcte antwoorden die niet daadwerkelijk worden ondersteund door het opgehaalde of geïnspecteerde bewijs. Het artikel formaliseert dit als de toestand "correct maar ongegrond", waarbij een agent uitkomstcorrectheid bereikt ($C=1$) maar geen traceerbaar gronding mist ($G=0$). Dit fenomeen wordt aangedreven door twee systemische drukken:

1. Promptdruk (tijdens inferentie): Naarmate interactietraces langer en ruiziger worden, wordt de planner gestimuleerd om beslissend te zijn zonder betrouwbaar bewijs te lokaliseren. Dit verschuift het gedrag van "bewijs zoeken" naar "bewijs aanpassen", waarbij de agent vertrouwt op parametrische priors of plausibele sjablonen om onzekerheid op te lossen, wat leidt tot semantische hallucinaties.
2. Beloningsdruk (tijdens training): Standaard versterkend leren (RL) voor LVU maakt vaak gebruik van alleen uitkomstgerelateerde beloningen (correctheid van het uiteindelijke antwoord) vanwege het gebrek aan fijnmazige temporale grondingslabels. Dit moedigt agenten aan om rendement te maximaliseren via speculatieve voltooiing of shortcut-gedrag in plaats van rigoureuze bewijsverificatie, waardoor de kloof tussen nauwkeurigheid en gronding groter wordt.

De auteurs betogen dat de oorzaak van deze drukken het gekoppelde agentparadigma is, waarbij een enkel monolithisch model verantwoordelijk is voor zowel langetermijnplanning (zoeken) als antwoordgeneratie (autoriteit) binnen dezelfde gedeelde context.

Methodologie: Het Ontkoppelde Planner-Inspecteur Kader

Om misalignering van bewijs aan te pakken, stelt VideoSEAL een structureel remedie voor: ontkoppeling van langetermijnplanning van antwoordautoriteit. Het kader introduceert twee distincte entiteiten:

1. De Planner: Een taalmodelbeleid dat uitsluitend verantwoordelijk is voor bewijs zoeken. Het navigeert door de videotijdlijn, formuleert zoekopdrachten en haalt kandidaat-temporale spannen op met behulp van tools (offline indexering, ophalen en visuele inspectie). Cruciaal is dat de planner het uiteindelijke antwoord niet genereert; het onderhoudt een schaars, gestructureerd zoekgeheugen om contextverzadiging te voorkomen.
2. De Inspecteur: Een bevroren MLLM die exclusieve antwoordautoriteit bezit. Het ontvangt kandidaat-videobewijs dat door de planner wordt ingediend en voert verificatie op pixelniveau uit. De inspecteur geeft een binaire voldoende-verdict ($z_t \in \{0, 1\}$) af:
   • Als $z_t=1$, wordt het bewijs als voldoende beschouwd en genereert de inspecteur het uiteindelijke antwoord.
   • Als $z_t=0$, geeft de inspecteur een "MEER ZOEKEN"-signaal met feedback over ontbrekend bewijs, waardoor de planner gedwongen wordt om verder te zoeken.

Belangrijke Technische Componenten:

• Tool-interfaces: Het systeem maakt gebruik van VisualRetrieve (semantische zoekopdracht over vooraf berekende bijschriften/embeddings) en VisualInspect (verificatie op pixelniveau van specifieke spannen).
• Training: De planner wordt geoptimaliseerd met Group Relative Policy Optimization (GRPO) terwijl de inspecteur bevroren blijft. Het beloningsontwerp omvat een bewijs-gedoteerde terminale beloning die schaalt met de temporale overlap tussen opgehaalde spannen en grondwaarheid-bewijs, wat gronding stimuleert zonder volledige hertraining van de visuele backbone.
• Modulariteit: De architectuur ondersteunt "plug-and-play"-upgrades. De inspecteur kan tijdens inferentie worden vervangen door een sterkere MLLM om verificatie-trouw te verbeteren zonder de planner opnieuw te trainen.

Belangrijkste Bijdragen

1. Diagnostics voor Misalignering van Bewijs: Het artikel introduceert twee complementaire diagnostics om misalignering te kwantificeren:
   • Temporale Gronding ($G_t$): Meet of de agent relevante temporale regio's benadert (met behulp van temporale IoU).
   • Semantische Gronding ($G_s$): Gebruikt een LLM-rechter om te verifiëren of het uiteindelijke antwoord logisch wordt ondersteund door de tool-outputs in de trace.
     Deze diagnostics onthullen het regime "correct maar ongegrond" en kwantificeren de "temporale hallucinatiegraad" ($H_t$) en de "semantische hallucinatiegraad" ($H_s$).
2. Ontkoppelde Planner-Inspecteur Kader: Een nieuwe architectuur die bewijs zoeken scheidt van antwoordgeneratie. Door het uiteindelijke antwoord te laten afhangen van verificatie op pixelniveau, voorkomt het kader niet-ondersteunde antwoorden die worden aangedreven door niet-verifieerde tool-outputs.
3. Empirische Winsten en Schaling: Het kader toont consistente verbeteringen op vier benchmarks voor lange video's (MLVU, LongVideoBench, LVBench, VideoMME). Opvallend is dat het monotoon schaalt met grotere zoekbudgetten en sterkere inspecteurmodellen, terwijl gekoppelde baselines vaak verzadigen of verslechteren door contextverzadiging.

Resultaten

De auteurs evalueren VideoSEAL tegen proprietaire modellen, open-source MLLM's en bestaande agente kaders (zowel gekoppeld als ontkoppeld).

• Nauwkeurigheid: VideoSEAL behaalt 55,1% op LVBench en 62,0% op LongVideoBench, en presteert aanzienlijk beter dan gekoppelde baselines (bijvoorbeeld +20,5% op LVBench ten opzichte van de gekoppelde versie van dezelfde backbone).
• Gronding: Het kader reduceert hallucinaties aanzienlijk. Op LVBench bereikt het een semantische gronding ($G_s$) van 0,808 (vergeleken met ~0,25–0,47 voor baselines) en verlaagt het de semantische hallucinatie ($H_s$) tot 0,113.
• Schalings Eigenschappen:
  • Zoekschaling: Het verhogen van het zoekbudget ($K$) verbetert de prestaties voor VideoSEAL, terwijl gekoppelde agenten na een bepaald punt achteruitgaan door contextverzadiging.
  • Perceptieschaling: Het upgraden van de inspecteur van een 7B naar een 72B-model levert aanzienlijke nauwkeurigheidswinst op zonder de planner opnieuw te trainen, wat de modulariteit van de aanpak aantoont.
• Weigeringscapaciteit: De inspecteur onderscheidt effectief tussen voldoende en onvoldoende bewijs en weigert om antwoorden te geven (uitvoer $z=0$) op niet-doelclips aanzienlijk vaker dan op grondwaarheid-clips, waardoor gokken wordt verminderd.

Betekenis en Aanspraken

Het artikel beweert dat de primaire drijfveer van prestaties in agente lang-videovragen niet alleen grotere modellen of betere beloningsfuncties zijn, maar de architecturale scheiding van planning en antwoordautoriteit. Door deze rollen te ontkoppelen, mitigeert VideoSEAL de "promptdruk" en "beloningsdruk" die leiden tot misalignering van bewijs.

De auteurs positioneren dit werk als een paradigma-verschuiving: weg van het trainen van een enkel gekoppeld agent om te zoeken en te beslissen, naar een verifieerbaar, modulair systeem waar antwoordgeneratie strikt wordt geblokkeerd door visueel bewijs. Deze aanpak verbetert de interpreteerbaarheid (via zoektrajecten) en verifieerbaarheid, en biedt een structurele oplossing voor het probleem "correct maar ongegrond" dat huidige lange-video-agenten teistert. Het werk suggereert dat toekomstige verbeteringen in LVU meer kunnen afhangen van de trouw van inspectie op pixelniveau (perceptie) dan van de verfijning van linguïstische planning (redenering), mits de planningslogica gezond is.