Video Active Perception: Effective Inference-Time Long-Form Video Understanding with Vision-Language Models

Technische Samenvatting: Video Actieve Perceptie (VAP)

Probleemstelling
Grote Visueel-Taalmodellen (VLM's) hebben multimodale taken zoals het beantwoorden van vragen over video's (QA) vooruit helpen, maar ze staan voor aanzienlijke hindernissen wanneer ze worden toegepast op video's met lange duur. De auteurs identificeren twee primaire uitdagingen:

1. Frame-effectiviteit: Standaard inferentie vertrouwt vaak op uniforme bemonstering (bijvoorbeeld 1 frame per seconde). Deze aanpak is suboptimaal omdat deze alle videoregio's gelijk behandelt, wat kan leiden tot het selecteren van irrelevante frames terwijl informatierijke, taakrelevante segmenten worden gemist. Empirische resultaten tonen aan dat de prestaties vaak verzadigen of zelfs verslechteren naarmate het aantal uniform gebemonsterde frames toeneemt.
2. Frame-efficiëntie: Het verwerken van lange video's genereert een verbodsfrequent aantal tokens (bijna vier miljoen voor één uur), wat de praktische inzet van VLM's in real-world scenario's zoals autonoom rijden of patiëntenbewaking belemmert.

Bestaande oplossingen vertrouwen vaak op iteratieve agent-gebaseerde redenering, video-beschrijvingen of complexe datastructuren (zoals grafen of bomen), wat hoge latentie introduceert, afhankelijk is van de kwaliteit van tussentijdse beschrijvingsmodellen, of uitgebreide rekenkracht vereist.

Methodologie: Video Actieve Perceptie (VAP)
Het artikel introduceert Video Actieve Perceptie (VAP), een trainingsvrije methode op inferentietijd die is ontworpen om zowel de effectiviteit als de efficiëntie van frame-selectie voor video's met lange duur te verbeteren. Geïnspireerd door theorie van actieve perceptie — die stelt dat intelligente agenten gegevens verwerven die afwijken van hun verwachtingen om informatiewinst te maximaliseren — herformuleert VAP de selectie van sleutelframes als een gegevensverzamelingsproces dat wordt geleid door vooraf bestaande wereldkennis.

De methode werkt in drie hoofdfasen zonder fine-tuning van het VLM:

1. Generatie van a priori wereldkennis:

   • VAP maakt gebruik van een lichtgewicht, vooraf getraind tekst-geconditioneerd video-generatiemodel (specifiek CogVideoX) om voorafgaande visuele kennis te representeren.
   • Het systeem neemt een kleine subset van uniform gebemonsterde initiële frames (bijvoorbeeld 32 frames), samen met de vraag van de gebruiker en mogelijke antwoorden, als conditionele signalen.
   • Met behulp van een 3D Causale VAE en een frame-interpolatiemodule (RIFE) genereert het model latente representaties van de hele videodynamiek, waarbij het voorspelt hoe de video naar verwachting zal verlopen op basis van de initiële context en de query.

2. Gegevensverzameling (Frame-selectie):

   • Het systeem encodeert alle werkelijke videoframes in dezelfde latente ruimte met behulp van dezelfde 3D VAE-encoder.
   • Vervolgens vergelijkt het de latente representaties van de echte frames met de gegenereerde (verwachte) frames.
   • De selectie is gebaseerd op divergentie: frames waarbij de echte videodynamiek het sterkst afwijkt van de voorspellingen van het generatiemodel, worden als "verrassend" beschouwd en zijn dus het meest informatief.
   • De methode selecteert de $n$ frames (bijvoorbeeld 32) met de laagste cosinus-ähnelijkheid met hun gegenereerde tegenhangers.

3. VLM-inferentie:

   • De geselecteerde sleutelframes worden samen met de vraag en antwoorden ingevoerd in een toonaangevend VLM (bijvoorbeeld GPT-4o, Gemini 1.5 Pro, LLaVA-OV) om de uiteindelijke inferentie uit te voeren.
   • Dit proces is onafhankelijk van het specifieke gebruikte VLM en werkt in één ronde van selectie, waardoor iteratieve lussen worden vermeden.

Belangrijkste Bijdragen

• Trainingsvrij Kader: VAP vereist geen fine-tuning van grote VLM's, waardoor het direct toepasbaar is op bestaande modellen.
• Nieuwe Selectiemechanisme: In tegenstelling tot eerdere methoden die vertrouwen op beschrijvingen of iteratieve agenten, maakt VAP gebruik van een generatief model om een "prior" te creëren en selecteert frames op basis van het verschil tussen verwachting en werkelijkheid.
• Gefuseerde Aanpak: Het vereenvoudigt het selectieproces tot één ronde van vergelijking, waardoor de noodzaak voor complexe datastructuren of meerdere LLM-aanroepen wordt geëlimineerd.
• Efficiëntie: Het verlaagt drastisch het aantal tokens dat voor inferentie nodig is door alleen de meest relevante frames te selecteren.

Experimentele Resultaten
De auteurs hebben VAP geëvalueerd op vijf benchmarkdatasets: EgoSchema, NExT-QA, ActivityNet-QA, IntentQA en CLEVRER.

• Prestaties: VAP behaalde state-of-the-art zero-shot resultaten op alle datasets. Bijvoorbeeld, het behaalde 68,1% op EgoSchema, 81,4% op NExT-QA en 40,5% op CLEVRER.
• Redeneervermogens: VAP toonde superieure prestaties op taken die temporeel en causaal redeneren vereisen (bijvoorbeeld verklarende en contrafactische vragen in CLEVRER), en presteerde beter dan baselines zoals VideoTree en VideoAgent.
• Efficiëntiewinsten:
  • VAP behaalde deze resultaten met aanzienlijk minder frames dan standaard baselines. Bijvoorbeeld, op EgoSchema gebruikte het 32 frames in vergelijking met de standaard 180 frames (1 fps), wat resulteerde in een 5,6× verbetering in frame-efficiëntie.
  • Bij latentievergelijkingen (iso-compute en iso-accuracy) behaalde VAP betere of vergelijkbare nauwkeurigheid met lagere latentie dan standaard GPT-4o mini-bemonstering.
• Robuustheid: Experimenten toonden aan dat de methode robuust is voor de specifieke set initiële frames die voor generatie worden gebruikt, en dat het verhogen van het aantal geselecteerde frames boven de 32 uitdijende opbrengsten oplevert.

Betekenis en Claims
Het artikel claimt dat VAP de empirische effectiviteit aantoont van het benutten van principes van actieve perceptie om het begrijpen van video's met lange duur te verbeteren. Door een generatief model te gebruiken om voorafgaande wereldkennis te coderen en frames te selecteren die afwijken van deze verwachtingen, identificeert de methode succesvol cruciale momenten (zoals botsingen of specifieke acties) die essentieel zijn voor het beantwoorden van complexe vragen.

De auteurs benadrukken dat deze aanpak een intelligentere gegevensverzamelingsstrategie biedt voor VLM-inferentie, waarbij hoge prestaties in evenwicht worden gebracht met rekenkundige efficiëntie. Zij concluderen dat het integreren van voorafgaande kennis uit diffusiemodellen een levensvatbaar pad is om de frame-effectiviteit en -efficiëntie van video-QA met lange duur te verbeteren, met name voor redeneringsintensieve taken. Het werk suggereert dat toekomstige vooruitgang in video-generatiemodellen VLM's verder zou kunnen versterken met sterkere spatio-temporele redeneervermogens over zeer lange video's.