Divide, then Ground: Adapting Frame Selection to Query Types for Long-Form Video Understanding

1. Het Probleem

De toepassing van Large Multimodal Models (LMM's) op het begrijpen van lange video's wordt beperkt door twee hoofdproblemen:

• Beperkte contextlengte: LLM's kunnen niet alle frames van een lange video verwerken vanwege hun beperkte token-limiet.
• Rekenkosten: Het verwerken van dichte video-tokens (alle frames) is computationeel onhaalbaar.

Huidige oplossingen gebruiken vaak uniforme sampling (het selecteren van frames op vaste intervallen). Dit is echter "query-agnostisch": het selecteert vaak redundante frames en slaat cruciale momenten over die nodig zijn voor een specifiek antwoord.

Recente onderzoeken hebben geprobeerd query-bewuste frame-selectie in te voeren (waarbij frames dynamisch worden geselecteerd op basis van de vraag). Echter, deze methoden brengen aanzienlijke rekenkosten met zich mee voor het doorzoeken van de video. Het paper stelt de fundamentele vraag: Is deze complexe zoekmechaniek voor alle soorten vragen wel nodig?

2. Methodologie: DIG (Divide, then Ground)

De auteurs introduceren DIG, een trainingsvrij framework dat de strategie voor frame-selectie dynamisch aanpast op basis van het type vraag. De kern van de methode is de onderverdeling van vragen in twee categorieën:

A. Query Typologie

De auteurs identificeren twee soorten vragen:

1. Global Queries (GQ): Vragen die een holistisch begrip van de hele video vereisen (bijv. "Wat is het onderwerp van deze video?").
   • Observatie: Uniforme sampling werkt hier uitstekend en efficiënt.
2. Localized Queries (LQ): Vragen die gericht zijn op specifieke tijdssegmenten of gebeurtenissen (bijv. "Hoe loopt de cartoon-spons?").
   • Observatie: Uniforme sampling faalt hier vaak, vooral bij hoge frame-aantallen, omdat irrelevante frames ruis toevoegen. Hier is een gerichte selectie essentieel.

B. Het DIG Framework

DIG werkt in de volgende stappen:

1. Query Classificatie: Een LLM (Large Language Model) analyseert de gebruikersvraag en classificeert deze automatisch als Global of Localized.
2. Adaptieve Strategie:
   • Voor Global Queries: Het systeem gebruikt standaard uniforme sampling over de hele video. Dit maximaliseert de efficiëntie.
   • Voor Localized Queries: Het systeem activeert een gespecialiseerde, multi-staps pipeline:
     • Content-Adaptive Frame Selection (CAFS): In plaats van statisch te samplen, worden frames geselecteerd op basis van semantische veranderingen. Het gebruikt DINOv2-features om frame-tussenafstanden te berekenen. Pieken in deze afstand (die scène-overgangen aangeven) worden gebruikt om representatieve "r-frames" te selecteren (het middenpunt van stabiele segmenten).
     • Reward Assignment: De LMM zelf beoordeelt deze r-frames en geeft een "rewardscore" (0-100) op basis van hoe relevant het frame is voor de vraag en of het suggereert dat aangrenzende frames nuttige context bevatten.
     • Video Refinement: Op basis van deze scores worden de meest relevante video-segmenten geïdentificeerd en samengevoegd tot een "verfijnde video".
     • Final Sampling: Uit deze verfijnde video worden uniform frames gehaald voor de uiteindelijke inferentie door de LMM.

3. Belangrijkste Bijdragen

• Inzicht in Query Typologie: Het paper bewijst dat de effectiviteit van frame-selectie sterk afhankelijk is van het vraagtype. Uniforme sampling is voldoende voor globale vragen, terwijl gerichte selectie noodzakelijk is voor lokale vragen.
• DIG Framework: Een trainingsvrije oplossing die de rekenkosten minimaliseert door alleen de zware zoekpipeline toe te passen wanneer deze echt nodig is (bij lokale vragen).
• Schaalbaarheid: Het framework presteert robuust bij het schalen van het input-frame-aantal tot 256 frames, waarbij het de prestaties van de LMM verbetert zonder dat de nauwkeurigheid daalt (een veelvoorkomend probleem bij bestaande methoden).

4. Resultaten

De methode is getest op drie benchmarks voor lange video's: MLVU, LongVideoBench en VideoMME, met verschillende LMM's (zoals Qwen2.5-VL en InternVL).

• Prestatieverbetering: DIG overtreft consistent bestaande baselines (zoals uniforme sampling, AKS en Q-Frame). Bijvoorbeeld, met 32 frames op MLVU steeg de nauwkeurigheid van Qwen2.5-VL-7B met 7,68% ten opzichte van uniforme sampling.
• Robuustheid bij schaling: Terwijl andere methoden (zoals AKS en Q-Frame) vaak prestatieverlies vertonen bij hoge frame-aantallen (bijv. 128 of 256 frames), blijft DIG stabiel of verbetert het zelfs.
• Efficiëntie: Door alleen de zware pipeline te gebruiken voor lokale vragen (die ongeveer 80% van de vragen uitmaken in sommige datasets), wordt er aanzienlijke rekentijd bespaard ten opzichte van methoden die altijd een zoekmechanisme gebruiken.
• Analyse: Experimenten tonen aan dat LMM's intrinsiek goed zijn in het oplossen van visuele taken, mits de juiste context (relevante frames) wordt geleverd. Het falen van uniforme sampling bij lokale vragen komt door de toevoeging van ruis, niet door een tekortkoming in het redeneervermogen van het model.

5. Betekenis en Impact

Dit paper biedt een paradigmaverschuiving in het onderzoek naar video-LLM's:

• Efficiëntie door Differentiatie: Het weerlegt het idee dat complexe zoekmechanismen altijd nodig zijn. Door te "verdelen" (classificeren) en dan te "gronden" (selecteren), wordt een optimale balans gevonden tussen snelheid en nauwkeurigheid.
• Praktische Toepasbaarheid: Omdat DIG trainingsvrij is en plug-and-play werkt met bestaande LMM's, is het direct toepasbaar in real-world applicaties waar lange video's moeten worden geanalyseerd.
• Toekomstige Richting: Het onderstreept het belang van het begrijpen van de aard van de query bij het ontwerpen van multimodale systemen, in plaats van alleen te focussen op het comprimeren van tokens.

Kortom, DIG lost het dilemma op tussen rekenkosten en nauwkeurigheid door slim te kiezen wanneer en hoe frames worden geselecteerd, gebaseerd op wat de gebruiker precies vraagt.