Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors

Technische Samenvatting: Efficiënte frameselectie voor lange video's tijdens de testfase met aandacht-gebaseerde MLLM-selectors

Probleemstelling

Multimodale Large Language Models (MLLM's) hebben significante vooruitgang getoond in video-begrip, maar zij worden geconfronteerd met een kritieke bottleneck bij het verwerken van lange video's: de enorme hoeveelheid frames overschrijdt de beperkte contextvensters en visuele token-budgetten van huidige architecturen. Het coderen van elk frame is computationeel onhaalbaar. Bijgevolg reduceert de taak tot het selecteren van een compacte set informatieve frames die query-relevante visuele bewijslast ophalen.

Bestaande benaderingen worstelen met het balanceren van semantische diepte en computationele kosten:

• Uniforme bemonstering (Uniform Sampling): Goedkoop maar "inhoudsblind", waardoor cruciale, schaarse gebeurtenissen vaak gemist worden.
• CLIP-gebaseerde methoden: Score frames onafhankelijk op basis van de gelijkenis tussen query en frame, maar missen cross-frame context en sterke query-conditionering.
• MLLM-gebaseerde autoregressieve selectors: Bieden diep semantisch redeneren, maar vereisen extra training en introduceren een niet-verwaarloosbare latentie door autoregressieve generatie, wat de schaalbaarheid beperkt.

De kernuitdaging is het identificeren van de juiste frames zonder eerst te vereisen dat het model de volledige video begrijpt (een circulaire afhankelijkheid), terwijl een lichtgewicht, training-vrij inferentieproces behouden blijft.

Methodologie: DAFS (Dynamic Attention-based Budget-aware Frame Selection)

De auteurs stellen DAFS voor, een training-vrij framework dat gebruikmaakt van een empirische observatie: cross-modale aandacht in MLLM's op specifieke, gevalideerde lagen concentreert zich al op query-relevante visuele tokens voordat de autoregressieve generatie begint.

1. Aandacht-gebaseerde relevantiescoring
In plaats van een nieuwe selector te trainen of autoregressieve generatie te gebruiken, hergebruikt DAFS de cross-modale aandacht van een kleine, kant-en-klare MLLM (bijv. een model met 2B parameters).

• Laalselectie: Door middel van empirische analyse identificeren de auteurs dat intermediaire lagen (bijv. Laag 12 in InternVL3.5-2B) de sterkste frame-niveau lokalisatiesignalen bieden voordat diepere fusie visuele details vertroebelt.
• Query-geconditioneerde aggregatie: De methode extraheert tekst-naar-visie aandachtsgewichten uit een geselecteerde laag $\ell^*$. Om de kernintentie van de prompt te focussen, definiëren zij een set "belangrijke tokens" (bijv. antwoordopties voor meerkeuzevragen, entiteit-centrische tokens voor open vragen).
• Scoring: Het past max-pooling toe over de aandachtsscores van deze belangrijke tokens om een frame-niveau salientiescore ($\phi_j$) te genereren. Dit stelt een kleine selector in staat om frames te rangschikken voor een sterker "antwoordend" model zonder autoregressieve decodering.

2. Budget-bewuste bemonstering en tokencompressie
Om de eigen contextbeperkingen van de selector aan te pakken, hanteert het framework twee mechanismen:

• Sparse Temporele Bemonstering: Frames worden geëxtraheerd op een basis frequentie (bijv. 1 FPS) en uniform gesubsampleerd op basis van de videoduur.
• Spatiële Tokencompressie: Elk gesamplede frame wordt gecomprimeerd tot een vast aantal visuele tokens ($P$) via non-overlapping average pooling om binnen een globaal visueel tokenbudget ($B$) te passen.

3. Dynamisch Programmeren voor Beleidskalibratie
De allocatie van de kandidaat-pool grootte ($F$) en het aantal tokens per frame ($P$) wordt geformuleerd als een discreet optimalisatieprobleem.

• Doelstelling: Maximaliseer de QA-nauwkeurigheid op een kalibratieset.
• Restricties: Handhaaf een hard tokenbudget ($F \cdot P \le B$), een niet-afnemende temporele resolutie voor langere video's, en een niet-toenemende spatiële resolutie.
• Oplossing: Een Dynamic Programming (DP) algoritme lost de optimale beleidssequentie $(F(d), P(d))$ op over video-duur $d$. Tijdens de inferentie wordt dit beleid in $O(1)$ tijd opgehaald.
• Cruciaal onderscheid: De tokencompressie wordt alleen toegepast op de input van de selector. De uiteindelijke top-$K$ frames die geselecteerd zijn voor de backbone answerer worden gevoed in hun oorspronkelijke, ongecomprimeerde resolutie, wat garandeert dat de kwaliteit van de input voor de answerer niet degradeert.

Belangrijkste Bijdragen

1. Lichtgewicht Sparse Selectie Framework: Een training-vrije selector die cross-modale aandacht van een kleine MLLM gebruikt om query-gestuurde frame-vergelijking uit te voeren, waardoor de noodzaak voor autoregressieve generatie of modelher-training wordt geëlimineerd.
2. Budgeted Dynamic Programming: Een nieuwe formulering die zowel de omvang van de kandidaat-framepool als de visuele tokenallocatie per frame gezamenlijk optimaliseert onder strikte contextrestricties, waarbij een balans wordt gevonden tussen temporele dekking en spatiële detail.
3. Generalisatie en Efficiëntie: Uitgebreide experimenten tonen aan dat de aanpak uniforme bemonstering, heuristische keyframe-extractie en eerdere training-gebaseerde selectors overtreft op diverse backbones en taken zonder hertraining.

Experimentele Resultaten

Geëvalueerd op Video-MME, LongVideoBench (LVB), en MLVU onder een strikt budget van 32 frames:

• Prestatiewinst: DAFS verbetert ten opzichte van uniforme bemonstering met tot wel 6,4 punten op Video-MME (met Qwen3-VL-2B als selector) en presteert significant beter dan eerdere training-gebaseerde selectors (bijv. ViaRL, K-Frames) onder gelijke budgetten.
• Temporele Gronding: Op de MLVU Needle-QA taak, die de retrieval van precieze bewijssegmenten test, behaalt DAFS substantiële winsten (bijv. +14,4 punten op N-QA met 8 frames) vergeleken met uniforme bemonstering en andere methoden.
• Cross-Model Generalisatie: De selector vertaalt zich effectief naar verschillende answerer backbones (LLaVA-Video, InternVL3.5, Qwen2.5-VL) en taakformaten (open-ended QA), en verbetert de prestaties consistent zonder hertraining.
• Efficiëntie: De selectiestap is aanzienlijk sneller (0,47s) en geheugenefficiënter dan training-gebaseerde autoregressieve selectors (8,00s), wat resulteert in een lagere end-to-end latentie terwijl een hogere nauwkeurigheid wordt bereikt.

Betekenis en Claims

Het artikel claimt dat DAFS de circulaire afhankelijkheid van "de video moeten begrijpen om frames te selecteren" oplost door gebruik te maken van de inherente retrieval-signalen die aanwezig zijn in de cross-modale aandacht van MLLM's. Door de selectiefase te ontkoppelen van de antwoordgeneratiefase en een lichtgewicht, aandacht-gebaseerd scoringmechanisme te gebruiken, bereikt de methode state-of-the-art prestaties voor langdurig video-begrip, terwijl zij computationeel efficiënt en training-vrij blijft. De auteurs benadrukken dat deze aanpak bestaande MLLM's effectiever maakt in het verwerken van lange video's door de inputconstructie tijdens de testfase te optimaliseren, in plaats van architecturale wijzigingen of uitgebreide hertraining te vereisen.