💻 computer science

Evidence-Driven Dynamic Visual Selector for Efficient Long Video Understanding

EviSelect is een fijnmazig dynamisch visueel selectiekader dat de interne aandachtsevidentie van een doel-MLLM via ijle prefilling benut om een geoptimaliseerde stochastische beleidsregel te sturen, wat adaptieve spatiotemporele sampling mogelijk maakt die de computationele kosten aanzienlijk vermindert en het begrip van lange video's versnelt terwijl een superieure prestatie behouden blijft.

Oorspronkelijke auteurs: Bo Zhang, Wenxin Wang, Feng Chen, Zhihao Zhang, Zixuan Wang, Changsheng Li, Yinjie Lei

Gepubliceerd 2026-08-07

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bo Zhang, Wenxin Wang, Feng Chen, Zhihao Zhang, Zixuan Wang, Changsheng Li, Yinjie Lei

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren hoe hij een film moet bekijken en vragen erover moet beantwoorden. Deze robot, bekend als een Multimodal Large Language Model (of MLLM voor kort), is ongelooflijk getalenteerd in het begrijpen van plaatjes en woorden. Maar er is een addertje onder het gras: films zijn lang, en robots hebben een beperkt "kortetermijngeheugen". Als je de robot een hele tweestuursfilm frame voor frame voert, raakt hij overweldigd, vergeet hij de belangrijke delen en verspilt hij een enorme hoeveelheid energie aan het verwerken van saaie, repetitieve scènes zoals een trage pan over een statische muur. Om dit op te lossen, hebben wetenschappers geprobeerd de robot een betere editor te leren: de meest belangrijke momenten uit te kiezen om naar te kijken. Maar de oude manier van editen was als het gebruik van een rigide, vooraf geschreven script: het vertrouwde op externe tools om te raden wat interessant was, waarbij vaak de subtiele aanwijzingen die de robot juist nodig had om het mysterie op te lossen, werden gemist.

Dit is waar een nieuwe aanpak genaamd EviSelect om de hoek komt kijken. Zie EviSelect niet als een rigide editor, maar als een nieuwsgierige detective die leert de eigen gedachten van de robot te lezen. In plaats van een externe expert te vragen waar naar gekeken moet worden, gluurt EviSelect in de interne "attention maps" van de robot—eigenlijk een hittekaart die laat zien op welke delen van de video de hersenen van de robot van nature focussen. Door een slimme truc genaamd "sparse prefilling" te gebruiken (wat zoiets is als het snel nemen van een lage-resolutie snapshot van de hele film om een algemene indruk te krijgen), ontdeft EviSelect precies waar de actie plaatsvindt, hoe snel dingen bewegen en hoeveel detail er nodig is. Het leert vervolgens een lichtgewicht "selector" om drie slimme beslissingen te nemen voor elk moment in de video: Moeten we deze scène houden? Hoeveel frames moeten we hier laten zien? En hoe helder moet het beeld zijn?

De resultaten zijn als magie voor efficiëntie. In tests op drie verschillende long-video uitdagingen slaagde EviSelect erin om vragen net zo goed, of zelfs beter, te beantwoorden dan bestaande methoden, maar deed dit door ongeveer 50% minder visuele tokens (de digitale bouwstenen van de video) te gebruiken. Deze enorme reductie in data bespaarde niet alleen geheugen; het maakte het hele proces 3,9 keer sneller. Het paper suggereert dat door de eigen interne bewijslast van de robot de selectie te laten leiden, in plaats van te vertrouwen op rigide regels of externe gokkers, we videosystemen kunnen bouwen die zowel ongelooflijk slim als verrassend efficiënt zijn.

Het Probleem: De "Te Veel Informatie" Bottleneck

Lange video's zijn een nachtmerrie voor de huidige AI. Als je een robot vraagt om een video van 30 minuten te bekijken en een vraag te beantwoorden, staat hij voor een dilemma. Hij kan niet alles onthouden, dus probeert hij de "keyframes" uit te pikken—de belangrijkste momenten. Maar de oude methoden voor het kiezen van deze frames waren gebrekkig. Ze waren als een filmeditor die scènes alleen snijdt op basis van hoe hard de muziek is of hoe fel de kleuren zijn, waarbij de eigenlijke verhaallijn wordt genegeerd. Deze methoden gebruikten externe tools (zoals een aparte AI die gelijkenis scoort) om te beslissen wat ze zouden behouden. Het probleem? Die externe tool weet niet wat de hoofdrobot denkt. Het kan een flitsende explosie benadrukken terwijl de robot eigenlijk een stil gesprek nodig had om de puzzel op te lossen.

Bovendien waren deze oude methoden "rigide". Ze behandelden elke video op dezelfde manier, waarbij ze een vast aantal frames met een vaste grootte kozen. Dit is als proberen een boek te lezen door naar elke letter te kijken, zelfs de spaties tussen de woorden, ongeacht of de zin simpel of complex is. Het verspilt energie aan saaie delen en mist de nuance in de spannende delen.

De Oplossing: De Gedachten van de Robot Lezen

De auteurs van dit paper, Bo Zhang en zijn team, stelden een nieuw framework voor genaamd EviSelect. In plaats van te gokken wat de robot nodig heeft, vraagt EviSelect het de robot rechtstreeks.

Zo werkt het, stap voor stap:

De "Sparse Prefill" Truc: Voordat de robot de volledige video bekijkt, geeft EviSelect hem een piepkleine, gecomprimeerde versie van de film. Het is alsof je de robot een reeks snelle, wazige thumbnails van de hele film laat zien. Dit is goedkoop en snel.
De "Attention" Aanwijzingen: Zelfs hoewel de video wazig en kort is, lichten de hersenen van de robot nog steeds in specifieke gebieden op. EviSelect legt deze "attention maps" vast. Het breekt ze af in drie soorten aanwijzingen:
- Relevantie: Komt dit moment overeen met de vraag?
- Tijd: Hoe verbindt dit moment zich met de momenten ervoor en erna?
- Ruimte: Is er hier veel detail nodig, of is het een simpele achtergrond?
De Slimme Selector: Een kleine, lichtgewicht AI (de "selector") kijkt naar deze aanwijzingen en neemt drie dynamische beslissingen voor elk tijdstip in de video:
- Houden of Weggooien: Moeten we deze seconde überhaupt wel bekijken?
- Sampling Rate: Als we het bekijken, hebben we dan 1 frame, 4 frames of 8 frames per seconde nodig? (Snelle actie heeft meer frames nodig; een trage scène heeft er minder nodig).
- Resolutie: Hebben we een 4K-beeld nodig, of volstaat een schets met lage resolutie? (Een duidelijk gezicht heeft een hoge resolutie nodig; een donkere gang misschien niet).

De Training: Leren door "Groepvergelijking"

Hoe leer je een robot om deze beslissingen van een fractie van een seconde te maken? De auteurs gebruikten een techniek genaamd GRPO (Group Relative Policy Optimization). Stel je een spelshow voor waarbij de robot probeert een video op acht verschillende manieren te editen tegelijkertijd. Het systeem controleert vervolgens welke versie het juiste antwoord gaf. Als een versie het antwoord goed had én minder pixels gebruikte, krijgt het een enorme beloning. Als het versie het antwoord goed had maar te veel pixels gebruikte, krijgt het een kleinere beloning. Als het antwoord fout was, krijgt het geen enkele beloning, zelfs niet als het efficiënt was.

Deze "groepvergelijking" leert de robot de perfecte balans te vinden: het juiste antwoord geven terwijl het absoluut minimale hoeveelheid visuele data wordt gebruikt.

De Resultaten: Sneller, Slimmer, Slanker

Het paper testte EviSelect op drie belangrijke benchmarks: MLVU, LongVideoBench en Video-MME. Dit zijn de "Olympische Spelen" voor het begrijpen van lange video's, met films, surveillancebeelden en complexe narratieven.

De bevindingen waren indrukwekkend:

Nauwkeurigheid: EviSelect behaalde state-of-the-art prestaties en versloeg bestaande methoden zoals TSPO en Q-Frame. Op de Video-MME benchmark verbeterde het bijvoorbeeld de nauwkeurigheid met 1,9% ten opzichte van de vorige beste methode.
Efficiëntie: Het gebruikte gemiddeld slechts 1.701 visuele tokens, terwijl de vorige beste methoden er rond de 3.360 gebruikten. Dat is een reductie van 49% in data.
Snelheid: Omdat het minder data verwerkt, daalde de end-to-end tijd van bijna 10 seconden naar slechts 2,55 seconden. Dat is een 3,9x versnelling.

Wat dit Betekent (en Wat Niet)

Het paper suggereert dat de sleutel tot het begrijpen van lange video's niet alleen het gooien van meer rekenkracht tegen het probleem is, maar eerder slimmer te zijn over waar we naar kijken. Door de eigen interne "bewijslast" van de robot te gebruiken in plaats van externe gokkers, past EviSelect zich aan aan het unieke ritme van elke video.

De auteurs zijn echter voorzichtig met de beperkingen. Omdat EviSelect leert van de specifieke interne aandacht van de robot, werkt het misschien niet perfect als je het op een volledig ander type robot wilt toepassen zonder hertraining. Ook vereist deze methode toegang tot de interne "hersenen" (de attention maps) van de robot, waardoor het niet gebruikt kan worden op closed-source "black box" modellen waar deze informatie verborgen blijft.

Kortom, EviSelect bewijst dat als je een AI leert om op zijn eigen instincten te vertrouwen over wat belangrijk is, hij een film kan bekijken, de aanwijzingen kan vinden en het mysterie kan oplossen met de helft van de inspanning en vier keer de snelheid.

Technische Samenvatting: EviSelect – Evidence-Driven Dynamic Visual Selector voor Efficiënt Begrip van Lange Video's

Probleemstelling

Begrip van langdurige video's met behulp van Multimodale Large Language Models (MLLM's) kampt met aanzienlijke knelpunten door beperkte contextvensters en aandachtsdilutie (attention dilution). Bestaande benaderingen proberen de computationele kosten en contextlimieten te beperken door query-relevante frames te selecteren. Deze methoden lijden echter onder drie kritieke beperkingen:

Objectieve Misalignement: Ze vertrouwen op externe proxy-scorers (bijv. CLIP, DINOv2) en rigide heuristische regels. Deze proxies reflecteren semantische relevantie, maar sluiten niet aan bij de intrinsieke bewijseisen van het doel-MLLM, waardoor subtiele maar cruciale visuele aanwijzingen vaak gemist worden.
Statische Frame-extractie: De meeste methoden behandelen keyframe-selectie als een geïsoleerd probleem in plaats van een query-geconditioneerde geloofverdeling over continue temporele trajecten te modelleren. Dit leidt tot temporeel myope selecties die te veel concentreren op saillante segmenten, terwijl ze ijle, kritieke gebeurtenissen missen.
Rigide Spatiotemporele Configuratie: Bestaande paradigma's hanteren meestal een "one-size-fits-all"-aanpak, waarbij een vast aantal frames wordt geselecteerd met een vaste ruimtelijke resolutie. Dit slaagt er niet in om de niet-uniforme spatiotemporele informatiedichtheid die inherent is aan lange video's te accommoderen, wat resulteert in inefficiënte computationele allocatie.

Methodologie: EviSelect

De auteurs stellen EviSelect voor, een fijnmazig dynamisch visueel selectiekader dat keyframe-selectie herformuleert als een distributie-bewuste dynamische samplingspolicy die wordt gedreven door de interne bewijslast van het doel-MLLM. Het kader werkt in drie stadia:

1. Bewijsgrondslag via Sparse Prefilling

In plaats van externe proxies te gebruiken, extraheert EviSelect endogene bewijslast direct uit de attention maps van het doel-MLLM.

Sparse Prefilling: De video wordt verdeeld in temporele segmenten met anchor frames. Deze anchors zijn sterk gecomprimeerd (ruimtelijk gedownsampled) en worden via block-sparse attention door het doel-MLLM verwerkt. Dit maakt een efficiënte benadering van de attention maps mogelijk tegen lage computationele kosten.
Bewijsdecompositie: De resulterende attention maps worden gedecomposeerd in drie complementaire signalen zonder hertraining of leerbare parameters:
- Query-Frame Relevantie ( $A_{qf}$ ): Stuurt de beslissing om een tijdstip te behouden of te verwijderen.
- Cross-Frame Temporele Afhankelijkheid ( $A_{ff}$ ): Stuurt de lokale samplingsnelheid (hoeveel frames er binnen een segment gesampled moeten worden).
- Intra-Frame Ruimtelijke Salientie ( $A_{if}$ ): Stuurt de ruimtelijke resolutie van de gesamplede frames.

2. Distributie-bewuste Dynamische Sampling

Een lichtgewicht selector (0,1B parameters) neemt de gedecomponeerde bewijssignalen als input. Het voorspelt drie fijnmazige beleidsverdelingen voor elk tijdstip:

Retentiebeslissing ( $z_t$ ): Of het tijdstip behouden of verwijderd moet worden.
Lokale Samplingsnelheid ( $\rho_t$ ): Het aantal frames dat uniform gesampled moet worden uit het overeenkomstige temporele segment.
Ruimtelijke Resolutie ( $\lambda_t$ ): De resolutie waarnaar de gesamplede frames worden aangepast.
De gezamenlijke policy wordt geformuleerd als een product van deze categorische verdelingen, wat de generatie van een multi-schaal visuele input ( $V_s$ ) mogelijk maakt die is afgestemd op de informatiedichtheid van de video.

3. Policy Optimalisatie met GRPO

De selector wordt geoptimaliseerd met behulp van Group Relative Policy Optimization (GRPO).

Beloningsfunctie: De beloning combineert een prestatieterm (binaire nauwkeurigheid van het antwoord van het MLLM) en een efficiëntieterm (gewogen combinatie van retentiereductie en token-kostenreductie).
Optimalisatiestrategie: Om te voorkomen dat de policy simpelweg de kosten minimaliseert ten koste van de nauwkeurigheid, wordt de efficiëntiebeloning alleen geactiveerd als de groep gesamplede kandidaten minstens één correct antwoord bevat. De policy wordt bijgewerkt door de groep-relatieve advantage te maximaliseren, wat de allocatie van berekeningen dynamisch stimuleert volgens de intrinsieke informatiedichtheid van de video.

Belangrijkste Bijdragen

EviSelect Framework: Een nieuw framework dat keyframe-selectie herformuleert als een distributie-bewuste dynamische samplingspolicy, gedreven door de interne attention-bewijslast van het doel-MLLM in plaats van externe proxies.
Sparse Evidence Probing & Selector: Een mechanisme om attention-priors snel te benaderen via sparse prefilling en een lichtgewicht selector die fijnmazige spatiotemporele samplingspolicies (retentie, rate en resolutie) voorspelt.
Efficiëntie en Prestaties: Uitgebreide experimenten tonen aan dat de methode state-of-the-art prestaties behaalt terwijl de computationele overhead aanzienlijk wordt verminderd.

Experimentele Resultaten

De methode werd geëvalueerd op drie benchmarks: MLVU, LongVideoBench en Video-MME, met behulp van LLaVA-Video-7B en Qwen2.5-VL-7B als doel-MLLM's.

Prestaties: EviSelect behaalde superieure prestaties vergeleken met bestaande methoden (inclusief TSPO en Q-Frame). Zo verbeterde het op LLaVA-Video-7B de nauwkeurigheid op Video-MME met 1,9%, op MLVU met 0,9% en op LongVideoBench met 0,7% vergeleken met TSPO.
Efficiëntie: De methode verminderde het gemiddelde aantal geselecteerde visuele tokens met ongeveer 50% (bijv. van 3.360 naar 1.701 tokens voor LLaVA-Video-7B) en behaalde een 3,9× end-to-end versnelling.
Ablatieonderzoeken:
- Componenten: Het combineren van retentie, adaptieve frame-sampling en adaptieve ruimtelijke resolutie leverde de beste resultaten op, wat bevestigt dat orthogonale dimensiereductie effectief is.
- Bewijsbron: Selectoren getraind op interne sparse-prefill priors presteerden significant beter dan die getraind op CLIP of willekeurige priors, wat het belang van MLLM-intrinsieke bewijslast valideert.
- Transfereerbaarheid: Hoewel de selector enige cross-backbone transfereerbaarheid vertoonde, waren de prestaties het best wanneer de selector en het MLLM dezelfde backbone deelden, wat wijst op gedeeltelijke backbone-afhankelijkheid.

Betekenis en Claims

Het artikel beweert dat EviSelect een kritiek knelpunt aanpakt bij het extraheren van beslissend bewijs uit extreem lange contexten door de samplingsstrategie af te stemmen op de intrinsieke vereisten van het doel-MLLM. Door af te stappen van rigide heuristieken en externe proxies, moduleert de methode de computationele middelen dynamisch op basis van de werkelijke informatiedichtheid van de video. De auteurs stellen dat deze bewijsgestuurde aanpak niet alleen de nauwkeurigheid in begrip van lange video's verbetert, maar ook de inferentielatentie en het tokenverbruik drastisch vermindert, waardoor verwerking van lange video's haalbaarder wordt voor huidige MLLM-architecturen.

Erkende Beperkingen: De auteurs merken op dat omdat bewijspriors worden geëxtraheerd uit de interne attention van het doel-MLLM, de generalisatie naar andere MLLM's beperkt is. Verder is de methode niet toepasbaar op closed-source MLLM's waarbij de interne attention-mechanismen niet toegankelijk zijn.