V-CAST: Video Curvature-Aware Spatio-Temporal Pruning for Efficient Video Large Language Models

1. Het Probleem

Video Large Language Models (VideoLLMs) tonen sterke prestaties in video-onderstanding, maar worstelen met efficiëntie bij lange contexten. De inferentie wordt gedomineerd door de enorme hoeveelheid visuele tokens die gegenereerd worden door opeenvolgende frames, wat leidt tot hoge rekentijd en geheugengebruik tijdens de "prefill"-fase.

Bestaande methoden voor token-compressie (het verwijderen van overbodige tokens) hebben twee fundamentele beperkingen onder strikte budgetten:

1. Discontinue spatio-temporale dekking: Methodes die uniform verdelen of video's in scènes opsplitsen, missen vaak korte, cruciale momenten (zoals snelle actiepieken) of creëren abrupte overgangen die de continuïteit van het verhaal verstoren.
2. Misalignement van spatio-temporale informatie: Geavanceerde VideoLLMs (zoals Qwen3-VL) gebruiken MRoPE (Multimodal Rotary Positional Embedding), waarbij tokens gekoppeld zijn aan discrete $(t, h, w)$ coördinaten. Bestaande methoden die tokens samenvoegen (merging, bijv. via pooling) verschuiven deze tokens van hun oorspronkelijke rooster, waardoor de positie-afhankelijkheid van MRoPE wordt verbroken en de prestaties dalen.

2. Methodologie: V-CAST

V-CAST (Video Curvature-Aware Spatio-Temporal Pruning) is een trainingsvrije, plug-and-play oplossing die token-compressie formuleert als een probleem van trajectbenadering. Het doel is om een compacte set visuele tokens te selecteren die de semantische evolutie van de video zo goed mogelijk benadert, zonder de oorspronkelijke coördinaten te veranderen.

Het systeem bestaat uit twee kerncomponenten:

A. Curvature-Guided Temporal Allocation (Tijdelijke Toewijzing)

In plaats van tokens gelijkmatig over de tijd te verdelen, analyseert V-CAST hoe de semantiek van de video evolueert.

• Semantisch Traject: Elke frame wordt gemiddeld tot een semantische vector. Deze vectoren vormen een traject op een hypersfeer.
• Kromming (Curvature): De methode berekent de "kromming" ($\kappa_t$) van dit traject. Een scherpe draai in het traject duidt op een belangrijke semantische overgang (bijv. een nieuwe gebeurtenis of actie).
• Budgettoewijzing: Het totale token-budget wordt dynamisch toegewezen aan frames met een hoge kromming. Dit zorgt ervoor dat momenten van snelle verandering meer tokens krijgen, terwijl statische of redundante segmenten minder tokens krijgen. Dit wordt bereikt via een entropie-geregulariseerde optimalisatie.

B. Dual-Anchor Spatial Token Selection (Ruimtelijke Selectie)

Voor elk frame wordt een sub-set van tokens geselecteerd op basis van het toegewezen budget, waarbij de oorspronkelijke $(t, h, w)$ coördinaten behouden blijven (geen merging).

• Dual-Anchor Score: Elke token krijgt een score gebaseerd op twee factoren:
  1. Contextuele Diversiteit: Hoe sterk wijkt de token af van het gemiddelde van het frame? Dit behoudt unieke objecten of interacties en verwijdert achtergrondruis.
  2. Feature Activatie: De $L_2$-norm van de token-features. Hoge normen wijzen vaak op visueel informatieve patronen.
• Selectie: De tokens met de hoogste scores worden behouden. Omdat er geen merging plaatsvindt, blijft de positie-uitlijning met MRoPE perfect intact.

3. Belangrijkste Bijdragen

1. Herdefinitie van Dekking: De auteurs identificeren dat de kernbeperking bij VideoLLM-compressie niet alleen het aantal tokens is, maar de continuïteit en uitlijning van de spatio-temporale informatie.
2. V-CAST Framework: Een nieuwe, trainingsvrije methode die kromming gebruikt voor tijdelijke budgettoewijzing en een dual-anchor strategie voor ruimtelijke selectie, zonder de positie-uitlijning te verstoren.
3. State-of-the-Art Prestaties: V-CAST overtreft bestaande methoden (zoals FastVID, HoliTom, VidCom2) aanzienlijk in zowel nauwkeurigheid als efficiëntie, en is compatibel met diverse architecturen (Qwen3-VL, LLaVA-OV, LLaVA-Video).

4. Resultaten

Experimenten zijn uitgevoerd op meerdere benchmarks (MVBench, LongVideoBench, MLVU, VideoMME) met verschillende modellen (Qwen3-VL-8B/32B, LLaVA-OV-7B, LLaVA-Video-7B).

• Prestaties:

  • V-CAST behaalt +1.5 punten meer dan de op één na beste methode op vier lange-videobenchmarks (bij 256 frames).
  • Het behoudt 98.2% van de oorspronkelijke prestaties van het ongekrompressie model, terwijl het de tweede beste methode met +1.9% overtreft.
  • Het werkt uitstekend op lange video's (tot 256 frames), waar andere methoden vaak falen of in prestaties dalen.

• Efficiëntie:

  • Geheugen: Reductie van het piekgeheugen naar 86.7% van het originele Qwen3-VL-8B-Instruct.
  • Latentie: Reductie van de totale inferentielatentie naar 86.4% van het origineel.
  • Compatibiliteit: In tegenstelling tot methoden die FlashAttention blokkeren (zoals FlashVID), werkt V-CAST naadloos samen met efficiënte attention-kernels.

• Vergelijking met Merging: De resultaten tonen aan dat pruning (selectie) superieur is aan merging (samenvoegen) voor modellen met MRoPE. Merging leidt tot een prestatiedaling van 2-4 punten op benchmarks, terwijl pruning de prestaties behoudt.

5. Betekenis en Impact

V-CAST biedt een praktische oplossing voor het schalen van VideoLLMs naar lange video's zonder de noodzaak van dure hertraining. Door het probleem van "discontinue dekking" en "positie-misalignement" aan te pakken, stelt het onderzoekers en ontwikkelaars in staat om:

• Video's met duizenden frames efficiënt te verwerken.
• Kritieke momenten in lange video's te behouden die anders verloren zouden gaan door uniforme compressie.
• Bestaande krachtige modellen (zoals Qwen3-VL) direct te gebruiken voor lange contexten met aanzienlijke besparingen in rekkracht en geheugen, zonder in te leveren op de nauwkeurigheid.

Kortom, V-CAST zet een nieuwe standaard voor efficiënte en nauwkeurige video-onderstanding door slimme, curvature-gedreven selectie in plaats van brute kracht of ruwe samenvoeging.