Dynamic Token Compression for Efficient Video Understanding through Reinforcement Learning

Probleemstelling: Context Rot en Token Redundantie

Multimodale Large Language Models (MLLMs) tonen indrukwekkende prestaties in video-interpretatie, maar kampen met twee fundamentele beperkingen bij het verwerken van lange video's:

1. Excessieve Token Redundantie: Standaard visuele encoders genereren tienduizenden tokens per video, waarbij het grootste deel bestaat uit redundante statische achtergronden en herhalende acties.
2. Context Rot: Door de kwadratische complexiteit van self-attention in LLMs leidt een enorme toename in tokenlengte tot "context rot". Hierbij neemt het vermogen van het model af om informatie in het midden van de sequentie effectief te benutten, wat resulteert in een daling van de prestaties bij taken die redenering over lange contexten vereisen.

Bestaande compressiestrategieën (zoals convolutie, pooling of heuristische methoden) zijn vaak statisch, niet-aangepast aan de specifieke taak, en losgekoppeld van het downstream-doel, wat leidt tot suboptimale prestaties.

Methodologie: SCORE Framework

De auteurs stellen SCORE (Surprise-augmented token COmpression via REinforcement learning) voor, een unified framework dat een adaptieve token-compressiepolitiek leert via versterking (Reinforcement Learning - RL).

1. Surprise-Augmented State Encoding
Om temporale dynamiek effectief te vangen, verrijkt SCORE de input van het beleid (policy) met een "surprise"-signaal:

• In plaats van alleen de token-embeddings ($X[t]$) te gebruiken, wordt het verschil tussen opeenvolgende frames berekend: $\Delta X[t] = X[t] - X[t-1]$.
• Deze residuen fungeren als een temporale "high-pass filter" die beweging en semantische veranderingen benadrukt, terwijl statische redundantie wordt onderdrukt.
• De state wordt samengesteld als $H[t] = [X[t]; \Delta X[t]]$, waardoor het beleid expliciet bewust wordt van tijdsdynamiek.

2. Token-Level Visual Compressor & Bernoulli Gating
Een lichtgewicht MLP (Multi-Layer Perceptron) fungeert als policy network. Voor elke token wordt een retentie-kans ($p_{t,i}$) berekend via een sigmoid activatie. Tijdens het trainen worden discrete beslissingen (behouden of verwijderen) getrokken via Bernoulli-sampling.

3. Reinforcement Learning met Groepsrollouts en Gesplitste Advantage
Om het discrete en niet-differentieerbare karakter van token-selectie op te lossen, gebruikt SCORE on-policy RL:

• Groepsrollouts: Voor elke video worden $K$ verschillende maskers (combinaties van behouden/verwijderde tokens) gesampled.
• Reward Functie: De beloning combineert prestatie (gemeten via cross-entropy van de LLM-output) en spaarzaamheid (compressie-ratio).
• Gesplitste Advantage Estimator: Om stabiliteit te garanderen, worden de rollouts opgesplitst in een "veilige zone" (prestatie behouden) en een "penalty zone" (prestatie gedaald).
  • In de veilige zone wordt de advantage genormaliseerd op basis van spaarzaamheid om de meest efficiënte compressie te belonen.
  • In de penalty zone wordt een zware straf toegepast die de politiek dwingt meer tokens te behouden om de prestaties te herstellen.

4. Twee-staps Curriculum Learning
Vanwege de enorme zoekruimte en het ruisachtige karakter van echte video's, wordt een curriculum gebruikt:

• Fase 1 (Pseudo-video's): Training op synthetische video's gemaakt van statische afbeeldingen met grote, discrete frame-overgangen. Dit helpt het beleid om de relatie tussen residuen en redundantie snel te leren.
• Fase 2 (Echte video's): Finetuning op echte video-caption datasets om het beleid te laten generaliseren naar subtiele bewegingen en complexe achtergronden.

5. Inference Strategie
Tijdens inferentie wordt een deterministische Global Top-K selectie toegepast. De tokens met de hoogste retentie-kansen worden behouden tot het gewenste behoudspercentage (bijv. 10% of 25%) is bereikt, waarbij de oorspronkelijke spatiotemporale posities worden bewaard.

Belangrijkste Bijdragen

1. SCORE Framework: Een RL-gebaseerde, token-niveau visuele compressor die end-to-end leert welke tokens behouden moeten worden onder strikte token-budgetten, direct geoptimaliseerd voor downstream generatiekwaliteit.
2. Surprise-Augmented State: Een innovatieve state-representatie die inter-frame residuen gebruikt om temporale dynamiek expliciet te maken, wat cruciaal is voor het onderscheiden van beweging van statische redundantie.
3. Geavanceerde Trainingsstrategie: Een combinatie van groepsgeoriënteerde policy gradients, een gesplitste advantage-estimator voor stabiliteit, en een progressief curriculum van pseudo- naar echte video's.

Resultaten

Extensieve experimenten op benchmarks zoals Video-MME, MLVU en LVBench tonen aan dat SCORE state-of-the-art prestaties levert:

• Prestatieverbetering: Bij een behoudspercentage van 25% bereikt SCORE een gemiddelde score van 58.9, wat hoger is dan het niet-gecomprimeerde "Vanilla" model (57.3). Dit bewijst dat het verwijderen van redundante tokens "context rot" kan verminderen en de prestaties kan verbeteren.
• Efficiëntie: Bij een agressieve compressie van 10% behoudt SCORE 99.5% van de originele nauwkeurigheid, terwijl de prefill-tijd met een factor 16x wordt versneld.
• Generalisatie: De methode werkt effectief op verschillende MLLM-architecturen (Qwen2.5-VL en LLaVA-Video) en overtreft bestaande methoden zoals DyCoke, HoliTom en FastVID consistent.

Betekenis en Impact

SCORE biedt een schaalbare oplossing voor het probleem van inefficiëntie in lange video-interpretatie. Door de kwadratische complexiteit van self-attention te doorbreken via intelligente, dynamische compressie, maakt het de inzet van video-MLLMs in latency-gevoelige scenario's (zoals real-time applicaties) praktisch haalbaar. Het paper demonstreert dat versterking leren een krachtig instrument is om de afweging tussen rekenkosten en modelcapaciteit te optimaliseren, waarbij redundantie niet alleen wordt verwijderd, maar actief wordt gebruikt om de kwaliteit van de redenering te verhogen.