CoPE-VideoLM: Leveraging Codec Primitives For Efficient Video Language Modeling

1. Het Probleem

Video-taalmodellen (VideoLMs) hebben de capaciteit om temporale dynamiek in video's te begrijpen, maar ze kampen met twee fundamentele beperkingen:

• Spatiale en temporale inefficiëntie: Bestaande methoden gebruiken vaak steekproeven van sleutelframes (keyframes) om binnen de contextvenster-beperkingen te blijven. Dit leidt tot een schaarse temporale dekking, waarbij zowel macro-gebeurtenissen als micro-details (fijne bewegingen) gemist worden.
• Rekenkundige overhead: Het verwerken van volledige RGB-afbeeldingen voor elke frame (of zelfs voor geselecteerde frames) vereist een enorme hoeveelheid tokens. Dit veroorzaakt hoge rekenkosten, vertraagt de "time-to-first-token" (TTFT) en beperkt de maximale videolengte die een model kan verwerken binnen een vast token-budget.

Traditionele compressie-algoritmen (video-codecs zoals H.264/HEVC) lossen deze redundantie al decennia lang op door frames te coderen als bewegingsvectoren en residuen in plaats van volledige afbeeldingen, maar VideoLMs negeren deze native structuur en decoderen alles terug naar RGB.

2. Methodologie: CoPE-VideoLM

De auteurs introduceren CoPE-VideoLM, een raamwerk dat video-codec primitieven (bewegingsvectoren en residuen) direct gebruikt voor tokenisatie, in plaats van volledige frames te decoderen.

Kerncomponenten:

• Codec-Aware Tokenisatie:
  • I-frames (Intra-coded): Worden verwerkt als volledige RGB-afbeeldingen via een bevroren visuele encoder (bijv. SigLIP), wat dichte tokens oplevert.
  • P-frames (Predictive): Worden niet gedecodeerd naar RGB. In plaats daarvan worden de native codec-componenten gebruikt:
    • Bewegingsvectoren ($\tau$): Beschrijven de verplaatsing van blokken tussen frames.
    • Residuen ($\delta$): Beschrijven de pixelcorrecties na bewegingscompensatie.
• De $\Delta$-Encoder: Een lichtgewicht, transformer-gebaseerde encoder met twee takken:
  • Een tak voor bewegingsvectoren (via MLP en een Motion Transformer).
  • Een tak voor residuen (via een lichtgewicht ResNet-18 en een Residual Transformer).
  • Deze encoders comprimeren de informatie van een P-frame tot een zeer klein aantal tokens (de $\Delta$-tokens), bijvoorbeeld 8 tokens per frame, vergeleken met ~196 tokens voor een RGB-frame.
• Interleaved Token Stream: De uiteindelijke input voor de Large Language Model (LLM) is een tijdsgeordende reeks van I-frame tokens en compacte $\Delta$-tokens. Dit behoudt de temporale volgorde en de dynamiek zonder de redundantie van RGB.
• Trainingstraject (Twee fasen):
  1. Pre-training: De $\Delta$-Encoder wordt getraind om de codec-primitieven af te stemmen op de embeddruimte van de visuele encoder (RGB). Dit gebeurt door de reconstructie van de visuele features te simuleren (warpen + residuen toevoegen) en deze te laten corresponderen met de echte RGB-features.
  2. End-to-End Fine-tuning: De voorgetrainde $\Delta$-Encoder wordt geïntegreerd in de VideoLM-pijplijn en het hele systeem wordt fijn afgestemd op instructie-data.

3. Belangrijkste Bijdragen

• Efficiënte Tokenisatie: Het paper toont aan dat het gebruik van codec-primitieven de token-gebruik met tot 93% kan reduceren en de TTFT met tot 86% kan verkorten ten opzichte van standaard VideoLMs.
• Nieuwe Architectuur: Een lichtgewicht dual-branch encoder die beweging en uiterlijk in temporale volgorde comprimeert, wat een veel hogere compressie mogelijk maakt dan traditionele beeld-gebaseerde encoders.
• Pre-training Strategie: Een methode om de representatieruimte van codec-data af te stemmen op die van RGB-data, wat zorgt voor snellere convergentie en betere integratie tijdens het fine-tunen.
• Schalbaarheid: Het raamwerk maakt het mogelijk om video's van extreme lengte (bijv. uren) te verwerken binnen een vast token-budget, omdat de token-kost per seconde niet lineair toeneemt met de resolutie maar met de informatie-inhoud.

4. Resultaten

De methode is uitgebreid gevalideerd op 14 diverse benchmarks, waaronder:

• Algemene Video QA: (PerceptionTest, NextQA, ActivityNet-QA). CoPE-VideoLM presteert beter dan of gelijk aan bestaande open-source modellen (zoals LLaVA-Video-7B) met aanzienlijk minder tokens.
• Temporale Redenering: (TempCompass, TOMATO). Door de expliciete codering van beweging en residuen, scoort het model hoger op taken die fijne temporale dynamiek vereisen.
• Lange Video's en Instructies: (LongVideoBench, Video-MMMU). Het model behoudt prestaties op lange video's waar andere modellen falen door token-beperkingen.
• Efficiëntie:
  • TTFT: Tot 86% sneller.
  • Token Gebruik: Tot 93% minder tokens.
  • Context: Het model kan video's van tot 8 uur verwerken binnen een contextvenster van 1 miljoen tokens (bij 1 FPS), terwijl standaard modellen dit niet kunnen.

5. Betekenis en Impact

CoPE-VideoLM markeert een verschuiving in hoe VideoLMs worden ontworpen: van het behandelen van video als een reeks losse afbeeldingen naar het benutten van de native structuur van videocompressie.

• Real-time Toepassingen: De drastische reductie in TTFT is cruciaal voor robotics en real-time mens-computer interactie.
• Duurzaamheid: Door minder rekenkracht en geheugen te vereisen, wordt het trainen en infereren van video-modellen energie-efficiënter.
• Toekomstige Schaalbaarheid: Naarmate contextvensters groter worden, biedt deze aanpak een praktische weg om rijke temporale representaties te behouden zonder de computationele kosten exponentieel te laten stijgen.

Kortom, het paper bewijst dat het "herontdekken" van decennia oude codec-technologie (bewegingsvectoren en residuen) de sleutel is tot de volgende generatie efficiënte en krachtige video-taalmodellen.