Technische Samenvatting: MARC – Geheugen-geaugmenteerde RL voor Efficiënte Video-begrip Tokencompressie

Probleemstelling

Visuele Taalmodellen (VLM's) kampen met aanzienlijke computationele knelpunten wanneer ze opschalen van beeld- naar videoverstaan. Hoge framerates en lange videoduur vereisen het verwerken van duizenden tokens, wat leidt tot een scherpe toename in inferentiekosten, latentie en GPU-geheugengebruik. Dit belemmert de inzetbaarheid in omgevingen met beperkte middelen en lage latentie, zoals autonoom rijden en surveillance.

Hoewel tokencompressie een veelbelovende oplossing is, vertrouwen bestaande methoden voornamelijk op training-vrije strategieën (bijv. ruimtelijke of temporele token-merging). De auteurs stellen dat deze training-vrije benaderingen onvermijdelijk leiden tot informatieverlies tijdens compressie, wat resulteert in een significante daling van de modelprestaties. De kernuitdaging is het bereiken van agressieve tokenreductie (bijv. het reduceren van een video tot het tokenaantal van één enkele afbeelding) zonder de redeneercapaciteiten van het model op te offeren.

Methodologie

Het artikel stelt MARC voor (Memory-Augmented Reinforcement Learning-based Token Compression), een tweestaps raamwerk dat is ontworpen om relevante informatie op te halen voordat het wordt gecomprimeerd.

1. Visual Memory Retriever (VMR)

Geïnspireerd door de cognitieve wetenschap en de theorie van evenementensegmentatie, vervangt de VMR vaste tijdsvensters door een semantische, gebeurtenisgestuurde aanpak.

• Evenement-gebaseerde Segmentatie: Een diep evenementdetectienetwerk verdeelt continue videostromen in semantisch samenhangende, korte clips (visuele geheugenfragmenten) op basis van scèneveranderingen, onderwerpverschuivingen of het begin van acties.
• Geheugenextractie (Memory Retrieval): Query-representaties en visuele fragmenten worden via contrastief leren in een gedeelde latente ruimte gemapt. Een nearest-neighbor zoekopdracht haalt de top-$k$ fragmenten op die het meest relevant zijn voor de gebruikersquery.
• Functie: Deze stap fungeert als een filter, waardoor de zoekruimte wordt verkleind en ervoor wordt gezorgd dat de daaropvolgende compressie alleen opereert op "episodisch geheugen" dat de meest causaal nuttige bewijslast bevat, in plaats van redundante frames.

2. Memory-Aware Temporele Compressie

Voordat de RL-distillatie plaatsvindt, wordt een specifieke compressielaag toegepast op de opgehaalde segmenten:

• Lokale Coherentie: Binnen elk opgehaald evenmentssegment worden opeenvolgende frames samengevoegd op basis van cosinusgelijkenis om lokale dynamiek te behouden terwijl redundantie wordt verminderd.
• Globale Consolidatie: Als het tokenbudget nog steeds wordt overschreden, wordt een lichtgewicht cross-segment merge toegepast. Dit zorgt ervoor dat de door de VMR gedefinieerde evenementsstructuur behouden blijft.

3. Compression Group Relative Policy Optimization (C-GRPO)

Om prestaties te behouden onder extreme compressie (het reduceren van de input tot de hoeveelheid tokens van één frame), introduceren de auteurs C-GRPO, een post-training reinforcement learning-strategie.

• Teacher-Student Distillatie: Een "Teacher"-netwerk verwerkt 64 frames, terwijl een "Student"-netwerk de gecomprimeerde single-frame input verwerkt.
• Retention Alignment Reward: In tegenstelling tot standaard GRPO, dat zich richt op de correctheid van het antwoord, introduceert C-GRPO een compressiereward ($r_c$). Deze reward wordt berekend op basis van de retentieratio ($\eta$), die meet hoeveel van de prestaties van de Teacher de Student behoudt.
  • $r_c = \alpha \cdot \max(0, \eta - \tau)$, waarbij $\tau$ een minimaal acceptabel retentiedrempel is (gesteld op 0,6).
• Gating-mechanisme: De retentiereward wordt gegate door correctheid ($1[\text{correct}]$), wat ervoor zorgt dat alleen semantisch valide generaties de bonus ontvangen. Dit voorkomt "reward hacking", waarbij het model wellicht correct gokt door toeval zonder daadwerkelijk redeneervermogen te behouden.
• Doelstelling: Het beleid wordt geoptimaliseerd om de retentie van het redeneervermogen van de Teacher te maximaliseren, terwijl het zich strikt aan het tokenbudget houdt.

Belangrijkste Bijdragen

1. MARC Raamwerk: Een nieuwe architectuur die gestructureerde visuele extractie (VMR) integreert met RL-gebaseerde tokencompressie, wat efficiënt video-begrip mogelijk maakt dat het menselijk episodisch geheugen nabootst.
2. C-GRPO Algoritme: De eerste post-training RL-strategie die specifelijk is ontworpen voor video-tokencompressie. Het slaagt erin complexe redeneervermogens te distilleren van een high-token Teacher naar een low-token Student door expliciet te optimaliseren voor prestatieretentie.
3. Empirische Validatie: Uitgebreide experimenten over zes benchmarks tonen aan dat de methode bijna baseline-prestaties behaalt met drastisch verminderde computationele kosten.

Experimentele Resultaten

De auteurs hebben MARC geëvalueerd op zes benchmarks: VSI-Bench, VideoMMMU, MMVU, MVBench, TempCompass, en VideoMME, met gebruik van Qwen2.5-VL-3B als backbone.

• Prestaties: MARC behaalde een gemiddelde score van 42,20, vrijwel identiek aan de 64-frame baseline van 42,21.
  • Het presteerde beter dan de baseline op MMVU, MVBench en TempCompass.
  • Het overtrof grotere modellen (bijv. InternVL3.5-4B, Gemma-3-4B), ondanks het gebruik van een 3B-parameter model.
• Tokenreductie: De methode reduceerde visuele tokens met 95% (van ~2590 tokens naar ~123 tokens), wat effectief het tokenequivalent van slechts één frame gebruikt (4,71% van de originele tokens).
• Efficiëntiewinst:
  • GPU-geheugen: Verminderd met 72,4% (van 41,63 GB naar 11,48 GB op een A6000).
  • Latentie: Generatie-latentie verminderd met 23,9%, met een reductie van 11,1% in end-to-end latentie bij het verwerken van samples.
• Ablatie-studies:
  • VMR: Het gebruik van enkel VMR verhoogde de baseline nauwkeurigheid (gemiddeld 45,56 vs 42,21), wat de waarde van evenement-gebaseerde extractie bewijst.
  • C-GRPO vs. SFT: MARC (C-GRPO) presteerde 9,6% beter dan een Supervised Fine-Tuning (SFT) baseline in gemiddelde score, wat de superioriteit van RL-distillatie voor compressietaken onderstreept.
  • Drempelwaarde ($\tau$): Een drempelwaarde van 0,6 bood de optimale balans tussen stabiliteit en prestatieretentie.

Betekenis en Claims

Het artikel beweert dat MARC een robuuste oplossing biedt voor de post-training compressie van grootschalige modellen, waarbij de kloof tussen efficiëntie en nauwkeurigheid wordt overbrugd. Door cognitief geïnspireerde extractie te combineren met RL-gebaseerde distillatie, maakt de methode de inzet van VLM's mogelijk in scenario's met strikte middelenrestricties, zoals real-time video beantwoording, surveillance en autonoom rijden.

De auteurs benadrukken dat hun aanpak de prestatieverslechtering voorkomt die typisch is voor training-vrije compressiemethoden. In plaats daarvan, door compressie te behandelen als een alignment-probleem waarbij de student de reasoning van de teacher moet evenaren, behoudt MARC een hoge getrouwheid, zelfs wanneer de input wordt teruggebracht tot het niveau van één enkel frame. Het werk wordt gepresenteerd als een praktisch pad om video-begrip schaalbaar en inzetbaar te maken in real-world, latentiegevoelige toepassingen.