Riepilogo Tecnico: MARC – Compressione dei Token tramite RL con Memoria Aumentata per la Comprensione Video Efficiente

Definizione del Problema

I Modelli Linguistici Visivi (VLM) affrontano significativi colli di bottiglia computazionali quando scalano dalla comprensione delle immagini a quella dei video. Alti frame rate e lunghe durate dei video richiedono l'elaborazione di migliaia di token, portando a un aumento drastico dei costi di inferenza, della latenza e dell'uso della memoria GPU. Ciò ostacola l'implementazione in ambienti con risorse limitate e sensibili alla latenza, come la guida autonoma e la sorveglianza.

Sebbene la compressione dei token sia una soluzione promettente, i metodi esistenti si affidano principalmente a strategie senza addestramento (ad esempio, fusione dei token spaziale o temporale). Gli autori sostengono che questi approcci senza addestramento causino inevitabilmente una perdita di informazioni durante la compressione, determinando un calo significativo delle prestazioni del modello. La sfida principale è ottenere una riduzione aggressiva dei token (ad esempio, riducendo un video al conteggio dei token di una singola immagine) senza sacrificare le capacità di ragionamento del modello.

Metodologia

Il documento propone MARC (Memory-Augmented Reinforcement Learning-based Token Compression), un framework a due stadi progettato per recuperare informazioni rilevanti prima di comprimerle.

1. Visual Memory Retriever (VMR)

Ispirato alla scienza cognitiva e alla teoria della segmentazione degli eventi, il VMR sostituisce le finestre temporali a lunghezza fissa con un approccio semantico basato sugli eventi.

• Segmentazione Basata su Eventi: Una rete di rilevamento degli eventi profonda suddivide i flussi video continui in clip semanticamente coerenti (frammenti di memoria visiva) basandosi su cambiamenti di scena, spostamenti di argomento o inizio di azioni.
• Recupero della Memoria: Le rappresentazioni delle query e i frammenti visivi vengono mappati in uno spazio latente condiviso tramite apprendimento contrastivo. Una ricerca dei vicini più prossimi recupera i top-$k$ frammenti più rilevanti rispetto alla query dell'utente.
• Funzione: Questo passaggio agisce come un filtro, riducendo lo spazio di ricerca e garantendo che la successiva compressione operi solo su "memorie episodiche" contenenti le prove causalmente più utili, piuttosto che su frame ridondanti.

2. Compressione Temporale Consapevole della Memoria

Prima della distillazione RL, viene applicato un livello di compressione specifico ai segmenti recuperati:

• Coerenza Locale: All'interno di ogni segmento di evento recuperato, i frame consecutivi vengono fusi in base alla similarità del coseno per mantenere la dinamica locale riducendo la ridondanza.
• Consolidamento Globale: Se il budget di token è ancora superato, viene applicata una fusione cross-segmento leggera. Ciò assicura che la struttura dell'evento definita dal VMR sia preservata.

3. Compression Group Relative Policy Optimization (C-GRPO)

Per mantenere le prestazioni sotto una compressione estrema (riducendo l'input a circa i token di un singolo frame), gli autori introducono una strategia di apprendimento per rinforzo post-addestramento denominata C-GRPO.

• Distillazione Insegnante-Studente: Una rete "Insegnante" (Teacher) elabora 64 frame, mentre una rete "Studente" (Student) elabora l'input compresso di un singolo frame.
• Ricompensa di Allineamento della Ritenzione: A differenza della standard GRPO che si concentra sulla correttezza della risposta, la C-GRPO introduce una ricompensa di compressione ($r_c$). Questa ricompensa è calcolata in base al rapporto di ritenzione ($\eta$), che misura quanta parte delle prestazioni dell'Insegnante viene mantenuta dallo Studente.
  • $r_c = \alpha \cdot \max(0, \eta - \tau)$, dove $\tau$ è una soglia minima di ritenzione accettabile (impostata a 0.6).
• Meccanismo di Gating: La ricompensa di ritenzione è filtrata dalla correttezza ($1[\text{corretto}]$), garantendo che solo le generazioni semanticamente valide ricevano il bonus. Ciò previene il "reward hacking", dove il modello potrebbe indovinare correttamente per caso senza effettivamente mantenere la capacità di ragionamento.
• Obiettivo: La policy è ottimizzata per massimizzare la ritenzione della capacità di ragionamento dell'Insegnante pur rispettando il rigoroso budget di token.

Contributi Chiave

1. Framework MARC: Un'architettura innovativa che integra il recupero visivo strutturato (VMR) con la compressione dei token basata su RL, consentendo una comprensione video efficiente che imita la memoria episodica umana.
2. Algoritmo C-GRPO: La prima strategia di RL post-addestramento specificamente progettata per la compressione dei token video. Essa riesce a distillare complesse capacità di ragionamento da un Insegnante ad alto numero di token a uno Studente a basso numero di token ottimizzando esplicitamente la ritenzione delle prestazioni.
3. Validazione Empirica: Estesi esperimenti su sei benchmark che dimostrano come il metodo raggiunga prestazioni quasi pari al baseline, con costi computazionali drasticamente ridotti.

Risultati Sperimentali

Gli autori hanno valutato MARC su sei benchmark: VSI-Bench, VideoMMMU, MMVU, MVBench, TempCompass e VideoMME, utilizzando Qwen2.5-VL-3B come backbone.

• Prestazioni: MARC ha raggiunto un punteggio medio di 42.20, quasi identico al baseline di 64 frame di 42.21.
  • Ha superato il baseline su MMVU, MVBench e TempCompass.
  • Ha superato modelli più grandi (es. InternVL3.5-4B, Gemma-3-4B) nonostante l'uso di un modello con 3B parametri.
• Riduzione dei Token: Il metodo ha ridotto i token visivi del 95% (da ~2590 token a ~123 token), utilizzando efficacemente solo l'equivalente di un singolo frame (il 4.71% dei token originali).
• Guadagni di Efficienza:
  • Memoria GPU: Ridotta del 72.4% (da 41.63 GB a 11.48 GB su una A6000).
  • Latenza: La latenza di generazione è stata ridotta del 23.9%, con una riduzione dell'11.1% nella latenza end-to-end per l'elaborazione dei campioni.
• Studi di Ablazione:
  • VMR: L'uso del solo VMR ha aumentato l'accuratezza del baseline (media 45.56 vs 42.21), provando il valore del recupero basato sugli eventi.
  • C-GRPO vs SFT: MARC (C-GRPO) ha superato un baseline di Fine-Tuning Supervisionato (SFT) del 9.6% in punteggio medio, evidenziando la superiorità della distillazione RL per i compiti di compressione.
  • Soglia ($\tau$): Una soglia di 0.6 ha fornito il miglior equilibrio tra stabilità e ritenzione delle prestazioni.

Significato e Rivendicazioni

Il documento afferma che MARC offre una soluzione robusta per la compressione post-addestramento di modelli su larga scala, colmando il divario tra efficienza e accuratezza. Combinando il recupero ispirato alla cognizione con la distillazione basata su RL, il metodo consente l'implementazione di VLM in scenari con vincoli di risorse rigorosi, come la risposta a domande video in tempo reale, la sorveglianza e la guida autonoma.

Gli autori sottolineano che il loro approccio evita il degrado delle prestazioni tipico dei metodi di compressione senza addestramento. Invece, trattando la compressione come un problema di allineamento in cui lo studente deve corrispondere al ragionamento dell'insegnante, MARC mantiene un'alta fedeltà anche quando riduce l'input all'equivalente di un singolo frame. Il lavoro è presentato come un percorso pratico per rendere la comprensione video scalabile e implementabile in applicazioni reali sensibili alla latenza.