Dynamic Token Compression for Efficient Video Understanding through Reinforcement Learning

1. Il Problema: Ridondanza Visiva e "Context Rot"

I Modelli Linguistici Multimodali (MLLM) hanno dimostrato capacità eccezionali nella comprensione video, ma affrontano due ostacoli fondamentali:

• Ridondanza Estrema: I codificatori visivi standard generano decine di migliaia di token per video, dominati da sfondi statici e azioni ripetitive.
• Context Rot (Marciume del Contesto): A causa della complessità quadratica dell'attenzione self-attention nei LLM, l'input eccessivo di token ridondanti degrada le prestazioni del modello. Le informazioni essenziali vengono "annegate" da dati irrilevanti, portando a un calo delle capacità di ragionamento su contesti lunghi.

Le strategie di compressione esistenti (basate su trasformazioni fisse come pooling/convoluzione o euristiche disaccoppiate dall'obiettivo finale) spesso falliscono nel preservare le informazioni critiche o non sono adattive ai contenuti specifici del video.

2. Metodologia: SCORE (Surprise-augmented token COmpression via REinforcement learning)

Il paper propone SCORE, un framework unificato che utilizza l'Apprendimento per Rinforzo (RL) per imparare una politica di compressione adattiva a livello di token.

A. Architettura e Stato Arricchito

SCORE inserisce un compressore visivo leggero (una rete MLP) tra il codificatore visivo (congelato) e il LLM (congelato).

• Stato Arricchito da "Sorpresa": Per catturare la dinamica temporale, lo stato di ogni token non è solo l'embedding originale $X[t]$, ma include un segnale di "sorpresa" calcolato come residuo inter-frame: $\Delta X[t] = X[t] - X[t-1]$.
  • Questo segnale agisce come un filtro passa-alto temporale, evidenziando regioni con movimento o cambiamenti semantici e sopprimendo la ridondanza statica.
  • La rappresentazione finale è $H[t] = [X[t]; \Delta X[t]]$.

B. Politica di Gating Bernoulliana

La rete politica calcola una probabilità di ritenzione $p_{t,i}$ per ogni token visivo. Durante l'addestramento, la decisione di mantenere o scartare un token è stocastica (campionamento Bernoulliano), permettendo al modello di esplorare diverse combinazioni di token.

C. Ottimizzazione con Reinforcement Learning

Il sistema è ottimizzato per massimizzare la qualità della generazione del LLM mantenendo un budget di token rigoroso.

• Group Rollouts: Per ogni video, vengono campionati $K$ mask (maschere) diverse dalla politica corrente.
• Reward Split-Advantage: Viene definita una ricompensa che bilancia accuratezza e sparsità.
  • Si calcola la differenza di Cross-Entropy ($\Delta CE$) tra l'output del LLM con token compressi e quello completo.
  • Zona Sicura ($\Delta CE > 0$): Se la compressione mantiene o migliora le prestazioni, si premia la maggiore sparsità (più token rimossi) normalizzando l'vantaggio rispetto alla media del gruppo.
  • Zona Penalità ($\Delta CE \le 0$): Se le prestazioni crollano, viene applicata una penalità pesata sulla sparsità per spingere la politica a mantenere più token e recuperare le prestazioni.
• Curriculum Learning a Due Stadi: Per gestire lo spazio degli azioni combinatorio e il rumore dei video reali, l'addestramento avviene in due fasi:
  1. Warm-up con Pseudo-Video: Addestramento su video sintetici creati ripetendo immagini statiche. Questo crea segnali di "sorpresa" binari (zero o alto) facili da apprendere, insegnando al modello a riconoscere i bordi di transizione.
  2. Addestramento su Video Reali: Affinamento della politica su dataset reali con movimenti sottili e sfondi complessi, utilizzando i segnali appresi nella fase precedente.

D. Inferenza

Durante l'inferenza, la politica diventa deterministica: si selezionano i primi $K$ token (dove $K$ è definito dal tasso di ritenzione $\rho$) con le probabilità di ritenzione più alte, preservando le loro posizioni spaziotemporali originali.

3. Risultati Sperimentali

Il metodo è stato valutato su benchmark video standard (Video-MME, MLVU, LVBench) utilizzando modelli come Qwen2.5-VL e LLaVA-Video.

• Prestazioni Superiori: SCORE supera costantemente i metodi state-of-the-art (come DyCoke, HoliTom, VidCom2, FastVID).
• Superamento del Baseline Non Compresso: In alcuni scenari (es. ritenzione al 25%), SCORE ottiene punteggi medi superiori (58.9 vs 57.3) rispetto al modello originale con tutti i token. Questo dimostra che la rimozione mirata della ridondanza mitiga il "context rot".
• Efficienza Estrema:
  • A una ritenzione del 10%, SCORE riduce la latenza di prefill del LLM di oltre 16 volte.
  • Mantiene il 99.5% dell'accuratezza originale a questo livello di compressione aggressiva.
  • Il costo computazionale aggiuntivo del compressore è trascurabile (<1% del tempo totale).

4. Contributi Chiave

1. Framework RL End-to-End: Introduzione di SCORE, un compressore visivo che apprende politiche di ritenzione per token ottimizzando direttamente la qualità della generazione downstream.
2. Rappresentazione dello Stato con "Sorpresa": Progettazione di un encoding che incorpora i residui inter-frame per catturare esplicitamente la dinamica temporale e la salienza del movimento.
3. Strategia di Addestramento Ibrida: Combinazione di gradienti di politica a livello di gruppo, stimatore di vantaggio diviso (split-advantage) e un curriculum learning progressivo (da pseudo-video a video reali) per stabilizzare l'apprendimento.
4. Nuovo Stato dell'Arte: Dimostrazione empirica che la compressione dinamica può migliorare sia l'efficienza che l'accuratezza, superando i limiti dei metodi euristici fissi.

5. Significato e Impatto

Il lavoro di SCORE risolve il collo di bottiglia computazionale che impedisce l'uso pratico degli MLLM per video lunghi in scenari sensibili alla latenza.

• Scalabilità: Offre una soluzione scalabile per l'elaborazione di video lunghi senza degradare le capacità di ragionamento.
• Paradigma Shift: Sposta l'ottimizzazione dalla semplice riduzione dei dati all'apprendimento attivo di quali informazioni sono rilevanti per il compito specifico, dimostrando che meno token (se selezionati intelligentemente) possono portare a migliori prestazioni cognitive del modello.
• Applicabilità Pratica: I guadagni di velocità (fino a 16x) rendono fattibile l'implementazione di MLLM video in applicazioni real-time e su dispositivi con risorse limitate.