Riepilogo Tecnico: CoRDS

Enunciato del Problema

La Comprensione di Video in Streaming (SVU) con Modelli Vision-Language di grandi dimensioni (VLM) affronta un collo di bottiglia critico: la necessità di mantenere un footprint di memoria limitato mentre si elaborano flussi video illimitati in tempo reale. A differenza della comprensione video offline, dove il contesto completo è disponibile per il campionamento dei frame o la compressione dipendente dalla query, la SVU richiede un elaborazione causale e agnostica alla query, dove i frame futuri sono sconosciuti.

Le soluzioni esistenti si basano principalmente sulla compressione della cache Chiave-Valore (KV) utilizzando euristiche locali, a livello di token (ad esempio, recenza, ridondanza temporale o salienza basata sulla norma). Il documento sostiene che questi metodi soffrono di una limitazione fondamentale: non ottimizzano esplicitamente la rappresentatività globale della memoria mantenuta. Di conseguenza, indizi che sono individualmente deboli ma collettivamente importanti (come dettagli visivi statici o strutture distribuite temporalmente) vengono spesso scartati perché mancano di salienza locale al momento della compressione.

Metodologia: CoRDS

Gli autori propongono CoRDS (Selezione Rappresentativa e Diversa basata su Coreset), un framework senza addestramento e agnostico alla query che riformula la compressione della cache KV come un problema di selezione di un coreset rappresentativo. Invece di valutare i token indipendentemente, CoRDS seleziona un piccolo sottoinsieme che copre geometricamente la cache visiva accumulata.

Il metodo opera su tre principi fondamentali:

1. Rappresentazione KV Congiunta e Copertura a Due Criteri

Gli autori ipotizzano che una selezione efficace debba tenere conto sia delle Chiavi (che determinano la struttura di recupero) sia dei Valori (che determinano le informazioni lette dall'attenzione).

• Rappresentazione: I token sono rappresentati in uno spazio di caratteristiche congiunto $\phi^{(KV)}_i = [k_i; v_i]$.
• Obiettivo: Viene definita una metrica di distanza a due criteri $d_\alpha(i, S)$ per misurare la distanza da un token candidato $i$ all'insieme selezionato $S$, bilanciando gli errori di approssimazione nello spazio delle chiavi e nello spazio dei valori:
  $$d_\alpha(i, S) = \min_{j \in S} \left[ \alpha \|k_i - k_j\|^2 + (1-\alpha) \|v_i - v_j\|^2 \right]$$
  dove $\alpha \in [0, 1]$ controlla il compromesso. I risultati empirici suggeriscono che favorire i valori ($\alpha < 0.5$) produce prestazioni migliori.
• Ottimizzazione: Il sottoinsieme viene selezionato in modo greedy utilizzando una regola D2-style farthest-first, che semina i centri dei cluster in proporzione alla loro distanza quadrata dai centri precedentemente scelti. Questo fornisce una garanzia di approssimazione $O(\log k)$ per l'obiettivo k-means.

2. Diversità Ortogonale per la Non-Ridondanza

Una selezione basata puramente sulla copertura potrebbe produrre un coreset ridondante in cui più token giacciono in direzioni simili nello spazio delle caratteristiche. Per affrontare ciò, CoRDS introduce un termine anti-ridondanza ortogonale.

• Meccanismo: Per un token candidato, il metodo calcola il vettore residuo ortogonale allo span delle chiavi (e dei valori) attualmente selezionati.
• Valutazione: Un punteggio di novità basato sulla norma quadrata di questo residuo viene aggiunto come bonus soft al punteggio di copertura. Ciò è motivato dalla selezione di sottoinsiemi log-determinante, che garantisce un'approssimazione $(1 - e^{-1})$ per la massimizzazione submodulare monotona.
• Punteggio Finale: Il punteggio di selezione combina la distanza a due criteri e la novità ortogonale:
  $$\text{score}(i | S_t) = e^{d_\alpha(i, S_t)} + \lambda \cdot \widehat{\text{Orth}}(i | S_t)$$

3. Compressione Selettiva per Livello e Riuso a Cascata

Per minimizzare l'overhead computazionale:

• Selezione del Livello: Il selettore di coreset viene applicato solo ai primi 25% dei livelli del decoder, dove la ridondanza visiva è massima. I livelli successivi, che codificano caratteristiche condizionate dal compito, rimangono non compressi.
• Cascata Cross-Layer: Un piccolo insieme di livelli "ancora" esegue la selezione completa. I livelli "follower" riutilizzano gli indici dei token selezionati dai loro livelli ancora senza ricalcolare la selezione, riducendo significativamente la latenza preservando al contempo le rappresentazioni specifiche per livello.

Contributi Chiave

1. Visione del Coreset per la Compressione in Streaming: Un passaggio dal pruning locale dei token a una formulazione agnostica alla query e orientata alla copertura, che seleziona una memoria compatta rappresentativa del contesto video accumulato.
2. Copertura Rappresentativa KV Congiunta: L'introduzione di una rappresentazione chiave-valore congiunta e di un obiettivo a due criteri che bilancia esplicitamente la struttura di recupero (chiavi) e il contenuto di output (valori), dimostrando che la selezione in un solo spazio è subottimale.
3. Diversità Ortogonale: Un meccanismo anti-ridondanza fondato sulla selezione di sottoinsiemi log-determinante che favorisce i candidati che contribuiscono con nuove direzioni allo spazio delle caratteristiche, prevenendo lo spreco del budget di token su informazioni ridondanti.

Risultati Sperimentali

Il metodo è stato valutato su quattro VLM open-source (Qwen2-VL, Qwen2.5-VL, LLaVA-NeXT-Video) su cinque benchmark (EgoSchema, MLVU, VideoMME, OVO-Bench, StreamingBench).

• Prestazioni: Con budget di cache fissi (3K e 6K token), CoRDS supera costantemente le linee di base euristica come InfiniPot-V e StreamMem.
  • Su MLVU, CoRDS ha migliorato le prestazioni del +4.2% rispetto alla migliore linea di base con un budget di 6K.
  • Con rapporti di compressione aggressivi (1/16), CoRDS spesso eguaglia o supera le prestazioni della linea di base Full KV (non compressa), suggerendo che quali token vengono mantenuti è più critico di quanti.
• Efficienza in Streaming: Nei benchmark di streaming (OVO-Bench, StreamingBench), CoRDS ha mostrato guadagni nelle tracce backward, real-time e forward, in particolare in compiti che richiedono prove disperse su lunghe durate (ad esempio, Ragionamento Prospettico, Conteggio).
• Analisi della Copertura: L'analisi della Funzione di Distribuzione Cumulativa (CDF) della copertura conferma che CoRDS mantiene un sottoinsieme più rappresentativo della cache completa rispetto alle linee di base, con distanze del coseno inferiori rispetto all'insieme originale dei token.
• Efficienza: La strategia di cascata cross-layer mantiene un footprint di memoria piatto e raggiunge un throughput di prefill comparabile o migliore rispetto alle linee di base, anche per video lunghi fino a 1000 secondi.

Significato e Affermazioni

Il documento afferma che la selezione di un coreset rappresentativo offre un principio più efficace rispetto al pruning a livello di token per la comprensione di video in streaming vincolata dalla memoria. Ottimizzando esplicitamente la copertura geometrica della storia accumulata in uno spazio congiunto chiave-valore, CoRDS mitiga il problema dell'"ago nel pagliaio" intrinseco nel ragionamento su contesti lunghi.

Gli autori sottolineano che il loro approccio è senza addestramento e agnostico alla query, rendendolo immediatamente applicabile ai VLM esistenti basati su transformer senza riaddestramento. I risultati evidenziano che i guadagni di prestazioni negli ambienti di streaming derivano non semplicemente dall'aumento delle dimensioni della cache, ma dal mantenimento di un sottoinsieme di token visivi meno ridondante e più informativo. Il documento conclude che questa fondazione geometrica fornisce un'alternativa principiale alla compressione basata su euristiche per agenti di percezione persistente.