Sintesi Tecnica: Scalabilità Lineare dei VLM per Video per la Comprensione di Video Lunghi (StateKV)

1. Definizione del Problema

I modelli Vision-Language (VLM) per video sono sempre più critici per applicazioni a lungo termine e in streaming, come la guida autonoma e la robotica incarnata, che richiedono l'integrazione di prove accumulate nell'arco di minuti o ore. Tuttavia, esiste un collo di bottiglia fondamentale: il costo computazionale per elaborare video lunghi nei classici VLM cresce in modo quadratico ($O(N^2)$) rispetto al numero di frame ($N$). Ciò accade perché le architetture dominanti si affidano all'auto-attenzione spazio-temporale, dove ogni frame presta attenzione a tutti i token video precedenti.

Le strategie di efficienza esistenti tentano di mitigare questo problema attraverso:

1. Sottocampionamento di frame o token: Ridurre la dimensione dell'input spesso degrada significativamente le prestazioni, a meno che non venga mantenuta una frazione molto ampia di token (ad es. ~60%).
2. Compressione della cache KV: Una compressione aggressiva può causare la perdita di indizi temporali e spaziali necessari per il ragionamento.
3. Euristiche basate su finestra scorrevole/recenza: Metodi come ReKV elaborano i frame sequenzialmente utilizzando una finestra fissa di frame recenti. Sebbene questi riducano la complessità del prefill a una scala lineare ($O(N)$), si basano su assunzioni ad hoc secondo cui le informazioni più rilevanti siano sempre le più recenti, fallendo spesso nel catturare le dipendenze a lungo raggio necessarie per ragionamenti complessi.

La sfida è ottenere un prefill video a tempo lineare (costo costante per frame) senza sacrificare l'accuratezza della piena auto-attenzione o richiedere modifiche architettoniche e fine-tuning.

2. Metodologia: StateKV

Gli autori introducono StateKV, un metodo di inferenza che adatta i VLM pre-addestrati e congelati per la comprensione di video lunghi a un prefill video a tempo lineare. L'intuizione centrale è che l'attenzione a lungo raggio nei VLM pre-addestrati è altamente strutturata: mentre la maggior parte delle interazioni avviene all'interno del singolo frame, le interazioni temporali a lungo raggio si concentrano su un piccolo set di token "sink temporali" (pozzi temporali) che evolvono lentamente nel tempo.

Assunzioni Fondamentali

StateKV si basa su due assunzioni empiriche riguardanti l'attenzione nei VLM pre-addestrati:

1. Concentrazione dell'Attenzione Inter-frame: Per ogni dato frame, la maggior parte della massa di attenzione cross-frame è concentrata su un piccolo set di token storici ($K \ll N$), indipendentemente dalla lunghezza totale del video.
2. Evoluzione Lenta dello Stato Temporale: Il set di questi token "sink" evolve lentamente. Lo stato utile per il frame $n+1$ può essere ben approssimato dallo stato del frame $n$ combinato con i token del frame $n+1$.

Architettura e Meccanismo

StateKV opera tramite una struttura a due cache per ogni layer del transformer, mantenendo un backbone congelato:

1. Stato Dettagliato ($D_n$): Una cache a lunghezza completa che memorizza tutti i token visivi di ogni frame elaborato finora. Questa cache non viene mai interrogata durante la fase di prefill, ma viene preservata per la fase finale di decodifica del testo per garantire che non venga persa alcuna informazione durante la generazione.
2. Stato Compresso ($C_n$): Uno stato ricorrente a capacità fissa (ad es. 1024 token), utilizzato solo durante la fase di prefill del video per approssimare le interazioni cross-frame.

Il Processo:

• Prefill in Streaming: Man mano che i frame arrivano, il modello li elabora incrementalmente. Il frame $n$ presta attenzione alla concatenazione dei token del frame corrente e dello Stato Compresso proveniente dal frame $n-1$.
• Selezione Basata sull'Importanza: Dopo l'elaborazione del frame $n$, lo Stato Compresso viene aggiornato. Il modello calcola i punteggi di attenzione (solo video) per tutti i token candidati (lo stato compresso precedente + i token del frame corrente). Seleziona i top-$B$ token (dove $B$ è il budget fisso) per formare il nuovo Stato Compresso $C_n$, espellendo le voci a bassa importanza.
• Decodifica: Una volta elaborati tutti i frame, inizia la generazione testuale autoregressiva standard. Fondamentalmente, la decodifica condiziona sullo Stato Dettagliato ($D_N$), che contiene tutti i token video originali, garantendo che la fase di generazione abbia accesso all'intero contesto.

Questo design scinde la complessità della codifica video (lineare, $O(N)$) dalla fedeltà della generazione finale (contesto completo).

3. Contributi Chiave

• Prefill a Tempo Lineare senza Fine-Tuning: StateKV consente ai VLM pre-addestrati e congelati di elaborare video lunghi con una complessità computazionale lineare ($O(N)$) e un costo costante per frame, senza richiedere modifiche all'architettura o ri-addestramento.
• Approssimazione Principata della Piena Attenzione: A differenza dei metodi a finestra scorrevole che si affidano alla recenza, StateKV utilizza un meccanismo basato sull'importanza per trasportare in avanti i "sink temporali". Ciò fornisce un'approssimazione più rigorosa della piena auto-attenzione, catturando dipendenze a lungo raggio che le euristiche basate sulla recenza perdono.
• Tradeoff tra Calcolo e Accuratezza: Riducendo drasticamente i FLOP richiesti per il prefill del video, StateKV permette agli utenti di eseguire modelli più grandi entro lo stesso budget computazionale. Il paper dimostra che un modello più grande con StateKV può superare un modello più piccolo che utilizza la piena auto-attenzione a un costo computazionale simile o inferiore.
• Validazione Empirica: Il metodo è validato su tre benchmark per video lunghi (VideoMME, MLVU, OVOBench) e sette modelli appartenenti a tre famiglie (InternVL3, Qwen-VL, Eagle2.5) e molteplici scale (da 1B a 8B parametri).

4. Risultati

• Accuratezza vs. Piena Auto-Attenzione: In tutti i benchmark e scale di modello, StateKV rimane vicino alle prestazioni della piena auto-attenzione (Full SA). In media, rimane entro circa l'1% dell'accuratezza di Full SA, superando significativamente i baseline a finestra scorrevole come ReKV (che spesso restano indietro di circa 10 punti).
• Superiorità rispetto ai Metodi Basati sulla Recenza: StateKV supera costantemente ReKV (un metodo dominante a finestra scorrevole) in VideoMME, MLVU e OVOBench. Gli autori attribuiscono ciò al fatto che i pattern di attenzione a lungo raggio nei VLM non sono puramente basati sulla recenza; essi spesso dipendono da "ancore" persistenti provenienti da frame distanti che le finestre scorrevoli scartano.
• Comportamento di Scaling: Le prestazioni migliorano monotonicamente all'aumentare della capacità dello stato compresso ($B$). I modelli più grandi mostrano uno scaling più forte con la dimensione della cache, spesso eguagliando l'accuratezza di Full SA con budget elevati.
• Efficienza Computazionale:
  • StateKV riduce drasticamente i FLoli per il prefill del video.
  • Analisi del Break-even: Per video sufficientemente lunghi, eseguire un modello più grande (ad es. InternVL3-8B) con StateKV è computazionalmente meno costoso rispetto all'esecuzione di un modello più piccolo (ad es. InternVL3-1B) con Piena Auto-Attenzione.
  • Esempio: StateKV-8B con un budget di cache di 4096 raggiunge il 62,5% di accuratezza su VideoMME con un costo computazionale simile a Full SA-1B (46,2% di accuratezza), ottenendo efficacementmente circa 16 punti di accuratezza in più con lo stesso budget.

5. Significato e Rivendicazioni

Il paper posiziona StateKV come un passo pratico verso una comprensione scalabile dei video lunghi. La sua importanza risiede in:

• Abilitare lo Streaming in Tempo Reale: Raggiungendo un costo costante per frame, StateKV elimina il collo di bottiglia quadratico che attualmente preclude le applicazioni di streaming in tempo reale per video lunghi (ad es. un'auto che guida per un'ora diventa più difficile da interrogare rispetto a una appena partita).
• Ridefinire la Frontiera del Calcolo: Il metodo sposta il paradigma da "comprimere per adattarsi" a "comprimere per approssimare". Dimostra che la ritenzione della memoria basata sull'importanza è un'approssimazione della piena attenzione più forte rispetto alla stretta recenza, permettendo una migliore accuratezza a budget computazionali fissi.
• Generalizzabilità: L'approccio si trasferisce coerentemente attraverso diverse famiglie di modelli e scale di parametri senza richiedere il tuning specifico del modello, suggerendo che la struttura dell'attenzione sottostante (i sink temporali) sia una proprietà robusta degli attuali VLM pre-addestrati.

Gli autori riconoscono i limiti, notando che la validazione meccanicistica è attualmente limitata ai modelli esistenti e agli input testati. Suggeriscono che lavori futuri dovrebbero esplorare se questi pattern di attenzione si mantengano attraverso backbone e regimi video più ampi. Tuttavia, nell'ambito testato, StateKV offre una soluzione robusta e senza necessità di addestramento al problema della scalabilità dei video lunghi.