Sintesi Tecnica: ProtoKV

Definizione del Problema

La comprensione di video in streaming (Streaming Video Understanding - SVU) richiede sistemi in grado di elaborare flussi video continui e rispondere a query asincrone in tempo reale, operando sotto rigidi vincoli di memoria GPU e latenza. Una sfida critica in questo contesto è la query ritardata (delayed query): indizi visivi decisivi possono apparire brevemente e precocemente in uno stream, ma la query arriva significativamente più tardi, dopo che sono stati elaborati molti frame successivi.

Sotto un budget di memoria limitato, gli approcci standard affrontano un dilemma:

1. Finestra Scorrente (Sliding Window - SWA): Conserva solo i token più recenti, garantendo una memoria costante ma perdendo in modo irreversibile le evidenze una volta che queste escono dalla finestra.
2. Ritenzione/Compressione dei Token: Tenta di mantenere un sottoinsieme di token storici. Tuttavia, man mano che il ritardo ($\Delta$) tra l'evidenza e la query aumenta, questi metodi soffrono di "pressione da aggiornamento post-evidenza" (post-evidence update pressure). Gli indizi decisivi vengono spesso espunti o diluiti perché il sistema deve prendere decisioni di ritenzione agnostiche rispetto alla query, senza conoscere quali futuri token saranno rilevanti. Una volta che un'istanza specifica di un token viene scartata, la sua associazione con un indizio fine-grained viene persa.

Il paper sostiene che rappresentare la storia lontana come un insieme di istanze di token trattenute sia un approccio fragile sotto lunghi ritardi. Al contrario, il sistema necessita di un meccanismo che preservi l'evidenza degli eventi passati piuttosto che le specifiche istanze di token, permettendo una degradazione graduale all'aumentare del ritardo.

Metodologia: ProtoKV

ProtoKV è un meccanismo di memoria a footprint costante progettato per modelli LLM video-streaming. Sposta la rappresentazione della storia lontana dalla ritenzione dei token a un approccio basato su uno stato-riassuntivo (summary-state) utilizzando uno stato online a due livelli:

1. Architettura a due livelli

• Near Window (Esatta): Un buffer circolare ($B_{near}$) che memorizza le coppie Key-Value (KV) esatte per gli ultimi $W$ frame. Questo preserva le evidenze fine-grained e temporalmente locali senza approssimazioni.
• Far Memory (Stato Riassuntivo): Un banco di prototipi a capacità fissa ($B_{far}$) di dimensione $K_{max}$ che aggrega la storia più vecchia ed espunta. Invece di memorizzare istanze di token, esso memorizza prototipi centrici sugli oggetti.

2. Meccanismo di Aggiornamento Online

Mentre lo stream video procede, i token vengono espunti dalla near window e assorbiti nella far memory tramite un assegnazione consapevole della continuità (continuity-aware assignment):

• Assegnazione: I token espunti vengono assegnati a un prototipo $k$ minimizzando una funzione di costo online che combina:
  • Similarità nello spazio delle chiavi (clustering di token con chiavi simili).
  • Continuità spaziale (imposizione di un'associazione coerente con il tracking tramite coordinate spaziali).
  • Controllo della obsolescenza (scoraggiamento dell'assegnazione a prototipi che non sono stati aggiornati di recente).
• Aggiornamento del Prototipo: Una volta assegnato, il prototipo viene aggiornato come uno stato riassuntivo persistente:
  • Centri: I centri di Key e Value ($c_k, p_k$) sono aggiornati tramite Media Mobile Esponenziale (EMA).
  • Massa: Un contatore ($n_k$) traccia il numero di token assorbiti.
  • Statistiche Residue: Per evitare la perdita di indizi distintivi attraverso una semplice media, ProtoKV mantiene istogrammi basati sulla Quantizzazione di Prodotto (PQ) dei residui ($r_K = K - c_k$, $r_V = V - p_k$). Ciò cattura la diversità intra-prototipo senza memorizzare i singoli codici dei token.
  • Manutenzione: Il banco subisce una manutenzione leggera, inclusa la decadenza della massa per i prototipi inattivi, la fusione di prototipi ridondanti e il riciclo di slot vuoti.

3. Interfaccia al momento della Query: Sintesi di Pseudo-Token

Al momento della query, ProtoKV espone la far memory al meccanismo di attenzione standard senza modifiche architettoniche:

• Pseudo-Token: Ogni prototipo viene sintetizzato in $S$ pseudo-token KV. Questi sono costruiti combinando il centro del prototipo con pattern residui rappresentativi decodificati dagli istogrammi PQ memorizzati.
• Bias consapevole della Massa (Mass-Aware Bias): Per tenere conto della molteplicità di token riassunti da un prototipo, un bias logaritmico della massa ($b_k = \log n_k$) viene aggiunto ai logit dell'attenzione. Ciò assicura che i prototipi che rappresentano più evidenze esercitino un'influenza proporzionalmente più forte.
• Contesto Fisso: Il contesto finale consiste dai token esatti della near window più il numero limitato di pseudo-token ($L_{context} = W + K_{max} \cdot S$), garantendo un tempo di latenza e un uso della memoria costanti al momento della query, indipendentemente dalla lunghezza dello stream.

Contributi Chiave

1. Meccanismo di Far-Memory: Introduzione di un banco di prototipi a capacità fissa e spaziotemporale coerente, aumentato da statistiche residue per riassumere la storia lontana, allontanandosi dalla ritenzione delle istanze di token.
2. Sintesi di Pseudo-Token: Un metodo senza addestramento (training-free) per sintetizzare pseudo-token KV limitati con pesatura consapevole della massa, consentendo all'attenzione standard di accedere alle evidenze della storia lontana sotto un footprint costante al momento della query.
3. Protocollo di Query Ritardata: Un protocollo di filtraggio per query retrospettiva per valutare la robustezza di SVU contro l'aumento dei ritardi della query mantenendo invariata la ground truth.

Risultati Sperimentali

ProtoKV è stato valutato su quattro benchmark di streaming video (RVS-Ego, RVS-Movie, OVO-Bench, StreamingBench) utilizzando i backbone LLaVA-OV-7B e Qwen2.5-VL-7B.

• Performance: A parità di budget di memoria, ProtoKV supera i baseline a finestra scorrente e i metodi di ritenzione dei token (es. InfiniPot-V). Raggiunge un'accuratezza fino a 12,5 punti percentuali superiore rispetto ai baseline di ritenzione dei token nei regimi di lungo ritardo.
• Robustezza al Ritardo: Sebbene tutti i metodi degradino all'aumentare del ritardo della query ($\Delta$), ProtoKV mostra curve di degradazione significativamente più piatte. Il divario di performance si amplia all'aumentare di $\Delta$, dimostrando che l'approccio dello stato-riassuntivo preserva meglio gli indizi decisivi sotto una pressione di aggiornamento post-evidenza sostenuta.
• Efficienza: ProtoKV mantiene tempi competitivi di Time-To-First-Token (TTFT) e una latenza end-to-end inferiore rispetto ai baseline basati su offloading/retrieval (es. ReKV), che soffrono di overhead di recupero.
• Performance Offline: Quando applicato a benchmark di comprensione video offline (VideoMME, MLVU), ProtoKV rimane competitivo con i metodi di compressione allo stato dell'arte, suggerendo la sua utilità anche oltre gli scenari di streaming.

Significato e Assertions

Il paper sostiene che ProtoKV affronti un limite fondamentale nella comprensione video in streaming: la fragilità delle strategie di ritenzione dei token sotto lunghi ritardi. Passando dalla ritenzione di specifiche istanze di token al mantenimento di uno stato-riassuntivo della storia lontana, ProtoKV permette a indizi sparsi e decisivi di sopravvivere a molti aggiornamenti successivi senza essere sovrascritti o diluiti.

Gli autori sottolineano che questo design è studiato per query ritardate, dove le risposte dipendono da occorrenze di eventi passati piuttosto che dal contenuto visivo istantaneo. I risultati suggeriscono che per sistemi interattivi che richiedono una manutenzione sempre attiva, agnostica rispetto alla query e con footprint fissi sul dispositivo, rappresentare la storia lontana come uno stato riassuntivo compatto e centrico sugli oggetti è un punto operativo più efficace rispetto alle finestre scorrenti o alla selezione dei token. Il lavoro evidenzia il valore della memoria a stato-riassuntivo per sistemi di streaming stabili sotto una pressione di aggiornamento sostenuta.