CoStream: Codec-Guided Resource-Efficient System for Video Streaming Analytics

1. Il Problema

L'analisi video in streaming basata su modelli Vision-Language (VLM) sta diventando fondamentale per settori come la sorveglianza, il controllo del traffico e l'automazione industriale. Tuttavia, la scalabilità di questi sistemi è limitata da costi computazionali elevati e colli di bottiglia nelle risorse hardware (GPU).

I principali problemi identificati sono:

• Ridondanza Spaziotemporale: I flussi video contengono una vasta ridondanza (sfondi statici, movimenti prevedibili). Inoltre, l'uso di finestre scorrevoli (sliding windows) per mantenere il contesto temporale causa un'elaborazione ripetitiva di contenuti visivi quasi identici.
• Inefficienza dei Sistemi Esistenti: Le soluzioni attuali si concentrano su singoli componenti (es. solo l'encoder ViT o solo il decoder LLM) e spesso richiedono profilazione offline o training aggiuntivo, rendendole poco adatte a flussi dinamici in tempo reale.
• Colli di Bottiglia End-to-End: L'analisi delle prestazioni rivela che la latenza è dominata da tre fasi: trasmissione dei dati, elaborazione visiva (preprocessing e codifica ViT) e prefilling dell'LLM. I sistemi attuali non ottimizzano queste fasi in modo unificato.
• Sottoutilizzo dei Metadati Codec: I codec video (es. H.264) estraggono già metadati (vettori di movimento, residui) per la compressione, ma i sistemi VLM attuali ignorano queste informazioni, decodificando ogni fotogramma completamente e ricalcolando feature che potrebbero essere riutilizzate.

2. Metodologia: CoStream

CoStream è un sistema di analisi video in streaming guidato dal codec che sfrutta i metadati di compressione come segnale a basso costo per ottimizzare l'intera pipeline, dalla decodifica all'inferenza LLM.

L'architettura si basa su tre pilastri principali:

A. Elaborazione Codec Accelerata da Hardware

• Decodifica in un solo passaggio: Invece di decodificare più volte gli stessi fotogrammi per finestre sovrapposte, CoStream decodifica il flusso compresso una sola volta in modo sequenziale.
• Estrazione Metadati: Durante la decodifica (usando hardware come NVIDIA NVDEC), il sistema estrae metadati compressi (vettori di movimento e residui) senza dover calcolare costosi flussi ottici o analizzare i pixel completi.
• Preprocessing GPU: Tutte le operazioni di pre-processing (ridimensionamento, conversione colore) avvengono direttamente sulla GPU, eliminando il trasferimento dati CPU-GPU.

B. Potatura dei Token Guidata dal Codec (Token Pruning)

Prima che i dati entrino nell'encoder ViT:

• Analisi del Movimento: Il sistema mappa i vettori di movimento e i residui dai blocchi del codec alla griglia dei patch del ViT.
• Mascheratura Dinamica: I patch con movimento vicino allo zero e residui bassi (contenuto statico o prevedibile) vengono identificati come ridondanti.
• Potatura: Solo i patch "dinamici" vengono elaborati dal ViT. Questo riduce drasticamente il numero di token visivi da processare, risparmiando computazione ViT e riducendo la lunghezza della sequenza di input per l'LLM.

C. Aggiornamento Selettivo della Cache Key-Value (Selective KVC Refresh)

Durante la fase di prefilling dell'LLM:

• Riuso Contestuale: Sfruttando la sovrapposizione delle finestre scorrevoli, CoStream riutilizza le chiavi e i valori (KV) dei token che non sono cambiati significativamente.
• Aggiornamento Selettivo: Invece di ricalcolare tutto o riutilizzare ciecamente la cache (che causerebbe deriva semantica), il sistema identifica i token "critici" (es. quelli derivati da fotogrammi I o aree con alto movimento) e li ricalcola.
• Correzione di Posizione: Poiché la posizione assoluta dei token cambia quando la finestra scorre, CoStream applica una correzione basata su RoPE (Rotary Positional Embedding) ai chiavi riutilizzati per mantenere la coerenza semantica senza ricalcolare l'intero stato.

3. Contributi Chiave

1. Ottimizzazione End-to-End Unificata: CoStream è il primo sistema a coordinare ottimizzazioni trasversali su trasmissione, decodifica, elaborazione visiva (ViT) e inferenza linguistica (LLM) utilizzando un'unica fonte di metadati (il codec).
2. Approccio Online e Senza Training: A differenza di sistemi precedenti che richiedono profilazione offline o training aggiuntivo, CoStream opera interamente online utilizzando i segnali nativi del codec, adattandosi dinamicamente al contenuto del video.
3. Riduzione della Ridondanza Computazionale: Introduce due nuove tecniche: la potatura dei patch basata sui vettori di movimento prima del ViT e il refresh selettivo della cache KV nell'LLM, risolvendo il problema della ridondanza sia spaziale che temporale.
4. Implementazione Pratica: Il sistema è stato implementato sopra vLLM (un framework di serving LLM di produzione) e supporta hardware di decodifica video commerciale, dimostrando la fattibilità in scenari reali.

4. Risultati Sperimentali

Il sistema è stato valutato su due VLM all'avanguardia (InternVL3-14B e Qwen3-VL-32B) utilizzando il dataset UCF-Crime.

• Prestazioni (Throughput/Latenza):
  • CoStream raggiunge un miglioramento del throughput fino a 3x rispetto ai sistemi baseline (come Déjà Vu e VLCache).
  • Riduzione della latenza end-to-end fino a 3x.
• Efficienza Computazionale (GPU):
  • Riduzione del calcolo GPU fino all'87% rispetto ai baseline.
  • Riduzione del numero di token elaborati fino all'85% rispetto all'elaborazione completa.
• Accuratezza:
  • Il sistema mantiene un'accuratezza competitiva con una diminuzione minima del punteggio F1 (0-8%), dimostrando che la potatura aggressiva e il riuso della cache non compromettono significativamente la capacità di ragionamento del modello.
• Overhead:
  • L'overhead introdotto dalle logiche di decisione (potatura e correzione cache) è trascurabile (circa 50ms per richiesta, <5% della latenza totale).

5. Significato e Impatto

CoStream rappresenta un cambio di paradigma nell'architettura dei sistemi di visione artificiale in streaming. Invece di trattare il codec video come un semplice componente di compressione per la trasmissione, CoStream lo eleva a componente centrale del sistema di inferenza.

• Scalabilità: Permette di gestire un numero molto maggiore di flussi video con la stessa infrastruttura GPU, rendendo economicamente fattibile l'analisi video su larga scala (es. intere città).
• Efficienza Energetica: La drastica riduzione delle operazioni FLOPs si traduce in un minore consumo energetico, cruciale per i data center.
• Generalizzabilità: L'approccio è agnostico rispetto al modello VLM specifico e può essere adattato a diversi codec (H.264, H.265, AV1) e scenari (dalle telecamere di sorveglianza ai droni), offrendo una soluzione robusta per l'era dei modelli multimodali su larga scala.