💻 computer science

Accelerating Streaming Video Large Language Models via Hierarchical Token Compression

Il paper propone **STC** (Streaming Token Compression), un framework gerarchico "plug-and-play" che accelera i modelli VideoLLM in streaming riducendo la latenza di codifica e pre-filling attraverso il caching dei frame simili e la rimozione dei token visivi meno rilevanti.

Autori originali: Yiyu Wang, Xuyang Liu, Xiyan Gui, Xinying Lin, Boxue Yang, Chenfei Liao, Tailai Chen, Linfeng Zhang

Pubblicato 2026-02-12

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yiyu Wang, Xuyang Liu, Xiyan Gui, Xinying Lin, Boxue Yang, Chenfei Liao, Tailai Chen, Linfeng Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Problema: Il "Sovraccarico" del Cervello Digitale

Immagina di dover guardare un film in diretta su YouTube, ma con un problema: ogni volta che arriva un nuovo fotogramma, il tuo cervello deve fare uno sforzo enorme per analizzare ogni singolo pixel, anche se la scena non è cambiata (pensa a un primo piano di una persona che parla: lo sfondo è sempre lo stesso!).

I modelli di Intelligenza Artificiale che guardano i video (chiamati VideoLLM) soffrono di questo: sono come uno studente che, per leggere una pagina, deve ricontrollare ogni singola lettera, anche se ha già letto la parola un secondo prima. Questo li rende lenti, pesanti e costosi da usare in tempo reale (come nelle telecamere intelligenti o nei visori per la realtà aumentata).

La Soluzione: STC (Streaming Token Compression)

Gli autori hanno creato un sistema chiamato STC, che funziona come un "filtro intelligente" a due livelli. Per capirlo, usiamo due metafore.

1. Il Primo Livello: STC-Cacher (L'Occhio Pigro ma Intelligente)

Immagina di guardare un video di un paesaggio dove le nuvole si muovono lentamente, ma le montagne sono immobili.

Senza STC: Il tuo occhio dovrebbe ridisegnare ogni millimetro della montagna in ogni singolo fotogramma. Uno spreco di energia!
Con STC-Cacher: Il sistema dice: "Ehi, la montagna è identica a un secondo fa, non sprechiamo tempo a ricalcolarla. Copiamola dal fotogramma precedente e concentriamoci solo sulle nuvole che si muovono".

In termini tecnici, il sistema "salva in memoria" le parti che non cambiano (il contenuto statico) e fa i calcoli pesanti solo sulle parti nuove o in movimento (il contenuto dinamico). È come un pittore che non ridisegna tutto il foglio ogni volta, ma aggiunge solo una pennellata dove serve.

2. Il Secondo Livello: STC-Pruner (Il Segretario che Riassume)

Dopo che l'occhio ha visto il video, le informazioni devono essere inviate al "cervello" (il Large Language Model) per essere capite. Ma il cervello riceve troppi dati! È come se un segretario ti consegnasse un libro di 1000 pagine per spiegarti cosa è successo in un video di 10 secondi.

Senza STC: Il cervello deve leggere tutto il libro, rallentando tutto.
Con STC-Pruner: Il sistema agisce come un segretario super efficiente. Prima di darti il libro, lo legge e ti consegna solo un riassunto con i punti chiave.

Come decide cosa tenere? Usa due "ancore":

L'Ancora del Passato: "Questa informazione l'ho già vista nei fotogrammi precedenti? Se sì, scartala".
L'Ancora del Presente: "Questa parte del fotogramma è solo sfondo inutile o c'è qualcosa di importante (un oggetto, un'azione)? Se è solo sfondo, scartala".

Alla fine, al cervello arriva solo la "sostanza" del video.

In sintesi: Perché è una rivoluzione?

Grazie a questo sistema a due livelli (prima risparmiamo fatica nell'osservare, poi inviamo solo l'essenziale al cervello), l'IA diventa:

Molto più veloce: Può rispondere quasi istantaneamente.
Più leggera: Consuma meno memoria e meno energia.
Senza perdere l'intelligenza: Nonostante "tagli" tantissime informazioni inutili, riesce a mantenere quasi il 99% della precisione originale.

È come passare dal dover leggere ogni singola parola di un giornale per capire le notizie, al poter semplicemente leggere i titoli e le frasi più importanti: risparmi tempo, ma sai comunque esattamente cosa è successo!

Riassunto Tecnico: STC (Streaming Token Compression)

1. Il Problema: Il Collo di Bottiglia dello Streaming Video

I modelli linguistici multimodali per video (VideoLLM) faticano a operare in tempo reale in scenari di Streaming Video Understanding (SVU) (es. commento sportivo live o occhiali AR). Il problema risiede in due colli di bottiglia principali:

Ridondanza nel Vision Transformer (ViT): Nei flussi video, i frame consecutivi sono estremamente simili. Elaborare ogni frame interamente attraverso il ViT comporta un enorme spreco di calcolo (il costo di encoding è 2-3 volte superiore rispetto all'analisi di un'immagine singola).
Esplosione dei Token nell'LLM: Man mano che il video procede, la sequenza di token visivi accumulati diventa enorme, aumentando drasticamente la latenza di pre-filling dell'LLM e il consumo di memoria della KV cache.
Vincoli di Causalità: A differenza dei modelli offline, i modelli streaming non possono conoscere il futuro (non hanno accesso all'intero video) né l'istruzione dell'utente (query) prima di aver processato i frame. Pertanto, le tecniche di compressione esistenti basate su "visione globale" o "query-aware" sono inapplicabili.

2. Metodologia: Il Framework STC

Gli autori propongono STC (Streaming Token Compression), un framework gerarchico "plug-and-play" che ottimizza due fasi distinte del processo di inferenza senza richiedere un nuovo addestramento.

A. STC-Cacher (Ottimizzazione della fase ViT)
Invece di eseguire un passaggio completo (forward pass) per ogni frame, STC-Cacher utilizza una strategia di computazione selettiva:

Reference Frame: Ogni $N$ frame, viene scelto un "frame di riferimento" che viene elaborato completamente e i cui stati intermedi (Key, Value, Attention, MLP) vengono memorizzati in una cache.
Non-reference Frame: Per i frame successivi, il modello identifica i token dinamici (quelli che cambiano rispetto al riferimento) calcolando la similarità del coseno tra le proiezioni delle Key.
Selective Recomputation: Vengono ricalcolati solo i vettori Query e Value per i token dinamici, mentre i token statici vengono recuperati direttamente dalla cache. Questo riduce drasticamente il carico computazionale del ViT preservando l'integrità dell'informazione.

B. STC-Pruner (Ottimizzazione della fase LLM)
Per ridurre la lunghezza della sequenza che entra nell'LLM, STC-Pruner utilizza una strategia di pruning a doppio ancoraggio (dual-anchor) che non richiede la query dell'utente:

Temporal Context Anchor (TCA): Rappresenta il contesto storico (la media dei token dei frame passati).
Spatial Context Anchor (SCA): Rappresenta il contesto globale del frame corrente (la media dei token del frame attuale).
Dynamics Scoring: Ogni token riceve un punteggio di "novità" basato sulla sua distanza (dissimilarità) sia dal passato (TCA) che dal presente (SCA). Solo i token con il punteggio di novità più alto (quelli che portano informazioni nuove e rilevanti) vengono mantenuti, mentre gli altri vengono eliminati.

3. Contributi Chiave

Analisi Empirica: Identificazione della necessità di una compressione "causale" (che non guardi al futuro) per lo streaming video.
Framework Plug-and-Play: Una soluzione che può essere integrata in modelli esistenti (sia end-to-end che offline-to-online) senza retraining.
Ottimizzazione Gerarchica: La prima proposta che affronta simultaneamente l'inefficienza dell'encoder visivo (ViT) e l'eccesso di token nel processore linguistico (LLM).

4. Risultati Sperimentali

Il framework è stato testato su benchmark di streaming (OVO-Bench, StreamingBench) e video lunghi (EgoSchema, VideoMME).

Efficienza: Su ReKV, STC ha ridotto la latenza di encoding del ViT del 24,5% e la latenza di pre-filling dell'LLM del 45,3%.
Accuratezza: Nonostante la massiccia compressione, il modello mantiene fino al 99% dell'accuratezza originale.
Superiorità: STC supera i metodi di compressione esistenti (come ToMe o VisionZip) in termini di trade-off tra velocità e prestazioni, dimostrando una maggiore robustezza nelle attività di ragionamento causale e percezione in tempo reale.

5. Significatività

Il lavoro è fondamentale per la transizione dei VideoLLM da strumenti di analisi "offline" (lenti e pesanti) a sistemi di intelligenza artificiale per il mondo reale (veloci e reattivi). La capacità di STC di operare in modo causale e senza istruzioni preventive lo rende una tecnologia abilitante per applicazioni critiche come la robotica, la guida autonoma e l'assistenza tramite dispositivi indossabili.