🤖 AI

Rethinking Video Token Compression with a Global Codebook: Learning Once, Compressing Everywhere

Il documento propone **ONCE**, un framework plug-in per la compressione dei token video che sposta il costoso processo di compressione offline apprendendo una volta un codebook globale sensibile alle frequenze, consentendo una compressione online efficiente e agnostica rispetto al modello che riduce significativamente la latenza di inferenza pur mantenendo prestazioni competitive nei benchmark di comprensione video.

Autori originali: Jiayang He, Tianling Xu, Diancheng Kang, Huaide Jiang, Junyan Bai, Shaoming Zheng, Xuan Song

Pubblicato 2026-08-04

📖 8 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Jiayang He, Tianling Xu, Diancheng Kang, Huaide Jiang, Junyan Bai, Shaoming Zheng, Xuan Song

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot super intelligente come capire i film. Per farlo, scomponi ogni fotogramma del film in migliaia di minuscoli "pixel" di significato digitale, chiamati token. Il robot legge poi questa enorme lista di token come una frase per capire cosa sta succedendo. Il problema è che i film sono lunghi e pieni di ripetizioni. Se un personaggio sta fermo in una stanza per dieci secondi, il robot è costretto a leggere lo stesso identico token "fermo in una stanza" migliaia di volte di seguito. È come leggere un libro dove la parola "il" viene ripetuta un milione di volte solo per riempire spazio; spreca la potenza cerebrale del robot e lo rende incredibilmente lento nel rispondere alle domande. Gli scienziati hanno cercato di risolvere il problema insegnando al robot a saltare le parti noiose o a fondere quelle simili mentre guarda il film, ma questo di solito richiede al robot di fare calcoli extra per ogni singolo film che vede, il che è comunque molto lento e costoso.

Questo articolo presenta un nuovo modo per gestire la cosa chiamato ONCE. Inveve di far fare al robot il lavoro duro di ordinare e saltare le parti ogni volta che guarda un nuovo video, i ricercatori hanno deciso di fare il lavoro pesante prima che il robot veda un film. Hanno creato un "Global Codebook" (Codice Globale), che è essenzialmente un indice gigante e pre-confezionato dei pattern visivi più comuni trovati in migliaia di ore di video. Immaginalo come una biblioteca dove ogni libro è già stato riordinato sullo scaffale perfetto. Quando arriva un nuovo film, il robot non ha bisogno di capire come organizzarlo da zero; deve solo cercare i pattern nel suo indice pre-esistente, prendere gli "scaffali" rilevanti e farne la media. Questo permette al robot di elaborare i video molto più velocemente perché sta solo facendo una rapida ricerca invece di un calcolo complesso ogni volta. I ricercatori hanno scoperto che questo metodo funziona incredibilmente bene, specialmente quando sono costretti a usare pochissimi token, mantenendo il robot veloce senza fargli dimenticare ciò che sta guardando.

Il Problema: Il Cervello Sovraccarico del Robot

I Video Large Language Models (Video-LLM) sono come investigatori super-potenziati che possono guardare un video e rispondere a domande su di esso. Per farlo, trasformano il video in una lunga stringa di token digitali. Ma ecco l'inghippo: se dai all'investigatore un film di due ore, la stringa di token diventa così lunga da sovraccaricare la memoria dell'investigatore.

Peggio ancora, i film sono pieni di ridondanza. Se una scena mostra un gatto seduto su un divano per cinque minuti, l'encoder del video genera migliaia di token che dicono tutti "gatto sul divano". L'investigatore deve leggerli tutti, anche se sono tutti uguali. I metodi esistenti cercano di risolvere questo problema chiedendo all'investigatore di "potare" (tagliare fuori) o "fondere" (combinare) questi token mentre guarda il video. Ma questo è come chiedere all'investigatore di fermarsi e riorganizzare i suoi appunti per ogni singolo film che vede. Richiede tempo ed energia extra ogni singola volta, e le regole per l'organizzazione cambiano a seconda di quale investigatore (modello) si sta utilizzando.

La Soluzione: ONCE e il "Global Codebook"

Gli autori di questo articolo, Jiayang He e il suo team, hanno proposto un approccio diverso. Si sono chiesti: "E se facessimo l'organizzazione una volta per tutti, invece di chiedere all'investigatore di farlo ogni volta?"

Hanno costruito un sistema chiamato ONCE (Offline-to-Online Video Token Compression). Ecco come funziona, usando una semplice analogia:

Immagina di essere un bibliotecario che deve smistare milioni di libri.

Il Vecchio Modo (Metodi Esistenti): Ogni volta che arriva una nuova spedizione di libri, devi fermarti, leggere ogni singolo libro, decidere quali sono simili e poi raggrupparli fisicamente prima di poterli riporre sugli scaffali. Questo richiede molto tempo per ogni singola spedizione.
Il Modo ONCE: Prima che arrivi qualsiasi nuova spedizione di libri, passi del tempo studiando una vasta collezione di libri che già possiedi. Crei un "Indice Maestro" (Global Codebook) che elenca ogni tipo comune di libro che hai mai visto (ad esempio, "Eroe d'azione", "Programma di cucina", "Documentario sulla natura"). Crei anche una regola: "Se un libro somiglia a un 'Documentario sulla natura', mettilo nel Cestino A".

Ora, quando arriva una nuova spedizione di libri (un nuovo video), non hai bisogno di leggerli tutti attentamente. Ti basta dare un'occhiata veloce a ogni libro, controllare il tuo "Indice Maestro" per vedere a quale cestino appartiene e depositarlo lì. Poi prendi tutti i libri nel Cestino A e li riassumi in una singola nota. Questo è incredibilmente veloce perché non stai reinventando le regole di smistamento per ogni nuova spedizione; stai solo usando le regole che hai imparato una volta per tutte.

Come Funziona nel Dettaglio

Apprendimento Offline (La parte "Once"): I ricercatori hanno preso un enorme dataset di video (LLaVA-Video-178K) e hanno analizzato i pattern visivi. Non hanno scelto pattern casuali; si sono assicurati di catturare pattern da diversi momenti del video (stratificazione temporale) e li hanno ponderati in base alla loro frequenza di apparizione. Hanno poi utilizzato una tecnica matematica chiamata "trasporto ottimale" per adattare un Global Codebook di 8.192 "prototipi" rappresentativi (o codewords). Questo codice funge da mappa del mondo visivo.
Compressione Online (La parte "Everywhere"): Quando arriva un nuovo video, il sistema non addestra nulla di nuovo. Semplicemente guarda i token visivi del video e chiede: "A quale dei miei 8.192 prototipi assomiglia questo?". Seleziona i prototipi più frequenti che appaiono nel video, riassegna tutti i token del video a questi prototipi e poi ne fa la media. Questo trasforma migliaia di token in un numero molto più piccolo e gestibile (come 256 o 512) senza perdere il significato fondamentale.

Cosa Hanno Scoperto

Il team ha testato ONCE su quattro diversi benchmark di comprensione video (MVBench, EgoSchema, Video-MME, LongVideoBench) utilizzando due diversi modelli di IA (LLaVA-OneVision-7B e Qwen3.5-9B).

Velocità: I risultati sono stati sorprendenti. ONCE ha ridotto il lavoro che il modello linguistico doveva svolgere di circa il 96% in termini di pre-computazione (prefill FLoks). In termini reali, questo ha reso il sistema 2,96 volte più veloce in media rispetto all'esecuzione senza compressione.
Accuratezza: Di solito, quando si rende un sistema più veloce eliminando dei dati, questo diventa meno intelligente. Ma ONCE è stato sorprendentemente intelligente. Quando il budget di token era molto limitato (consentendo solo 32, 64 o 128 token), ONCE ha ottenuto punteggi più alti rispetto ad altri metodi di compressione. È stato particolarmente bravo in compiti come il conteggio degli eventi o il riconoscimento dei cambiamenti di stato.
Efficienza: Il sistema ha ottenuto questi miglioramenti di velocità senza dover riaddestrare il modello di IA principale. Il codice è stato appreso una volta sola e poi riutilizzato per tutto.

Cosa Hanno Escluso

L'articolo argomenta esplicitamente contro l'idea che la compressione debba essere fatta "online" (durante la riproduzione del video) per ogni singolo video. Hanno dimostrato che fare il lavoro pesante durante l'inferenza (mentre si guarda il video) è inefficiente e ridondante. Hanno anche dimostrato che scegliere semplicemente dei token casuali o utilizzare un set fisso di token per ogni video non funziona bene quanto il loro metodo, che seleziona dinamicamente i prototipi giusti per il video specifico pur mantenendo fisse le regole di raggruppamento.

Inoltre, hanno scoperto che il "Global Codebook" non si limita a memorizzare esempi di addestramento; impara una struttura riutilizzabile. Anche quando testato su video che non aveva mai visto prima (un test di stress con video pubblici), il codice si è comportato meglio dei raggruppamenti casuali, suggerendo che ha davvero catturato la "grammatica" sottostante dei pattern visivi.

In Sintesi

Gli autori suggeriscono che ONCE offre un nuovo modo di pensare all'IA video: invece di far lavorare duramente l'IA per ogni nuovo video, possiamo insegnarle un linguaggio universale di pattern visivi una volta sola, e poi lasciarle parlare quel linguaggio con fluidità e rapidità ogni volta che ne ha bisogno. Sebbene il metodo richieda ancora un codice separato per diversi modelli di IA (perché essi "vedono" le cose in modo diverso), i risultati suggeriscono che questo approccio "impara una volta, comprime ovunque" è un modo potente per rendere l'IA video più veloce ed efficiente senza sacrificare la sua capacità di capire ciò che accade sullo schermo. L'articolo conclude che questo è un passo promettente verso la resa pratica della comprensione di video lunghi per l'uso quotidiano.

Sintesi Tecnica: Ripensare la Compressione dei Token Video con un Codebook Globale (ONCE)

Definizione del Problema

I Modelli Linguistici di Grandi Dimensioni per Video (Video-LLM) rappresentano gli input video come sequenze dense di token visivi, dove la lunghezza della sequenza scala con la risoluzione temporale e spaziale. Questa densità crea due colli di bottiglia primari:

Ridondanza Computazionale: I fotogrammi e le patch vicine spesso contengono informazioni visive ripetute, portando a una computazione non necessaria nell'elaborazione successiva del modello linguistico.
Inefficienza dei Metodi Esistenti: Le attuali tecniche di compressione dei token (pruning e merging) operano online durante l'inferenza. Esse generano prima feature visive dense e poi le comprimono indipendentemente per ogni video in input. Questo approccio comporta una ripetuta computazione per ogni singolo video per stimare l'importanza o la similarità dei token da zero, non riesce a condividere la conoscenza di compressione tra diversi video e spesso si affida a design specifici per il modello (ad esempio, l'importanza basata sull'attenzione) che ne limitano la generalizzabilità.

Metodologia: Framework ONCE

Gli autori propongono ONCE, un framework plug-in per la compressione dei token video che sposta il paradigma dalla compressione online, specifica per ogni istanza, a un approccio offline-to-online. L'idea centrale è quella di apprendere un codebook globale riutilizzabile e consapevole delle frequenze in uno spazio di feature visive congelato e riutilizzarlo per una compressione online leggera.

1. Fase Offline: Apprendere Una Volta (Learning Once)

ONCE apprende un codebook visivo globale $\mathcal{C} = [c_1, \dots, c_K]^T$ da un corpus video su larga scala (ad esempio, LLaVA-Video-178K) senza aggiornare i parametri del Video-LLM.

Sketching del Corpus Stratificato Temporalmente: Invece di un campionamento uniforme, il corpus di addestramento è stratificato lungo la linea temporale per preservare la diversità temporale. I video sono divisi in bin e aggiornamenti di tipo Lloyd sferico partizionano i token normalizzati in gruppi locali. Ogni gruppo è rappresentato da un token di sketch pesato ( $r_u$ ) e da un peso del conteggio dei token sorgente ( $w_u$ ).
Fitting di un Codebook Globale Bilanciato: Per evitare che i pattern visivi dominanti sovrastino il codebook, ONCE impiega una strategia di assegnazione bilanciata. Definisce un peso effettivo $\omega_u$ che incorpora la massa dei token sorgente e la correzione per la distribuzione a coda lunga (long-tail) della frequenza delle categorie.
Ottimizzazione: L'assegnazione del codebook è formulata come un problema di trasporto ottimale regolarizzato dall'entropia (risolto tramite iterazioni di Sinkhorn). Ciò garantisce un utilizzo bilanciato dei codeword preservando al contempo l'importanza dei rappresentanti ad alta massa. Il codebook risultante è fisso dopo l'addestramento.

2. Fase Online: Comprimere Ovunque (Compressing Everywhere)

Durante l'inferenza, il codebook congelato funge da prior di raggruppamento per arbitrarie sequenze video in input.

Selezione Attiva dei Codeword: Per un nuovo video, i token visivi densi vengono abbinati ai codeword più vicini nel codebook globale. Il sistema conta la frequenza delle assegnazioni ( $n_k$ ) e seleziona i top- $B$ codeword attivi ( $K_B$ ) con le frequenze più elevate. Questo adatta la geometria globale al contenuto specifico del video corrente.
Riassegnazione e Pooling dei Token: I token sorgente vengono riassegnati ai codeword attivi selezionati. Ogni gruppo di token viene quindi compresso in un singolo token continuo tramite mean pooling delle originali embedding sorgente.
Output: L'output è una sequenza compatta di token continui (non indici discreti), ordinata per frequenza dei corrispondenti codeword attivi. La lunghezza della sequenza $M$ soddisfa $M \le \min(N, B)$ , dove $N$ è il numero originale di token e $B$ è il budget.

Distinzione Chiave: A differenza dei tokenizer discreti (ad esempio, VQ-VAE), ONCE non sostituisce le feature con codici discreti. Invece, utilizza il codebook per definire le strutture di raggruppamento, mentre la rappresentazione compressa rimane un'aggregazione continua delle feature del video in input.

Contributi Chiave

Paradigma Offline-to-Online: Introduzione di un framework che apprende un prior di raggruppamento a livello di corpus una sola volta e lo riutilizza per video non visti, eliminando la necessità di ottimizzare la strategia di compressione per ogni singolo video.
Apprendimento di un Codebook Globale: Un metodo per apprendere un codebook globale bilanciato da sketch pesati sul conteggio delle sorgenti, utilizzando la selezione consapevole del budget e il mean pooling dei token sorgente.
Efficienza Plug-and-Play: Il metodo è agnostico rispetto al modello per quanto riguarda il meccanismo di compressione (purché lo spazio delle feature sia congelato) e raggiunge un'accuratezza competitiva con una latenza di inferenza significativamente ridotta.

Risultati Sperimentali

Gli autori hanno valutato ONCE su quattro benchmark (MVBench, EgoSchema, Video-MME, LongVideoBench) utilizzando due backbone (LLaVA-OneVision-7B e Qwen3.5-9B).

Trade-off Accuratezza-Efficienza:
- Sotto budget di token ristretti ( $B \in \{32, 64, 128\}$ ), ONCE ha ottenuto l'accuratezza più elevata tra tutti i baseline di compressione confrontati (inclusi ForestPrune e FastVID) in tutti i benchmark.
- Con budget più ampi ( $B=512, 1024$ ), ONCE è rimasto competitivo, sebbene alcuni baseline adattivi all'input l'abbiano occasionalmente superato in scenari specifici.
Latenza di Inferenza:
- ONCE ha ottenuto la minore latenza di inferenza tra i metodi confrontati.
- A $B=512$ , ONCE ha ridotto i FLOPs di prefill dei token visivi di circa il 96% e ha ottenuto un'accelerazione end-to-end di (2.96 ± 1.21)× (media ± deviazione standard) rispetto all'inferenza densa.
- L'uso della memoria ha visto riduzioni modeste (~15%), principalmente a causa della riduzione della lunghezza della sequenza, sebbene i pesi del modello rimangano residenti.
Generalizzazione: L'approccio si è trasferito con successo al backbone Qwen3.5-9B utilizzando un singolo codebook addestrato sullo stesso corpus, dimostrando robustezza attraverso diverse architetture di modelli.

Significato e Claim

Il paper sostiene che ONCE affronta l'inefficienza fondamentale dell'attuale compressione dei Video-LLM, che tratta la compressione come un calcolo aggiuntivo e ripetitivo nella fase di inferenza. Spostando il lavoro pesante della logica di raggruppamento a una fase offline, ONCE:

Disaccoppia la conoscenza di compressione dalle specifiche sequenze video in input, permettendo il riutilizzo della conoscenza.
Riduce l'overhead computazionale delle decisioni di compressione durante l'inferenza.
Mantiene un'elevata performance nei task, particolarmente quando i budget dei token sono vincolati, sfruttando le statistiche a livello di corpus per guidare l'aggregazione dei token.

Gli autori notano che, sebbene il metodo riduca significativamente i costi di prefill, l'accelerazione end-to-end è limitata dalle fasi di encoding e decoding visivo, che rimangono invariate. Riconoscono inoltre che il codebook fisso è specifico per lo spazio delle feature visive del backbone target e che il metodo attualmente non riduce il costo del visual encoder iniziale.