EVATok: Adaptive Length Video Tokenization for Efficient Visual Autoregressive Generation

Each language version is independently generated for its own context, not a direct translation.

Immagina di dover inviare un video a un amico, ma hai una connessione internet molto lenta e devi risparmiare dati. Come fai?

Il Problema: La "Bottiglia di Acqua" Fissa

Fino a oggi, i sistemi che comprimono i video per l'intelligenza artificiale funzionavano come se avessero una bottiglia d'acqua della stessa identica grandezza per ogni situazione.

Se devi inviare un video di un paesaggio fermo (es. un muro bianco), usi tutta la bottiglia: è uno spreco enorme!
Se devi inviare un video di un esplosione o di una partita di calcio (tutto in movimento), la stessa bottiglia è troppo piccola: il video diventa sgranato e brutto.

I vecchi sistemi usavano sempre la stessa "bottiglia" (un numero fisso di pezzi di dati, chiamati token) per ogni secondo di video, indipendentemente da quanto fosse semplice o complesso. Questo faceva sprecare risorse o perdere qualità.

La Soluzione: EVATok, lo "Chef Intelligente"

EVATok è come uno chef molto intelligente che decide quanto cibo preparare per ogni ospite in base alla sua fame, non in base a una regola fissa.

Ecco come funziona, diviso in 4 passaggi magici:

1. L'Assaggio (Il "Proxy Tokenizer")

Prima di cucinare davvero, lo chef fa degli assaggi. EVATok prova a comprimere lo stesso video in molti modi diversi (usando pochi pezzi, tanti pezzi, o una via di mezzo) per vedere quale combinazione dà il risultato migliore: massima qualità con il minimo spreco.

Metafora: È come se provassi a impacchettare una valigia in 10 modi diversi per vedere quale occupa meno spazio senza rompere i vestiti.

2. La Mappa del Tesoro (Il "Dataset")

Dopo aver fatto migliaia di assaggi, lo chef crea una mappa. Questa mappa associa ogni tipo di video alla sua "ricetta perfetta" di impacchettamento.

Esempio: "Se il video è un gatto che dorme -> usa 10 pezzi. Se il video è un'auto che corre -> usa 100 pezzi".

3. Il Segretario Veloce (Il "Router")

Non possiamo permetterci di fare 1000 assaggi ogni volta che arriviamo un nuovo video (sarebbe troppo lento!). Quindi, addestriamo un segretario veloce (chiamato Router).
Questo segretario guarda il video per una frazione di secondo e, basandosi sulla sua mappa, dice subito: "Ok, per questo video servono 50 pezzi!". È come un esperto che ti dice subito quanto tempo serve per fare un lavoro senza doverlo calcolare da zero ogni volta.

4. La Cucina Finale (Il "Tokenizzatore Adattivo")

Infine, addestriamo il vero sistema di compressione (il cuoco finale) a lavorare seguendo le istruzioni del segretario.

Quando arriva un video semplice, il sistema usa pochi pezzi (risparmiando dati).
Quando arriva un video complesso, ne usa molti (mantenendo la qualità alta).

Perché è così geniale?

EVATok non è solo un risparmio di dati. È come avere un'auto che cambia automaticamente il cambio in base alla strada:

In autostrada (video statico) va in "cambio alto" per consumare poco.
In salita ripida (video dinamico) va in "cambio basso" per avere tutta la potenza necessaria.

I risultati:
Grazie a questo metodo, EVATok riesce a creare video di altissima qualità usando fino al 24% in meno di dati rispetto ai sistemi precedenti. Significa che l'Intelligenza Artificiale può "vedere" e "creare" video più velocemente, più nitidi e con meno spreco di energia, proprio come un viaggiatore esperto che sa esattamente quanto bagaglio portare per il suo viaggio.

In sintesi: EVATok smette di trattare tutti i video allo stesso modo e inizia a trattarli come le persone: ognuno ha bisogno di una quantità diversa di attenzione e risorse.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema

I modelli generativi video basati su autoregressione (AR) dipendono da tokenizzatori video che comprimono i pixel in sequenze discrete di token. Un problema fondamentale nei metodi esistenti è l'assegnazione uniforme e fissa del numero di token per ogni blocco temporale di un video, indipendentemente dalla complessità del contenuto.

Inefficienza: Questo approccio spreca token su segmenti statici, semplici o ripetitivi, mentre sottodimensiona (underserves) segmenti dinamici o complessi.
Compromesso Qualità-Costo: La lunghezza fissa della sequenza di token determina un compromesso rigido tra la qualità di ricostruzione e il costo computazionale per la generazione a valle.
Limiti delle soluzioni attuali: I metodi adattivi precedenti (come ElasticTok o AdapTok) utilizzano ricerche euristico basate su soglie o programmazione lineare intera (ILP) all'interno di mini-batch. Questi metodi spesso falliscono nel trovare l'assegnazione ottimale globale per ogni singolo campione, legando le decisioni alla composizione del batch o a budget medi rigidi.

2. Metodologia: Il Framework EVATok

EVATok introduce un framework a quattro stadi per creare tokenizzatori video adattivi che assegnano dinamicamente il numero di token in base alla complessità semantica e temporale di ogni video. L'obiettivo è massimizzare il compromesso qualità-costi.

Stadio 1: Addestramento di un "Proxy Tokenizer"

Viene addestrato un tokenizzatore temporaneo (proxy) capace di ricostruire video sotto assegnazioni di token casuali. Questo modello non è il prodotto finale, ma serve come strumento di valutazione per calcolare una metrica di "ricompensa" per diverse assegnazioni.

Stadio 2: Creazione del Dataset e Definizione della "Proxy Reward"

Per identificare l'assegnazione ottimale per ogni video, il framework definisce una nuova metrica chiamata Proxy Reward:
$R_{proxy} = w_q \cdot Q(E_{proxy}, x, a) - w_l \cdot L(a)$
Dove:

$Q$ è la qualità di ricostruzione (es. LPIPS normalizzato).
$L(a)$ è il costo (lunghezza totale dei token).
$w_q$ e $w_l$ sono pesi che riflettono la preferenza tra qualità e efficienza.
Il sistema esegue una ricerca esaustiva (brute-force) su tutte le possibili assegnazioni candidate per un dataset di video, selezionando quella che massimizza la $R_{proxy}$ . Questo genera un dataset di coppie (Video, Assegnazione Ottimale).

Stadio 3: Addestramento del "Router"

Viene addestrato un modello leggero (basato su ViT) chiamato Router. Il suo compito è classificare un video in ingresso e prevedere direttamente l'assegnazione ottimale di token (quella trovata nello Stadio 2) in un'unica passata, evitando la costosa ricerca esaustiva durante l'inferenza.

Stadio 4: Addestramento del Tokenizzatore Adattivo Finale

Il tokenizzatore finale viene addestrato da zero. Durante l'addestramento e l'inferenza, il Router predice l'assegnazione di token per ogni clip video. Il tokenizzatore apprende quindi a ricostruire i video utilizzando esclusivamente le lunghezze di token predette dal router.

Innovazione Chiave: A differenza dei metodi precedenti che usano il proxy tokenizer come soluzione finale, EVATok addestra un modello dedicato (Stage 4) per colmare il "gap di addestramento-inferenza" (training-inference gap), migliorando le prestazioni.
Training Recipe Avanzato: Il framework integra encoder semantici video (come VideoMAE) e discriminatori semantici per allineare le rappresentazioni, migliorando la coerenza temporale e riducendo sfocature e artefatti, anche a scapito di metriche pixel-per-pixel come PSNR.

3. Contributi Chiave

Framework a 4 Stadi: Una pipeline completa che passa dalla stima dell'assegnazione ottimale alla previsione rapida tramite un router, fino all'addestramento del tokenizzatore finale.
Proxy Reward: Una nuova metrica che quantifica formalmente il compromesso qualità-costi, permettendo di definire matematicamente l'assegnazione "ottimale" per ogni video.
Router per Assegnazione Ottimale: Un modello leggero che mappa i video alle loro assegnazioni di token ottimali, rendendo scalabile l'approccio adattivo.
Integrazione Semantica: L'uso di encoder semantici pre-addestrati come discriminatori per migliorare la qualità percettiva e la generazione downstream.

4. Risultati Sperimentali

I risultati sono stati valutati sui dataset UCF-101, K600 e WebVid-10M.

Efficienza e Qualità: EVATok ottiene prestazioni superiori nella ricostruzione video e nella generazione AR (da classe a video) rispetto allo stato dell'arte (SOTA) come LARP e AdapTok.
Risparmio di Token: Rispetto ai baseline a lunghezza fissa, EVATok riduce l'uso medio dei token del 24.4% nella ricostruzione e del 26.2% nella generazione video da UCF-101, mantenendo o migliorando la qualità (misurata con rFVD e gFVD).
Generazione AR: I modelli AR addestrati su sequenze di token adattive generano video di qualità superiore (gFVD più basso) utilizzando meno token rispetto ai modelli basati su sequenze fisse.
Generalizzazione: Il router mostra una buona capacità di generalizzazione su dataset non visti durante l'addestramento (es. da WebVid a UCF-101).

5. Significato e Impatto

EVATok rappresenta un passo avanti significativo verso l'efficienza nei modelli generativi video.

Superamento dell'Approccio Uniforme: Dimostra che l'allocazione dinamica delle risorse (token) basata sulla complessità del contenuto è fondamentale per bilanciare costi e qualità.
Scalabilità: Fornisce un metodo pratico per gestire la variabilità temporale nei video senza ricorrere a ricerche computazionalmente proibitive durante l'inferenza.
Fondamento per Modelli Futuri: L'approccio adattivo apre la strada a modelli autoregressivi più efficienti, capaci di gestire video di durata maggiore e complessità variabile con un costo computazionale ridotto, un requisito essenziale per l'adozione industriale dei modelli generativi video.

In sintesi, EVATok trasforma la tokenizzazione video da un processo statico a uno adattivo e intelligente, ottimizzando l'uso delle risorse computazionali senza compromettere la fedeltà visiva.