Riepilogo Tecnico: EarlyTom

Enunciato del Problema

I Modelli Linguistici su Grande Scala per Video (Video-LLM) hanno dimostrato capacità solide nella comprensione video, ma affrontano ostacoli significativi al dispiegamento pratico a causa dell'inefficienza computazionale nel processare enormi quantità di token visivi. Sebbene i recenti metodi di compressione dei token raggiungano bassi rapporti di ritenzione dei token con una perdita minima di accuratezza, operano prevalentemente nella fase tardiva del processo di prefilling (dopo l'encoder visivo) o all'interno del LLM stesso.

Il profilo di latenza rivela un collo di bottiglia critico: la fase di codifica visiva consuma una porzione sostanziale del Time-to-First-Token (TTFT). Nei modelli baseline, la codifica visiva rappresenta il 36,3% del TTFT. Nei metodi all'avanguardia ottimizzati per la latenza di prefill del LLM (ad esempio, HoliTom, VisionZip), questa proporzione sale rispettivamente al 55,8% e al 68,4%, poiché tali metodi lasciano l'encoder visivo non ottimizzato. Inoltre, le strategie di compressione esistenti introducono spesso un sovraccarico computazionale non trascurabile durante l'elaborazione dei token, aumentando ulteriormente la latenza. Inoltre, i metodi standard di selezione Top-K dei token sono suscettibili agli "attention sinks" (token specifici che attirano costantemente punteggi di attenzione sproporzionatamente alti indipendentemente dal contenuto), portando a una compressione distorta e a una potenziale perdita di informazioni semantiche nei frame dinamici.

Metodologia: EarlyTom

Gli autori propongono EarlyTom, un framework di compressione dei token senza addestramento progettato per eseguire la compressione precocemente all'interno dell'encoder visivo e utilizzare una strategia di selezione spaziale disaccoppiata. Il framework è composto da due fasi principali:

1. Fusione dei Frame nell'Encoder Visivo Interno (Compressione Temporale)

Questa fase comprime le informazioni visive ridondanti durante il processo di codifica per ridurre il numero di token prima che raggiungano il proiettore o il LLM.

• Segmentazione dei Frame in Streaming: Il video in input viene segmentato in modo adattivo in base alla similarità dei frame. La similarità coseno tra frame consecutivi viene calcolata e livellata utilizzando una Media Mobile Esponenziale (EMA). Un confine di segmento è definito quando la similarità livellata scende sotto una soglia ($\tau_{seg}$).
• Fusione dei Frame Centrali: All'interno di ogni segmento, i frame centrali (esclusi il primo e l'ultimo) vengono fusi se sono altamente simili ai loro vicini e più simili tra loro rispetto alla coppia successiva.
• Fusione dei Frame Ponderata: I frame fusi vengono generati tramite una fusione ponderata delle caratteristiche del frame, dove i pesi sono determinati dai punteggi di similarità. Ciò garantisce che la rappresentazione fusa rimanga concentrata attorno ai contenuti semanticamente importanti riducendo al contempo la ridondanza temporale.

2. Selezione Disaccoppiata dei Token Spaziali

Per affrontare il bias introdotto dagli attention sink e ridurre ulteriormente il numero di token, il metodo impiega una strategia di selezione co-progettata a livello di sistema dopo la fusione dei frame.

• Decomposizione Dinamica vs Statica: I frame fusi sono divisi in insiemi dinamici (frame iniziale e finale dei segmenti, dotati di alto potere discriminatorio) e statici (frame centrali).
• Selezione Globale Top-K (Dinamica): Per i frame dinamici, viene eseguita una selezione globale Top-K basata sui punteggi di attenzione per token per preservare i token sensibili al movimento lungo la dimensione temporale.
• Selezione Top-K a Finestra Locale (Statica): Per i frame statici, per evitare che il bias degli attention sink domini la selezione, i frame sono divisi in finestre locali. All'interno di ogni finestra, viene selezionato il token con il punteggio di attenzione massimo. Ciò preserva la distribuzione spaziale originale e mitiga gli effetti negativi degli attrattori strutturali.
• Co-progettazione di Sistema: Per migliorare l'efficienza, la selezione dei token statici, computazionalmente più leggera, viene delegata alla CPU, mentre la GPU gestisce la selezione dei token dinamici, più intensiva, sfruttando risorse di calcolo eterogenee.

Contributi Chiave

1. Fusione dei Frame nell'Encoder Visivo Interno: Un meccanismo che comprime le informazioni visive ridondanti durante la fase di codifica, riducendo efficacemente i token visivi con sovraccarico trascurabile e abbassando significativamente il TTFT.
2. Selezione Disaccoppiata dei Token: Una strategia che separa i frame in insiemi dinamici e statici, applicando schemi di campionamento distinti (Top-K Globale vs Top-K a Finestra Locale) per ridurre i token senza introdurre bias dagli attention sink.
3. Prestazioni All'Avanguardia: Esperimenti estesi sui modelli LLaVA-OneVision-0.5B e 7B dimostrano che EarlyTom raggiunge un'accelerazione superiore mantenendo un'accuratezza paragonabile ai baseline a token completo.

Risultati Sperimentali

Valutato su una singola GPU NVIDIA A100 utilizzando LLaVA-OneVision-7B e quattro benchmark (MVBench, EgoSchema, LongVideoBench, VideoMME):

• Efficienza: EarlyTom riduce il TTFT fino a 2,65× (da 889 ms a 336 ms al 10% di ritenzione) e riduce i FLOPs fino al 61% rispetto al baseline a token completo. Supera costantemente altri metodi senza addestramento (ad esempio, VisionZip, HoliTom, FastVID) in termini di throughput e latenza su vari rapporti di ritenzione (10%–25%).
• Accuratezza: Il metodo mantiene una qualità a valle competitiva. A un rapporto di ritenzione del 10%, EarlyTom ottiene un punteggio medio di benchmark di 56,2 (96,2% del baseline a token completo), superando altri metodi che subiscono una significativa degradazione dell'accuratezza sotto potature aggressive.
• Generalizzabilità: L'approccio è validato sulle architetture LLaVA-Video-7B e Qwen2.5-VL-7B, mostrando miglioramenti coerenti nella riduzione dei FLOPs e nell'accelerazione del TTFT preservando l'accuratezza.
• Ablazione: La rimozione della fusione dei frame o della strategia di selezione disaccoppiata comporta un degrado delle prestazioni, confermando la necessità di entrambi i componenti per bilanciare efficienza e fedeltà.

Significato

Il documento afferma che EarlyTom affronta un collo di bottiglia fondamentale nel dispiegamento dei Video-LLM spostando il paradigma di compressione dalla fase tardiva (post-encoder) alla fase precoce (all'interno dell'encoder visivo). Ottimizzando direttamente il componente più dispendioso in termini di tempo della pipeline di inferenza (codifica visiva) e introducendo una strategia di selezione spaziale consapevole del bias, EarlyTom abilita un'inferenza significativamente più veloce (TTFT inferiore) e un throughput più elevato senza sacrificare le prestazioni del modello. Questo lavoro getta le basi per il dispiegamento pratico dei Video-LLM in scenari produttivi reali, sensibili alla latenza, dove le risorse computazionali sono limitate.