UniComp: Rethinking Video Compression Through Informational Uniqueness

Il paper presenta UniComp, un nuovo framework di compressione video guidato dall'unicità informativa che, superando i metodi basati sull'attenzione, ottimizza la fedeltà delle rappresentazioni visive sotto vincoli computazionali mediante l'analisi dell'entropia condizionale e l'allocazione adattiva delle risorse.

L'essenziale

Immagina di dover inviare un video via WhatsApp a un amico, ma la tua connessione è lentissima e il file è troppo pesante. Cosa fai? Di solito, lo "comprimi": riduci la qualità, tagli i secondi inutili o cancelli i dettagli che sembrano poco importanti.

Fino ad oggi, i computer facevano questo basandosi su una cosa chiamata "Attenzione". Era come se un guardiano guardasse il video e dicesse: "Ehi, qui c'è un movimento veloce! Qui c'è una faccia! Questi sono importanti, li tengo. Tutto il resto è noioso, lo butto via."

Il problema? A volte il guardiano si distrae. Si fissa sul movimento (l'attenzione) e dimentica dettagli cruciali ma statici, come un'etichetta su una scatola di tè o un numero su un foglio. Inoltre, se il video è molto lungo, il guardiano si stanca e butta via cose importanti per risparmiare spazio.

UniComp cambia completamente le regole del gioco. Invece di chiedersi "Cosa è importante?", si chiede: "Cosa è unico?".

Ecco come funziona, usando delle metafore semplici:

1. Il Concetto di "Unicità" (L'idea geniale)

Immagina di avere una pila di 100 foto di un paesaggio.

• Le prime 90 foto sono quasi identiche: stesse nuvole, stesso albero, stessa luce. Sono ridondanti.
• La foto numero 91 mostra un uccello che atterra.
• La foto numero 92 mostra l'uccello che vola via.

I metodi vecchi (basati sull'attenzione) potrebbero tenere la foto 91 perché l'uccello si muove, e buttare via la 92 perché "è solo un uccello che vola".
UniComp dice: "Aspetta! La foto 91 e la 92 sono quasi uguali. Se tengo la 91, posso ricostruire mentalmente la 92. Ma se tengo solo la 91, ho perso l'informazione unica dell'uccello che vola via."

UniComp seleziona le informazioni che non possono essere ricostruite dalle altre. Se due cose sono troppo simili, ne tiene una sola (quella più "unica" o rappresentativa) e scarta il resto. È come dire: "Non mi servono 10 copie dello stesso documento, me ne basta una, purché sia quella più completa."

2. I Tre Maghi del Processo

UniComp usa tre "maghi" (moduli) per pulire il video prima di inviarlo:

• Il Mago della Fusione Temporale (Frame Group Fusion):
  Guarda il video come una sequenza di fotogrammi. Se vede che per 5 secondi non succede nulla di nuovo (es. una persona che parla senza muoversi), dice: "Questi 5 secondi sono tutti uguali. Li fonde in un unico fotogramma rappresentativo." Risparmia tantissimo spazio senza perdere il senso della scena.

• Il Mago dell'Assegnazione (Token Allocation):
  Ora che ha ridotto i secondi, deve decidere quanto spazio dare a ogni scena rimanente. Se una scena è molto diversa dalle altre (molto "unica"), le dà più spazio (più "pixel" o dettagli). Se una scena è noiosa e simile alle altre, le dà meno spazio. È come se, in un libro, dedicasse più pagine ai capitoli con le svolte della trama e meno a quelli descrittivi.

• Il Mago dello Spazio (Spatial Dynamic Compression):
  Dentro ogni singolo fotogramma, guarda i piccoli pezzi (i "token"). Se vede che la metà sinistra dell'immagine è un muro blu identico alla metà destra, ne tiene solo un pezzo e dice al computer: "Ricordati che il resto è uguale a questo." Elimina i dettagli ridondanti mantenendo quelli unici.

3. Perché è così speciale?

• È un "Plug-and-Play": Non serve riaddestrare il cervello del computer (il modello AI). Puoi attaccare UniComp a qualsiasi sistema esistente e funziona subito, come mettere un filtro su una fotocamera.
• Funziona anche con pochissimo spazio: Il paper mostra che UniComp riesce a capire un video tenendo solo il 5% dei dati originali. Anche con così poco, riesce a leggere parole su scatole di tè o a contare oggetti, cosa che i metodi precedenti facevano fatica a fare.
• Risparmia tempo e batteria: Poiché deve elaborare molti meno dati, il computer lavora più velocemente e consuma meno energia.

In sintesi

UniComp è come un curatore d'arte intelligente che deve preparare una mostra con pochissimo spazio.
Invece di scegliere i quadri più "rumorosi" o colorati (l'attenzione), sceglie i quadri che raccontano una storia diversa da tutti gli altri. Se due quadri raccontano la stessa storia, ne mette uno solo. In questo modo, anche con una galleria piccolissima (pochi dati), l'ospite può vedere l'intera storia del video senza perdere nulla di importante.

È un modo più intelligente, matematico ed efficiente per dire al computer: "Non guardare tutto, guarda solo ciò che è davvero nuovo."

Sommario tecnico

1. Il Problema

Con il rapido avanzamento dei Modelli Linguistici Multimodali (MLLM), il costo computazionale per elaborare input video densi è diventato un collo di bottiglia critico per la scalabilità e l'efficienza.

• Limitazioni degli approcci attuali: La maggior parte dei metodi di compressione video esistenti (come VisionZip, HoliTom, FastVid) si basa su punteggi di attenzione per identificare i token importanti. Sebbene efficaci nell'evidenziare contenuti salienti, questi metodi tendono a:
  • Introdurre ridondanza tra i frame e i token.
  • Trascurare dettagli fini.
  • Perdere informazioni essenziali in scenari di compressione aggressiva.
  • Richiedere un tuning complesso di molti iperparametri o modifiche interne all'architettura del LLM (inner-LLM), rendendoli difficili da generalizzare.

2. Metodologia: UniComp

Il paper propone UniComp, un framework di compressione video guidato dal concetto di "Unicità dell'Informazione" (Information Uniqueness), anziché dall'attenzione. L'idea centrale è che, sotto vincoli computazionali, il modello dovrebbe privilegiare frame e token che contengono informazioni uniche e irripetibili, mentre le rappresentazioni ridondanti possono essere compresse o ricostruite.

Fondamento Teorico

Il processo di compressione è formulato come un problema di ottimizzazione che mira a minimizzare l'entropia condizionale $H(X | S)$ tra il set di token selezionati $S$ e l'insieme completo di token $X$. Questo è equivalente a minimizzare l'errore di ricostruzione.
Gli autori derivano un limite superiore che collega l'errore di ricostruzione all'unicità: se i token scartati hanno un'alta unicità, l'errore di ricostruzione aumenta. Pertanto, massimizzare l'unicità dei token mantenuti minimizza la perdita di informazioni.

I Tre Moduli Chiave

UniComp è composto da tre moduli sinergici che operano su dimensioni temporali, globali e spaziali:

1. Fusione dei Gruppi di Frame (Frame Group Fusion - FGF):

   • Obiettivo: Ridurre la ridondanza temporale.
   • Meccanismo: Analizza la similarità semantica tra i frame consecutivi. Se la differenza di unicità tra un frame corrente e il rappresentante del gruppo corrente è inferiore a una soglia ($U_f$), il frame viene considerato ridondante e fuso nel gruppo.
   • Risultato: I frame ridondanti vengono fusi in un singolo rappresentante tramite pooling medio, mentre i segmenti con grandi transizioni semantiche mantengono una granularità maggiore.

2. Allocazione dei Token (Token Allocation - TA):

   • Obiettivo: Distribuire il budget computazionale in modo adattivo.
   • Meccanismo: Calcola l'unicità globale di ogni frame (o gruppo di frame). I frame con alta unicità (che apportano nuove informazioni) ricevono più token, mentre quelli con bassa unicità (ridondanti) ne ricevono meno.
   • Risultato: Una distribuzione dinamica delle risorse verso i contenuti visivi più informativi.

3. Compressione Spaziale Dinamica (Spatial Dynamic Compression - SDC):

   • Obiettivo: Eliminare la ridondanza locale all'interno di ogni frame.
   • Meccanismo: Calcola l'unicità di ogni token all'interno di un frame (utilizzando le chiavi dell'ultimo layer del ViT). Seleziona i token più unici e, invece di scartare direttamente quelli ridondanti, esegue una fusione dei token vicini (neighbor fusion). I token ridondanti vengono fusi nel token rappresentante più simile.
   • Ottimizzazione: L'algoritmo è stato ottimizzato con calcolo parallelo a livello di matrice per ridurre la complessità temporale di circa 20 volte.

Vantaggi Pratici: UniComp è "plug-and-play", richiede solo due iperparametri ($U_f$ e $U_c$) e non necessita di modifiche interne al LLM, rendendolo altamente generalizzabile tra diverse architetture (ViT e LLM).

3. Contributi Chiave

• Nuova Formulazione Teorica: Introduce una base teorica per la compressione basata sulla minimizzazione dell'entropia condizionale e definisce l'"unicità dell'informazione" come metrica fondamentale per quantificare la ridondanza.
• Framework Unificato: Propone UniComp, che integra fusione temporale, allocazione globale e compressione spaziale sotto un unico principio: "mantenere l'unicità".
• Alta Generalizzabilità: Funziona su diverse architetture con minimi cambiamenti nel codice e pochi iperparametri, senza richiedere ri-addestramento (training-free).
• Prestazioni SOTA: Dimostra prestazioni superiori rispetto agli stati dell'arte su benchmark di comprensione video a lungo termine.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli come LLaVA-OneVision-7B, LLaVA-Video-7B e Eagle2.5, su benchmark come LongVideoBench, EgoSchema, MLVU e VideoMME.

• Prestazioni Superiori: UniComp supera costantemente i metodi SOTA (VisionZip, HoliTom, FastVid) in tutti i rapporti di retention (dal 10% al 25%).
  • Ad esempio, con un retention del 10%, UniComp raggiunge un punteggio medio del 59.80%, superando HoliTom (58.90%).
  • In alcuni casi, UniComp supera anche il baseline non compresso (full tokens) quando si considera l'efficienza del budget di token.
• Scalabilità: Su input con un numero elevato di frame (fino a 320 frame compressi in un budget fisso di token), UniComp mantiene un'accuratezza stabile, mentre altri metodi subiscono un rapido declino a causa della ridondanza temporale non gestita.
• Efficienza Computazionale: UniComp riduce il Time-To-First-Token (TTFT) fino a 4.15 volte rispetto all'inferenza con token completi su video lunghi (320 frame), offrendo un ottimo compromesso tra velocità e accuratezza.
• Robustezza: Le prestazioni rimangono stabili su diversi modelli e scenari, confermando la validità del principio di unicità indipendentemente dall'architettura sottostante.

5. Significato e Impatto

Il lavoro di UniComp rappresenta un cambio di paradigma nella compressione video per MLLM:

• Dal "Cosa è importante" al "Cosa è unico": Sposta il focus dalla salienza basata sull'attenzione (che può essere soggettiva o ridondante) alla misurazione oggettiva dell'informazione irripetibile.
• Efficienza e Qualità: Dimostra che è possibile ridurre drasticamente il carico computazionale (fino al 90% di token rimossi) senza perdere, e talvolta migliorando, la fedeltà semantica e la capacità di ragionamento del modello.
• Accessibilità: La natura "plug-and-play" e la bassa complessità di implementazione rendono questa tecnologia immediatamente applicabile per scalare i modelli multimodali a video di durata oraria, un requisito fondamentale per le applicazioni reali.

In sintesi, UniComp offre una soluzione pratica, teoricamente fondata e ad alte prestazioni per gestire la complessità dei video nei moderni sistemi di intelligenza artificiale.