Riepilogo Tecnico: OTT-Vid

Enunciato del Problema

Man mano che i Modelli Linguistici su Video di grandi dimensioni (Video-LLM) si scalano per gestire video più lunghi e complessi, affrontano un collo di bottiglia critico nell'inferenza: l'accumulo di token visivi attraverso i fotogrammi aumenta drasticamente la lunghezza della sequenza e il costo computazionale. Sebbene la compressione dei token senza addestramento offra una soluzione pratica, i metodi esistenti di compressione temporale soffrono di due limitazioni principali:

1. Eccessiva dipendenza dalla Similarità: I metodi attuali si basano principalmente sulla similarità dei token tra fotogrammi o su euristiche di segmentazione. Non riescono a distinguere tra la ricorrenza di sfondi non informativi e la persistenza di contenuti semanticamente importanti (ad esempio, oggetti stazionari). Di conseguenza, un'alta similarità porta spesso alla compressione aggressiva di prove temporali essenziali, degradando le prestazioni in compiti che richiedono durata, continuità e rilevamento dei confini degli eventi, come l'ancoraggio temporale.
2. Allocazione Statica del Budget: Gli approcci esistenti non trattano esplicitamente la compressione come un problema di allocazione. Applicano soglie di compressione uniformi o confini rigidi che non si adattano alla variabilità della comprimibilità di diverse coppie di fotogrammi. Ciò risulta in una sottocompressione di regioni altamente ridondanti e in una sovracompressione di fotogrammi contenenti prove temporali critiche.

Metodologia: OTT-Vid

Gli autori propongono OTT-Vid, un framework senza addestramento che formula la compressione temporale dei token come un problema di Trasporto Ottimo (OT) con allocazione adattiva del budget. Il metodo opera in due fasi accoppiate:

1. Potatura Spaziale e Assegnazione di Massa

Prima della compressione temporale, ogni fotogramma subisce una potatura spaziale indipendente per rimuovere la ridondanza intra-fotogramma.

• Selezione: Un obiettivo di copertura ponderato per la salienza seleziona in modo greedy i token rappresentativi. Questo bilancia l'importanza semantica (salienza) con la rappresentatività (copertura) per prevenire il collasso dei token in cluster ridondanti.
• Assegnazione di Massa: Una strategia "leave-one-out" quantifica il contributo irrinunciabile di ogni token mantenuto. Se la rimozione di un token degrada significativamente la rappresentazione del fotogramma originale, esso è considerato importante.
• Massa Inversa: Crucialmente, la massa di trasporto $m_t$ è assegnata inversamente all'importanza del token. I token semanticamente critici ricevono una massa più piccola (resistendo alla compressione), mentre i token meno informativi ricevono una massa più grande (facilitando il trasferimento). Ciò codifica la priorità di conservazione direttamente nei vincoli marginali dell'OT.

2. Trasporto Ottimo per la Compresssione Temporale

La compressione temporale tra fotogrammi adiacenti ($t$ e $t+1$) è risolta come un problema di OT regolarizzato entropicamente.

• Funzione di Costo: Il costo di trasporto combina la dissimilarità semantica (distanza coseno) e la distanza spaziale. Un coefficiente di miscelazione $\alpha_t$ si adatta dinamicamente in base al movimento della scena: in scene statiche, la località spaziale è pesata più alto per evitare l'abbinamento di oggetti visivamente simili ma spazialmente distanti; in scene dinamiche, la dissimilarità semantica prevale per permettere l'abbinamento su spostamenti maggiori.
• Piano di Trasporto: Risolvere il problema OT produce una matrice di accoppiamento $P_t$ che classifica le corrispondenze tra token. Valori di accoppiamento elevati indicano candidati per la compressione (fusione o potatura).
• Difficoltà di Trasporto: Il costo totale del piano di trasporto ($W_t$) funge da metrica per la "comprimibilità" di una coppia di fotogrammi. Un $W_t$ basso implica alta ridondanza (facile da comprimere), mentre un $W_t$ alto implica la presenza di prove temporali uniche.

3. Allocazione Adattiva del Budget

Il framework distribuisce il budget globale di compressione in modo non uniforme su tutte le coppie di fotogrammi adiacenti in base a $W_t$.

• Allocazione Inversa: Utilizzando un softmax negativo, le coppie con minore difficoltà di trasporto (alta ridondanza) ricevono budget di compressione più grandi, mentre le coppie con alta difficoltà (bassa ridondanza) ricevono budget più piccoli.
• Esecuzione: La compressione viene eseguita in parallelo. I token sorgente selezionati vengono fusi con la loro destinazione (se il costo è inferiore a una soglia $\tau_c$) o potati. Le catene di fusioni attraverso fotogrammi consecutivi sono risolte tramite un algoritmo union-find per garantire la coerenza globale.

Contributi Chiave

1. Compressione Temporale Consapevole dell'Importanza: A differenza dei metodi precedenti guidati dalla similarità, OTT-Vid integra l'importanza dei token intra-fotogramma nel processo di compressione temporale. Assegnando una massa inversa ai token importanti, preserva le prove di durata e continuità che i metodi basati sulla similarità tipicamente scartano.
2. Allocazione del Budget Derivata dal Trasporto: Il paper introduce un metodo principiato per stimare la comprimibilità di ogni coppia di fotogrammi tramite la difficoltà di trasporto ($W_t$). Ciò permette un'allocazione dinamica e non uniforme del budget che si adatta alle caratteristiche specifiche di ridondanza del contenuto video.
3. Framework Unificato: OTT-Vid unifica le decisioni di compressione a livello di token (tramite il piano di trasporto) e l'allocazione del budget a livello di coppia (tramite la difficoltà di trasporto) all'interno di un'unica formulazione di Trasporto Ottimo.

Risultati Sperimentali

Gli autori hanno valutato OTT-Vid su sei benchmark: quattro dataset per la Risposta alle Domande su Video (VQA) (MVBench, VideoMME, LongVideoBench, MLVU) e due dataset per l'Ancoraggio Temporale su Video (VTG) (Charades-STA, ActivityNet-Captions con annotazioni TimeLens).

• Mantenimento delle Prestazioni: Sul backbone Qwen2.5-VL-7B, OTT-Vid mantiene il 95,8% delle prestazioni VQA non compresse e il 73,9% delle prestazioni VTG mantenendo solo il 10% dei token originali.
• Confronto: Supera costantemente i baseline senza addestramento all'avanguardia (HoliTom, FastVID, FlashVID, UniComp). Il divario di prestazioni è più significativo nei compiti VTG, dove i metodi guidati dalla similarità subiscono un grave degrado (scendendo a un mantenimento di circa il 50-60%) a causa della perdita di prove temporali.
• Generalizzazione: Il metodo dimostra robustezza su diversi backbone Video-LLM (LLaVA-OneVision, LLaVA-Video) e su vari rapporti di ritenzione dei token.
• Efficienza: OTT-Vid ottiene un'accelerazione di 2,0× nel Time-to-First-Token (TTFT) con un utilizzo di memoria di picco comparabile ad altri metodi efficienti, confermando che l'overhead di compressione non annulla i guadagni nell'inferenza.

Significato e Affermazioni

Il paper afferma che il significato principale di OTT-Vid risiede nella sua capacità di disaccoppiare la persistenza semantica dalla similarità visiva. Trattando la compressione temporale come un problema di trasporto con massa consapevole dell'importanza, il metodo preserva con successo le "prove" richieste per compiti complessi di ragionamento temporale, che le precedenti euristiche basate sulla similarità non sono riuscite a fare.

Gli autori sottolineano che il loro approccio è senza addestramento, garantendo la compatibilità con i Video-LLM preaddestrati esistenti senza la necessità di riaddestramento. Notano che, sebbene il loro metodo calcoli attualmente i piani di trasporto in parallelo da insiemi inizialmente potati spazialmente (ignorando i cambiamenti rappresentativi indotti dalla compressione precedente), questa scelta progettuale privilegia un basso overhead e l'efficienza in un singolo passaggio. Lavori futuri potrebbero esplorare l'esecuzione sequenziale per affinare i piani di trasporto, sebbene ciò aumenterebbe i costi computazionali.

In sintesi, OTT-Vid affronta il collo di bottiglia critico dell'inferenza su video lunghi fornendo un meccanismo adattivo e teoricamente fondato che bilancia l'importanza dei token con la ridondanza inter-fotogramma, superando significativamente i metodi esistenti nel mantenimento della fedeltà temporale sotto compressione aggressiva.