Unified Spatio-Temporal Token Scoring for Efficient Video VLMs

1. Il Problema

I modelli Vision-Language (VLM) basati su video stanno affrontando costi computazionali proibitivi. L'elaborazione di video richiede l'encoding di un gran numero di fotogrammi, ciascuno decomposto in centinaia di "patch token" da un Vision Transformer (ViT).

• Complessità Quadratica: All'aumentare del numero di fotogrammi, la sequenza di token visivi diventa quadratica in termini di costo per il meccanismo di attenzione, portando a un elevato utilizzo di memoria, ridotta velocità di addestramento (throughput) e latenza di inferenza.
• Limitazioni degli Approcci Esistenti:
  • Pre-/In-ViT: I metodi esistenti riducono la ridondanza spaziale ma sono spesso progettati per compiti unimodali (es. riconoscimento azioni) e non gestiscono la ridondanza temporale tra i fotogrammi.
  • Post-ViT: Altri metodi prunano i token solo dopo il ViT (prima dell'LLM), lasciando intatto il ViT che rimane un collo di bottiglia computazionale, specialmente per video lunghi. Inoltre, molti richiedono meccanismi complessi di selezione basati sul testo o fusione (merging) di token.

2. Metodologia: STTS (Spatio-Temporal Token Scoring)

Gli autori introducono STTS, un modulo leggero e unificato progettato per prunare i token visivi sia all'interno del ViT che nell'LLM, senza necessità di fusione di token o condizionamento testuale complesso.

Architettura e Flusso di Lavoro

1. Posizionamento: STTS viene inserito dopo un layer specifico del ViT (indicato come layer $l$, tipicamente $l=3$).
2. Scorer (Valutatore):
   • Utilizza un Token Pooler (self-attention) seguito da un MLP a 3 strati.
   • Riceve in input le feature del fotogramma corrente e del precedente (per contesto temporale).
   • Produce un punteggio di importanza per ogni patch spaziale.
3. Meccanismo di Punteggio Dual-Assiale:
   • Spaziale: I punteggi sono appresi implicitamente tramite i gradienti del task downstream (LLM). Un'iniezione di bias nei log-punteggi espansi viene inserita nella matrice di attenzione del layer ViT successivo ($l+1$), guidando il modello a preservare le patch semanticamente rilevanti.
   • Temporale: Viene utilizzata una Loss Ausiliaria basata sulla similarità coseno tra patch adiacenti di fotogrammi consecutivi. L'obiettivo è insegnare allo scorer a identificare la ridondanza temporale: se due patch sono molto simili nel tempo, dovrebbero ricevere un punteggio di importanza basso.
4. Pruning e Packing:
   • Dopo il layer $l+1$, i token con i punteggi più bassi (sotto una soglia $k\%$) vengono rimossi ("hard pruning").
   • Poiché la rimozione crea tensori sparsi e irregolari (ragged tensors), viene utilizzato un algoritmo di Packing (basato su first-fit descending) per ricomprimere i token rimanenti in tensori densi e compatti, garantendo il risparmio computazionale reale sull'hardware.
   • Viene generata una maschera di attenzione per garantire che i token di un fotogramma interagiscano solo con quelli dello stesso fotogramma.

3. Contributi Chiave

1. Modulo di Pruning Unificato: STTS è un modulo plug-and-play, end-to-end trainable, che riduce i token visivi attraverso l'intera architettura (ViT + LLM) senza modifiche architetturali massive.
2. Meccanismo di Punteggio Dual-Assiale: Combina la salienza spaziale (appresa tramite gradienti downstream) e la ridondanza temporale (regolarizzata tramite loss ausiliaria), superando i limiti dei metodi puramente spaziali o basati su testo.
3. Efficienza Significativa: Permette di eliminare in sicurezza il 50% dei token visivi, migliorando il throughput di addestramento e l'efficienza di inferenza fino al 62%, con una perdita di prestazioni media trascurabile (0.7%).
4. Scalabilità e Test-Time Scaling (TTS): Il metodo scala favorevolmente con l'aumento dei fotogrammi. Applicando TTS (aumentando il numero di fotogrammi in inferenza per compensare il pruning), si ottengono ulteriori guadagni di prestazioni (0.5-1%) su benchmark di video lunghi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 13 benchmark di Video QA (sia brevi che lunghi), utilizzando come backbone Molmo2 (SigLIP ViT + Qwen3 LLM).

• Prestazioni:
  • A un pruning del 30%, il modello mantiene o supera le prestazioni di base (es. su NextQA e VideoMME).
  • A un pruning del 50%, si osserva un calo medio di prestazioni di soli 0.7% su tutti i benchmark, dimostrando una robustezza notevole.
  • Il metodo supera significativamente le baseline di pruning casuale (Random) e i metodi euristici basati sulla similarità coseno (che tendono a rimuovere informazioni semantiche importanti come i volti o gli oggetti in movimento).
• Efficienza:
  • Training: Speedup di 1.62x (con 128 fotogrammi) e 2.25x (con 256 fotogrammi).
  • Inferenza: Speedup di 1.61x e 2.22x rispettivamente.
  • I guadagni sono proporzionali alla lunghezza della sequenza, sfruttando la complessità quadratica $O(N^2)$ dell'attenzione.
• Analisi Ablativa:
  • L'uso della loss ausiliaria temporale è cruciale: senza di essa, le prestazioni crollano sotto la baseline random.
  • L'inserimento dello scorer dopo il 3° layer ViT ($l=3$) è ottimale; layer troppo precoci ($l=0, 1$) danneggiano la rappresentazione delle feature.

5. Significato e Impatto

STTS rappresenta un passo avanti fondamentale per rendere i VLM per video scalabili e accessibili.

• Semplificazione: Elimina la necessità di algoritmi di fusione complessi o di moduli di selezione condizionati dal testo, offrendo una soluzione "semplice" ma efficace.
• Interpretabilità: Le visualizzazioni mostrano che STTS impara a preservare dinamicamente gli oggetti in primo piano (es. personaggi, azioni) mentre rimuove intelligentemente gli sfondi statici ridondanti, a differenza degli approcci euristici che agiscono ciecamente.
• Futuro: La capacità di gestire contesti temporali più lunghi tramite Test-Time Scaling apre la strada all'analisi di video molto lunghi (es. ore di durata) su hardware con risorse limitate, rendendo i sistemi di comprensione video più pratici per applicazioni reali.

In sintesi, STTS risolve il collo di bottiglia computazionale dei video VLM unificando la riduzione dei token in un unico processo di scoring apprendibile, bilanciando perfettamente efficienza e capacità di ragionamento multimodale.