V-CAST: Video Curvature-Aware Spatio-Temporal Pruning for Efficient Video Large Language Models

1. Il Problema: Inefficienza e Copertura Discontinua nei VideoLLM

I Large Language Models per Video (VideoLLM) hanno dimostrato capacità eccezionali nella comprensione video, ma l'inferenza su contesti lunghi (long-context) è ostacolata da due fattori critici:

• Costo Computazionale: I video generano un numero enorme di token visivi (proveniente da frame consecutivi), rendendo la fase di prefill dell'attenzione un collo di bottiglia per memoria e latenza.
• Limitazioni delle Tecniche Esistenti: Le attuali strategie di compressione dei token falliscono nel mantenere una copertura spaziotemporale continua e allineata sotto budget rigidi.
  1. Copertura Discontinua: Metodi basati su segmentazione o allocazione uniforme (es. FastVID, Uniform Allocation) distribuiscono i token in modo non ottimale, perdendo momenti critici brevi o creando salti bruschi ai confini delle scene.
  2. Disallineamento Spaziotemporale: Metodi che fondono i token (Token Merging, es. HoliTom) spostano le coordinate spaziali e temporali dei token aggregati. Questo rompe l'allineamento con le embedding posizionali MRoPE (Multimodal Rotary Positional Embedding) utilizzate da modelli avanzati come Qwen3-VL, degradando le prestazioni di ragionamento.

2. Metodologia: V-CAST

V-CAST (Video Curvature-Aware Spatio-Temporal Pruning) è un approccio training-free e plug-and-play che formula la compressione come un problema di approssimazione di traiettoria semantica. Si compone di due moduli principali:

A. Allocazione Temporale Guidata dalla Curvatura (Curvature-Guided Temporal Allocation)

Invece di allocare i token uniformemente o basandosi solo sulla "unicità globale" dei frame, V-CAST tratta la sequenza video come una traiettoria su una sfera iperdimensionale.

• Rappresentazione: Ogni frame è rappresentato da un vettore sematico medio normalizzato.
• Curvatura Semantica: Si calcola la "curvatura" ($\kappa_t$) misurando il cambiamento di direzione tra i vettori dei frame adiacenti. I picchi di curvatura indicano transizioni semantiche rapide, eventi decisivi o cambi di scena.
• Allocazione del Budget: Il budget totale di token viene distribuito tra i frame risolvendo un problema di ottimizzazione che massimizza la somma delle curvature pesate, regolarizzata da un termine di entropia. Questo assegra più token ai momenti di transizione critica e meno ai segmenti statici o ridondanti, garantendo una copertura continua.

B. Selezione Spaziale a Doppio Ancoraggio (Dual-Anchor Spatial Token Selection)

Una volta definito il budget per frame, V-CAST seleziona i token specifici all'interno di ogni frame mantenendo le loro coordinate originali (per preservare l'allineamento MRoPE).

• Ancoraggio alla Diversità Contestuale: Penalizza i token simili al contesto globale del frame (sfondo ridondante) e favorisce quelli che si discostano (soggetti, interazioni).
• Ancoraggio all'Attivazione delle Feature: Utilizza la norma L2 delle feature come indicatore di salienza visiva.
• Risultato: Vengono selezionati i token che combinano diversità e salienza, preservando la griglia spaziale originale.

3. Contributi Chiave

1. Ridefinizione della Copertura Spaziotemporale: Identifica che il collo di bottiglia principale non è solo la quantità di token, ma la continuità e l'allineamento della loro copertura. Smaschera i fallimenti dei metodi precedenti (discontinuità da segmentazione e disallineamento da merging).
2. V-CAST: Propone un metodo di pruning che non richiede riaddestramento, combinando un'allocazione temporale basata sulla curvatura semantica con una selezione spaziale a doppio ancoraggio.
3. Prestazioni e Efficienza SOTA: Dimostra che è possibile ottenere un compromesso ottimale tra accuratezza ed efficienza, superando i metodi esistenti su modelli di diverse dimensioni e architetture.

4. Risultati Sperimentali

I test sono stati condotti su benchmark long-video (MVBench, LongVideoBench, MLVU, VideoMME) e su diversi modelli (Qwen3-VL-8B/32B, LLaVA-OV, LLaVA-Video).

• Prestazioni:
  • Su Qwen3-VL-8B-Instruct con 256 frame, V-CAST supera il secondo miglior metodo di +1.5 punti sui benchmark long-video.
  • Mantiene il 98.2% delle prestazioni originali (con un margine di +1.9% rispetto al secondo miglior metodo) pur riducendo drasticamente i token.
  • Su modelli più grandi (Qwen3-VL-32B e MoE-based 30B), V-CAST è l'unico metodo a garantire inferenza stabile senza errori di memoria (OOM), dove altri falliscono.
• Efficienza:
  • Riduce la memoria di picco (Peak Memory) all'86.7% rispetto al modello vanilla.
  • Riduce la latenza totale di inferenza all'86.4%.
  • È compatibile con FlashAttention, a differenza di metodi come FlashVID che introducono overhead computazionale eccessivo.
• Robustezza: V-CAST mostra guadagni costanti all'aumentare del numero di frame (fino a 256), mentre altri metodi tendono a saturare o fallire.

5. Significato e Impatto

V-CAST rappresenta un passo avanti significativo per l'implementazione pratica dei VideoLLM su dispositivi reali e per l'analisi di video lunghi.

• Superamento dei Limiti del Merging: Dimostra che il pruning (selezione) è superiore al merging (fusione) quando si utilizzano embedding posizionali avanzate come MRoPE, risolvendo il problema del disallineamento.
• Intelligenza Temporale: L'approccio basato sulla curvatura semantica permette al modello di "capire" quando un video cambia significato, allocando risorse computazionali solo dove sono necessarie, imitando più da vicino l'attenzione umana.
• Adattabilità: Essendo training-free e plug-and-play, può essere integrato immediatamente in pipeline esistenti senza costi di addestramento, rendendo l'inferenza long-video economicamente e tecnicamente fattibile.

In sintesi, V-CAST risolve il dilemma tra efficienza e accuratezza nei VideoLLM garantendo che le informazioni spaziotemporali critiche non vengano perse né disallineate durante la compressione.