Sintesi Tecnica: Pruning Adattivo dei Token Visivi a Due Stadi per l'Inferenza Efficiente nei Modelli Video-Linguistici

Definizione del Problema

I Modelli Vision-Language (VLM) hanno dimostrato forti capacità nella comprensione di immagini e video, ma affrontano una latenza di inferenza significativa a causa del costo computazionale di elaborazione di migliaia di token visivi. Questo problema è particolarmente acuto nell'elaborazione video, dove più fotogrammi devono essere analizzati simultaneamente. Ad esempio, un clip video moderata di 5 minuti può generare circa 11.000 token, imponendo un overhead quadratico sul decoder del Large Language Model (LLM) che risulta proibitivo per i dispositivi edge con risorse limitate.

Le tecniche di riduzione dei token esistenti soffrono di due limitazioni primarie:

1. Mancanza di Consapevolezza Temporale: La maggior parte dei metodi è progettata per input di singola immagine e non riesce a tenere conto delle ridondanze temporali tra i fotogrammi video.
2. Rapporti di Pruning Fissi: Gli approcci attuali applicano tipicamente un rapporto di pruning uniforme e fisso su tutti gli input. Ciò è subottimale perché il grado di ridondanza varia significativamente tra diversi video; un rapporto statico o spreca computazione su contenuti ridondanti o degrada le prestazioni scartando informazioni critiche in scene complesse.

Metodologia

Gli autori propongono una nuova strategia di pruning adattiva dei token a due stadi progettata specificamente per input video. Questo approccio è interamente post-hoc, non richiede ulteriore addestramento o fine-tuning del VLM sottostante.

1. Pipeline di Pruning a Due Stadi

Il metodo riduce la ridondanza gerarchicamente:

• Stadio 1 (Pruning a Livello di Fotogramma/Temporale): Il sistema identifica e scarta prima i fotogrammi ridondanti. Utilizzando un meccanismo di selezione basato sulla diversità, trattiene un sottoinsieme di fotogrammi che catturano il contenuto visivo più informativo, rimuovendo efficacemente i fotogrammi visivamente simili che contribuiscono poco con nuove informazioni.
• Stadio 2 (Pruning a Livello di Token/Spaziale): All'interno dei fotogrammi trattenuti, il sistema esegue il pruning a livello di token per eliminare la ridondanza spaziale.

2. Rapporto di Ritenzione Adattivo

Un'innovazione centrale è la determinazione dinamica del rapporto di ritenzione dei token ($\beta$) nel secondo stadio, basata sul contenuto specifico di ogni video. Il processo prevede:

• Analisi della Correlazione: Il metodo analizza la struttura di correlazione lineare degli embedding dei token all'interno dei fotogrammi trattenuti.
• Decomposizione degli Autovettori: Costruisce una matrice di correlazione degli embedding dei token ed esegue la decomposizione degli autovettori. Gli autovalori risultanti catturano la varianza spiegata dai diversi componenti.
• Stima del Tasso di Decadimento: Lo spettro degli autovalori viene adattato con una funzione di decadimento esponenziale ($\lambda_n = A e^{-\alpha n}$). Il tasso di decadimento ($\alpha$) funge da misura quantitativa della ridondanza:
  • Un decadimento ripido (alto $\alpha$) indica un'alta ridondanza (pochi autovalori dominanti), suggerendo che sono necessari meno token.
  • Un decadimento debole (basso $\alpha$) indica un'alta diversità, suggerendo che devono essere trattenuti più token.
• Calcolo del Rapporto: Il rapporto di ritenzione è definito come inversamente proporzionale al tasso di decadimento ($\beta = \kappa / \alpha$), dove $\kappa$ è un coefficiente di scala. Ciò assicura che i video con alta ridondanza siano sottoposti a un pruning più aggressivo, mentre i video complessi trattengono più token.

Contributi Chiave

1. Pipeline a Due Stadi: Il design di un processo di pruning gerarchico che affronta sequenzialmente la ridondanza temporale (selezione dei fotogrammi) e la ridondanza spaziale (selezione dei token), superando il pruning dei token a singolo stadio.
2. Adattività Dipendente dal Contenuto: L'introduzione di un meccanismo guidato dai dati per determinare il rapporto di pruning basato sulla correlazione dei token, eliminando la necessità di rapporti scelti manualmente e "taglia unica".
3. Efficienza Senza Addestramento: Il metodo ottiene risparmi computazionali significativi e miglioramenti dell'accuratezza senza richiedere l'addestramento di moduli di compressione aggiuntivi o il fine-tuning del VLM.

Risultati Sperimentali

Il metodo è stato valutato sul modello LLaVA-Video (7 miliardi di parametri) ed esteso a InternVL3 e Qwen2.5VL su cinque benchmark video-linguistici (VideoDC, VideoChatGPT, NextQA, PerceptionTest, Video-MME).

• Guadagni di Prestazioni: Il metodo proposto ha costantemente superato i baseline allo stato dell'arte privi di addestramento (inclusi PruMerge, FastV, DivPrune e LLaVA-Scissor).
  • Su VideoDC, nel benchmark di captioning con il 10% di ritenzione dei token, il metodo ha migliorato l'accuratezza del +7% rispetto ai baseline.
  • Su VideoChatGPT, ha ottenuto un miglioramento del 2–4% a bassi rapporti di ritenzione.
• Efficienza Computazionale: Il metodo ha ridotto significativamente l'overhead computazionale. Al 10% di ritenzione dei token, ha ottenuto una riduzione di circa il 95,5% dei TFLOPs mantenendo o migliorando l'accuratezza.
• Scalabilità: L'approccio ha dimostrato guadagni di prestazioni costanti attraverso diverse architetture VLM e dimensioni dei parametri (compresi tra 1B e 8B parametri).
• Studi di Ablazione: Gli esperimenti hanno confermato che sia il design a due stadi che il rapporto di ritenzione adattivo contribuiscono alle prestazioni, con il metodo completo che supera le varianti che utilizzano il pruning a singolo stadio o rapporti fissi. Inoltre, il modello di decadimento esponenziale per stimare la ridondanza si è dimostrato superiore ai modelli lineari o quadratici.

Significato

L'articolo sostiene che questo lavoro affronti un collo di bottiglia critico per l'implementazione dei VLM in applicazioni real-time e edge. Modellando esplicitamente la ridondanza temporale e adattando i livelli di pruning al contenuto specifico di ogni video, il metodo raggiunge un compromesso superiore tra efficienza e fedeltà semantica. Gli autori sottolineano che il loro approccio fornisce un modo rigoroso per stimare il numero necessario di token per un dato input visivo, evitando le inefficienze delle strategie a rapporto fisso e la perdita di informazioni associata alle semplici tecniche di merging. I risultati suggeriscono che il pruning adattivo e consapevole del contenuto è essenziale per scalare i modelli video-linguistici verso ambienti pratici e con risorse limitate.