AdaptToken: Entropy-based Adaptive Token Selection for MLLM Long Video Understanding

1. Il Problema

La comprensione di video lunghi (long video understanding) rappresenta una sfida significativa per i Modelli Linguistici Multimodali (MLLM). Le limitazioni principali sono:

• Costi di memoria e limiti di contesto: I video lunghi generano un numero enorme di token visivi, che esauriscono rapidamente la finestra di contesto e le risorse computazionali dei modelli.
• Inefficienza delle selezioni attuali: I metodi precedenti selezionano frame o token basandosi su clip brevi, ma mancano di un meccanismo principato per:
  1. Confrontare la rilevanza tra clip video distanti (mancanza di una visione globale).
  2. Fermare l'elaborazione una volta che sono stati raccolti sufficienti indizi (mancanza di early stopping).
• Ridondanza: Anche quando si selezionano frame rilevanti, questi possono contenere regioni irrilevanti che diluiscono il segnale utile.

2. Metodologia: AdaptToken

AdaptToken è un framework training-free (non richiede addestramento) e agnostico rispetto al modello, progettato per selezionare in modo adattivo i token visivi più informativi. Il processo si articola in quattro fasi principali:

A. Suddivisione in Gruppi e Stima della Rilevanza Globale

Il video viene diviso in gruppi di frame. Per ogni gruppo, il sistema non si limita a estrarre caratteristiche, ma utilizza l'entropia della risposta del modello come segnale di rilevanza globale:

• Il modello genera una risposta preliminare per ogni gruppo.
• Viene calcolata l'entropia della distribuzione di probabilità dei token generati.
• Ipotesi: Una bassa entropia (alta certezza) indica che il gruppo contiene prove pertinenti alla domanda. Un'alta entropia suggerisce incertezza e scarsa rilevanza.
• Questo permette di assegnare un "budget di token" differenziato: i gruppi più rilevanti (bassa entropia) ricevono più token, mentre quelli meno rilevanti ne ricevono meno.

B. Selezione dei Token Guidata dall'Entropia

All'interno di ogni gruppo, l'importanza dei singoli token visivi viene valutata tramite attenzione cross-modale (tra testo e video) estratta da uno strato specifico dell'MLLM.

• Viene calcolato un punteggio di rilevanza per ogni token visivo basandosi sui pesi di attenzione rispetto al prompt testuale.
• I token vengono selezionati in base al budget assegnato al gruppo (calcolato tramite l'entropia).

C. Rimozione Globale dei Token (Diversità e Copertura)

Per evitare di selezionare token ridondanti (es. frame consecutivi con contenuti identici), viene applicata una fase di rimozione dei token basata sulla posizione:

• Si calcola la similarità coseno tra le caratteristiche dei token selezionati e la loro distanza temporale.
• I token con alta similarità mutua vengono rimossi iterativamente per garantire diversità e copertura temporale, mantenendo il budget totale entro i limiti.

D. Early Stopping (AdaptToken-Lite)

Una variante del metodo, AdaptToken-Lite, introduce un meccanismo di arresto anticipato:

• Il sistema elabora i gruppi in ordine "a margine massimo" (es. primo, metà, quarto, ecc.) per massimizzare la diversità iniziale.
• Se il modello raggiunge un livello di certezza sufficiente (entropia bassa) su un numero predefinito di gruppi (es. 3 gruppi), l'elaborazione dei gruppi rimanenti viene interrotta.
• Questo riduce drasticamente il tempo di inferenza senza sacrificare l'accuratezza.

3. Contributi Chiave

1. Segnale di Controllo Globale: Introduzione dell'entropia di risposta come segnale per allocare dinamicamente il budget dei token tra gruppi video distanti, superando i limiti delle selezioni locali.
2. Early Stopping Efficiente: Capacità di fermare l'elaborazione non appena sufficienti evidenze sono state raccolte, riducendo i costi computazionali.
3. Framework Training-Free: Il metodo funziona su qualsiasi MLLM esistente senza necessità di fine-tuning o addestramento aggiuntivo.
4. Scalabilità: Dimostrazione di efficacia su input estremamente lunghi (fino a 10.000 frame), un regime in cui i metodi precedenti falliscono o non vengono testati.

4. Risultati Sperimentali

Il metodo è stato valutato su quattro benchmark a lungo video (VideoMME, MLVU, LongVideoBench, LVBench) e su diversi modelli base (da 7B a 72B parametri, inclusi Qwen2.5-VL, InternVL2.5, Qwen3-VL).

• Miglioramenti di Accuratezza:
  • Su Qwen2.5-VL 7B, AdaptToken ha ottenuto un miglioramento medio di +6.7 punti rispetto alla baseline, superando tutti i metodi di selezione di frame/token precedenti (come FlexSelect, AdaReTAKE, SeViCES).
  • Su InternVL2.5 8B, il miglioramento medio è stato di +5.6 punti.
  • Anche su modelli più grandi (Qwen2.5-VL 72B), il metodo ha continuato a migliorare le prestazioni (+5.7 in media).
• Efficienza (AdaptToken-Lite):
  • La versione con early stopping riduce il tempo di inferenza di circa il 50% (es. da 17.8s a 8.6s su VideoMME) mantenendo un'accuratezza comparabile o addirittura superiore in alcuni casi.
• Scalabilità a Lungo Termine:
  • Il metodo mantiene o migliora le prestazioni anche con input di 10.000 frame, dimostrando una robustezza superiore rispetto ai metodi esistenti che tendono a degradare su video ultra-lunghi.

5. Significato e Impatto

AdaptToken risolve il collo di bottiglia fondamentale della comprensione video lunga: il compromesso tra quantità di informazioni in ingresso e capacità computazionale.

• Paradigma Shift: Sposta l'attenzione dalla semplice selezione di frame alla selezione adattiva di token basata sull'incertezza del modello, permettendo al modello di "decidere" quanto guardare.
• Applicabilità Pratica: Essendo training-free, può essere integrato immediatamente in pipeline esistenti per applicazioni come assistenti AI corporei (embodied AI) e agenti web multimodali che devono analizzare ore di video.
• Efficienza Energetica: La capacità di saltare l'elaborazione di parti irrilevanti del video riduce significativamente il consumo energetico e i costi di inferenza, rendendo l'analisi di video lunghi economicamente sostenibile.

In sintesi, AdaptToken dimostra che l'incertezza intrinseca del modello può essere sfruttata come una bussola per navigare in grandi volumi di dati visivi, ottimizzando sia la precisione che l'efficienza.