Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors

Sintesi Tecnica: Selezione Efficiente dei Frame per Video Lunghi al Tempo di Test con Selettori MLLM Basati sull'Attenzione

Problematica

I Modelli Linguistici Multimodali (MLLM) hanno dimostrato progressi significativi nella comprensione dei video, ma affrontano un collo di bottiglia critico quando elaborano video lunghi: l'enorme volume di frame supera la finestra di contesto limitata e i budget di token visivi delle attuali architetture. Codificare ogni singolo frame è computazionalmente impraticabile. Di conseguenza, il compito si riduce alla selezione di un set compatto di frame informativi che recuperino prove visive rilevanti rispetto alla query.

Gli approcci esistenti faticano a bilanciare la profondità semantica con il costo computazionale:

• Campionamento Uniforme: Economico ma "cieco rispetto al contenuto", spesso perdendo eventi rari e decisivi.
• Metodi basati su CLIP: Valutano i frame indipendentemente in base alla similarità tra query e frame, ma mancano di contesto inter-frame e di una forte condizionatura della query.
• Selettori Autoregressivi basati su MLLM: Offrono un ragionamento semantico profondo ma richiedono un addestramento aggiuntivo e introducono una latenza non trascurabile dovuta alla generazione autoregressiva, limitandone la scalabilità.

La sfida centrale è identificare i frame corretti senza richiedere preventivamente al modello di comprendere l'intero video (una dipendenza circolare), mantenendo al contempo un processo di inferenza leggero e privo di addestramento.

Metodologia: DAFS (Dynamic Attention-based Budget-aware Frame Selection)

Gli autori propongono DAFS, un framework privo di addestramento che sfrutta un'osservazione empirica: l'attenzione cross-modale negli MLLM, in specifici strati selezionati tramite validazione, concentra già i token visivi rilevanti per la query prima che inizi la generazione autoregressiva.

1. Punteggio di Rilevanza Basato sull'Attenzione
Invece di addestrare un nuovo selettore o utilizzare la generazione autoregressiva, DAFS riutilizza l'attenzione cross-modale di un piccolo MLLM pre-esistente (ad esempio, un modello da 2 miliardi di parametri).

• Selezione dello Strato: Attraverso un'analisi empirica, gli autori identificano che gli strati intermedi (ad esempio, lo strato 12 in InternVL3.5-2B) forniscono i segnali di localizzazione a livello di frame più forti prima che la fusione profonda offuschi i dettagli visivi.
• Aggregazione Condizionata dalla Query: Il metodo estrae i pesi dell'attenzione testo-visione da uno strato $\ell^*$ selezionato. Per concentrarsi sull'intento principale del prompt, definisce un set di "token importanti" (ad esempio, opzioni di risposta per domande a scelta multipla, token centrati sull'entità per QA a risposta aperta).
• Punteggio: Applica il max-pooling sui punteggi di attenzione di questi token importanti per generare un punteggio di salienza a livello di frame ($\phi_j$). Ciò consente a un piccolo selettore di classificare i frame per un modello "risponditore" più forte senza la decodifica autoregressiva.

2. Campionamento Consapevole del Budget e Compressione dei Token
Per gestire i vincoli di contesto del selettore stesso, il framework impiega due meccanismi:

• Campionamento Temporale Sparso: I frame vengono estratti a un tasso base (ad esempio, 1 FPS) e sottocampionati uniformemente in base alla durata del video.
• Compressione dei Token Spaziali: Ogni frame campionato viene compresso in un numero fisso di token visivi ($P$) tramite pooling medio non sovrapposto per rientrare in un budget globale di token visivi ($B$).

3. Programmazione Dinamica per la Calibrazione della Policy
L'allocazione della dimensione del pool di candidati ($F$) e del budget di token per frame ($P$) è formulata come un problema di ottimizzazione discreta.

• Obiettivo: Massimizzare l'accuratezza della QA su un set di calibrazione.
• Vincoli: Impone un budget rigido di token ($F \cdot P \le B$), una risoluzione temporale non decrescente per video più lunghi e una risoluzione spaziale non crescente.
• Soluzione: Un algoritmo di Programmazione Dinamica (DP) risolve per la sequenza di policy ottimale $(F(d), P(d))$ attraverso le durate dei video. Durante l'inferenza, questa policy viene recuperata in tempo $O(1)$.
• Distinzione Cruciale: La compressione dei token è applicata solo all'input del selettore. I top-$K$ frame finali selezionati per il backbone risponditore sono forniti nella loro risoluzione originale, non compressa, garantendo l'assenza di degradazione della qualità dell'input del risponditore.

Contributi Chiave

1. Framework di Selezione Sparsa Leggero: Un selettore privo di addestramento che utilizza l'attenzione cross-modale di un piccolo MLLM per eseguire il confronto dei frame guidato dalla query, eliminando la necessità di generazione autoregressiva o ri-addestramento del modello.
2. Programmazione Dinamica con Budget: Una nuova formulazione che ottimizza congiuntamente la dimensione del pool di frame candidati e l'allocazione dei token visivi per frame sotto vincoli di contesto rigorosi, bilanciando copertura temporale e dettaglio spaziale.
3. Generalizzazione ed Efficienza: Esperimenti estesi che dimostrano come l'approccio superi il campionamento uniforme, l'estrazione di keyframe euristica e i precedenti selettori basati su addestramento in vari backbone e task, senza necessità di ri-addestramento.

Risultati Sperimentali

Valutato su Video-MME, LongVideoBench (LVB) e MLVU sotto un budget rigoroso di 32 frame:

• Guadagni di Performance: DAFS migliora rispetto al campionamento uniforme fino a 6,4 punti su Video-MME (usando Qwen3-VL-2B come selettore) e supera significativamente i precedenti selettori basati su addestramento (es. ViaRL, K-Frames) a parità di budget.
• Grounding Temporale: Nel task MLVU Needle-QA, che testa il recupero di segmenti di evidenza precisi, DAFS ottiene guadagni sostanziali (es. +14,4 punti su N-QA con 8 frame) rispetto al campionamento uniforme e ad altri metodi.
• Generalizzazione Cross-Modello: Il selettore si trasferisce efficacemente a diversi backbone risponditori (LLaVA-Video, InternVL3.5, Qwen2.5-VL) e formati di task (QA a risposta aperta), migliorando costantemente le prestazioni senza ri-addestramento.
• Efficienza: La fase di selezione è significativamente più veloce (0,47s) e più efficiente in termini di memoria rispetto ai selettori autoregressivi basati su addestramento (8,00s), risultando in una latenza end-to-end inferiore pur ottenendo un'accuratezza superiore.

Significatività e Rivendicazioni

Il documento sostiene che DAFS risolve la dipendenza circolare del "necessitare di comprendere il video per selezionare i frame" sfruttando i segnali di recupero intrinseci presenti nell'attenzione cross-modale degli MLLM. Decoupling (disaccoppiando) la fase di selezione dalla fase di generazione della risposta e utilizzando un meccanismo di punteggio leggero basato sull'attenzione, il metodo raggiunge prestazioni allo stato dell'arte nella comprensione di video lunghi rimanendo computazionalmente efficiente e privo di addestramento. Gli autori sottolineano che questo approccio permette agli attuali MLLM di gestire i video lunghi in modo più efficace ottimizzando la costruzione dell'input al tempo di test, piuttosto che richiedere modifiche architettoniche o un esteso ri-addestramento.