AVOC: Enhancing Hour-Level Audio-Video Understanding in Omni-Modal LLMs via Retrieval-Inspired Token Compression

Il documento propone AVOC, un framework di compressione dei token ispirato al retrieval che potenzia la comprensione audio-video su scala oraria nei modelli LLM omnimodali, riformulando la selezione dei token come un problema di top-$K$ retrieval basato su rilevanza, importanza e diversità, ottenendo così prestazioni allo stato dell'arte su benchmark a lungo formato pur mantenendo la robustezza in contesti di un'ora.

L'essenziale

Immagina di avere una biblioteca gigante di film e registrazioni di riunioni che durano ore. Vuoi porre a un assistente IA super intelligente una domanda specifica su ciò che è accaduto in uno di questi lunghi video, come ad esempio: "Quante persone sono entrate in cantina dopo quella specifica battuta di dialogo?".

Il problema è che la "memoria" (la finestra di memoria) dell'IA è troppo piccola per contenere l'intero video in una volta sola. Se provi a caricarlo tutto intero, l'IA va in crisi. Se provi a ridurlo scegliendo semplicemente dei fotogrammi casuali, potresti perdere il momento cruciale. Se provi a mantenere ogni singolo dettaglio, esaurisci lo spazio.

AVOC: Il Bibliotecario Intelligente

Gli autori di questo articolo hanno creato un nuovo sistema chiamato AVOC. Pensa ad AVOC come a un bibliotecario altamente qualificato che deve riassumere un film di 1 ora in un piccolo foglio di trucchi di 10 pagine con un obiettivo molto specifico: il foglio di trucchi deve contenere solo le informazioni necessarie per rispondere alla tua domanda.

Ecco come funziona AVOC, usando tre regole semplici derivate dal modo in cui i motori di ricerca trovano i risultati migliori:

1. Rilevanza: "Corrisponde alla domanda?"

Immagina che tu chieda al bibliotecario: "Chi è entrato in cantina?".

• Il vecchio modo: Il bibliotecario potrebbe mostrarti una pagina che parla della cucina o del meteo esterno perché quelle scene erano rumorose o colorate.
• Il modo di AVOC: AVOC guarda prima la tua domanda. Scansiona il video e l'audio e dice: "Ok, devo trovare la parte in cui si parla della cantina". Evidenzia i momenti specifici nel video e le parole specifiche nell'audio che si relazionano direttamente alla tua domanda. Questo è chiamato Text-Guided Scoring (Valutazione guidata dal testo).

2. Importanza: "È interessante anche senza la domanda?"

A volte la tua domanda è vaga, o la risposta dipende da qualcosa che il video mostra ma di cui non parla esplicitamente.

• L'analogia: Immagina di cercare una persona specifica in mezzo a una folla. Anche se non ne conosci il nome, potresti individuarla perché indossa un cappello rosso brillante (un segnale visivo unico) o perché è l'unica che sta ballando (un segnale audio unico).
• Il modo di AVOC: AVOC controlla se un momento è "importante" di per sé. Controlla come il video e l'audio dialogano tra loro. Se il volto di una persona (video) corrisponde a un suono specifico (audio), quel momento riceve un punteggio di "importanza" elevato, anche se la tua domanda non lo menzionava. Questo assicura che l'IA non perda indizi nascosti.

3. Diversità: "Non mostrarmi la stessa cosa due volte!"

Questa è la parte più complicata. Se hai una scena in cui un personaggio entra in una stanza, poi esce e poi rientra, un sistema stupido potrebbe scegliere tutti e tre i momenti perché sono tutti simili. Questo spreca spazio.

• L'analogia: Immagina di preparare la valigia per un viaggio. Non hai bisogno di portare tre paia di calze rosse esattamente uguali. Hai bisogno di un paio rosso, uno blu e uno verde per coprire diverse necessità.
• Il modo di AVOC: AVOC utilizza una regola speciale chiamata Temporal-Aware Diversity (Diversità consapevole del tempo). Dice: "Se ho già scelto un momento in cui qualcuno entra in una stanza, non sceglierò il secondo successivo in cui fa esattamente la stessa cosa". Tuttavia, se la stessa cosa accade un'ora dopo nel film, AVOC sceglierà comunque quel momento, perché è un evento diverso nel tempo. Questo mantiene il riassunto fresco e copre l'intera cronologia senza ripetersi.

Il Risultato: Un Riassunto Super-Intelligente

Combinando queste tre regole, AVOC prende un enorme flusso di video e audio di un'ora e lo comprime in una sequenza di "token" piccola ed efficientissima. Elimina le parti noiose, ripetitive o irrilevanti e conserva solo i "frammenti d'oro" di informazione.

Cosa hanno scoperto?

• Funziona meglio di chiunque altro: Quando testato su video lunghi (fino a 90 minuti), AVOC ha risposto alle domande con molta più precisione rispetto ad altri modelli top. Ha superato il secondo miglior modello di un margine significativo (circa 5 punti in più in media).
• Trova l'ago nel pagliaio: Hanno testato se l'IA potesse trovare un numero segreto specifico nascosto in un video di 1 ora. AVOC riusciva a trovarlo quasi perfettamente, anche in video di un'ora lunga, mentre altri modelli iniziavano a fallire man mano che i video diventavano più lunghi.
• È veloce: Anche se sta eseguendo questa complessa operazione di ordinamento, non rallenta molto l'IA. Infatti, poiché scarta così tanti dati inutili, l'IA può effettivamente elaborare il video più velocemente di prima.

In breve, AVOC insegna all'IA come essere un lettore migliore: non si limita a leggere ogni parola di un libro di 500 pagine; impara a scorrere velocemente, evidenziare le parti importanti e ignorare il superfluo, così da poter rispondere alla tua domanda perfettamente.

Sommario tecnico

Riepilogo Tecnico: AVOC – Miglioramento della comprensione audio-video su scala oraria tramite compressione dei token ispirata al retrieval

1. Definizione del Problema

I Modelli Linguistici Multimodali (MLLM) hanno ottenuto un successo significativo nei compiti audio-video a breve durata. Tuttavia, estendere queste capacità alla comprensione audio-video a lungo termine su scala oraria affronta due ostacoli primari:

1. Limitazioni della Finestra di Contesto: Le massicce sequenze di token generate da flussi audio-video di lunga durata e con alta frequenza di campionamento eccedono le finestre di contesto degli attuali MLLM.
2. Ridondanza delle Informazioni: I flussi audio-video grezzi contengono una sostanziale ridondanza. Le strategie di riduzione ingenue (ad esempio, il campionamento sparso uniforme) spesso perdono eventi critici a breve durata, mentre il campionamento denso esaurisce i budget di contesto, portando alla troncamento delle sequenze e alla diluizione dei segnali chiave.

Gli esistenti metodi di compressione per gli Omni-Modal LLM spesso si affidano a progettazioni asimmetriche e unidirezionali (ad esempio, l'uso dell'audio per potare il video o viceversa). Questi approoli rischiano di scartare informazioni critiche se la modalità "guida" fornisce segnali deboli o sparsi, fallendo nel catturare la natura complessa e interdipendente del contenuto multimodale reale, come film o riunioni.

2. Metodologia: Framework AVOC

Gli autori propongono AVOC, un framework che inquadra la compressione dei token multimodali come un problema di top-K retrieval. Dato un budget di contesto fisso $K$ e un ampio pool di candidati token, l'obiettivo è recuperare un sottoinsieme compatto che supporti al meglio la risposta a un quesito dell'utente. AVOC integra tre classici criteri di Information Retrieval (IR) in una pipeline di compressione unificata e apprendibile, posizionata tra gli encoder di modalità e il backbone dell'LLM.

2.1 Componenti Core

Il modulo di compressione opera in tre fasi per generare e selezionare i token:

• Rilevanza (Scoring Cross-Attention guidato dal Testo):

  • Meccanismo: Tratta la query testuale dell'utente come la query di ricerca e i token multimodali come il corpus di candidati.
  • Implementazione: Calcola i punteggi di cross-attention tra gli embedding del testo e gli embedding dei token multimodali. Il punteggio di rilevanza per un token è la media del logit di attenzione ricevuto da tutti i token testuali.
  • Obiettivo: Dare priorità ai token pertinenti alla specifica query dell'utente.

• Importanza (Scoring Cross-Attention Bidirezionale Video-Audio):

  • Meccanismo: Cattura l'informatività intrinseca indipendente dalla query (query-agnostic), affrontando i casi in cui la query è scarsa rispetto a un ricco contenuto audio-visivo.
  • Implementazione: All'interno di ogni blocco temporale, calcola la cross-attention bidirezionale tra i token video e audio. I token che interagiscono fortemente con la modalità opposta ricevono punteggi più elevati.
  • Obiettivo: Garantire che le regioni semanticamente dense (ad esempio, una scena con sia dialoghi che azioni) siano mantenute anche se non esplicitamente interrogate.

• Diversità (Maximal Marginal Relevance Temporale-Consapevole - TA-MMR):

  • Meccanismo: Impedisce la selezione di token adiacenti e ridondanti, preservando al contempo eventi temporalmente distinti ma semanticamente simili.
  • Implementazione: Una fase di re-ranking utilizzando un obiettivo MMR modificato. A differenza del classico MMR, il TA-MMR vincola la penalità di ridondanza a una finestra temporale locale ($W$). Penalizza la similarità solo tra i token all'interno di $[\tau_i - W, \tau_i + W]$.
  • Obiettivo: Sopprimere i token adiacenti informazionalmente ripetitivi (ad esempio, scene statiche) senza sopprimere eventi ricorrenti che si verificano in tempi diversi.

2.2 Selezione e Addestramento

• Allocazione del Budget: Il budget totale di token $K$ è suddiviso in budget specifici per modalità ($K_{video}, K_{audio}$) per garantire una rappresentazione cross-modale bilanciata. Il TA-MMR è applicato indipendentemente in ogni modalità.
• Addestramento Differentiabile: Per consentire l'addestramento end-to-end, la selezione top-K discreta è approssimata utilizzando Gumbel-Softmax con uno Straight-Through Estimator. Il re-ranking TA-MMR è disabilitato durante l'addestramento (a causa della sua natura greedy e iterativa) e attivato solo durante l'inferenza.
• Addestramento in Due Fasi:
  1. Fase 1: Fine-tuning del backbone dell'LLM sui dati senza il modulo di compressione per stabilire un segnale di gradiente stabile.
  2. Fase 2: Addestramento congiunto del modulo di compressione inizializzato casualmente e dell'LLM.

3. Contributi Chiave

1. Prospettiva Innovativa: Inquadrare la compressione dei token multimodali come un problema di top-K retrieval, permettendo l'adattamento dei classici principi di IR (rilevanza, importanza, diversità) al dominio audio-video.
2. Modulo di Compressione Apprendibile: La progettazione di un modulo unificato che istanzia tre criteri di IR tramite meccanismi su misura: cross-attention guidata dal testo, cross-attention bidirezionale cross-modale e TA-MMR.
3. Capacità Omni-Modale: Sviluppo di un LLM Omni-Modale (AVOC) capace di elaborare flussi audio-video di durata oraria, ottenendo sia una comprensione olistica che un recupero fine-grained sotto stretti budget di contesto.

4. Risultati Sperimentali

Gli autori hanno valutato AVOC su molteplici benchmark audio-video a lungo termine e su un compito personalizzato di Needle-in-a-Haystack (NIAH).

• Performance dei Benchmark:

  • OmniVideoBench: AVOC ha raggiunto un'accuratezza media del 39,8% sul subset [10, 30] min e del 42,3% complessivo, superando il secondo miglior modello rispettivamente di 4,9 e 5,5 punti.
  • LVOmniBench: AVOC ha raggiunto il 41,3% sul subset Medium e il 35,5% sul subset High, con una media complessiva del 40,3%, superando il secondo miglior modello di 5,5 punti.
  • WorldSense: AVOC ha raggiunto un'accuratezza del 52,6%, un miglioramento di 1,7 punti rispetto al secondo miglior modello.
  • Osservazione: I guadagni di performance scalano con la durata del video, indicando che il metodo è particolarmente efficace per contenuti ultra-lunghi dove la ridondanza è massima.

• Audio-Video Needle-in-a-Haystack (AV-NIAH):

  • AVOC ha dimostrato robuste capacità di recupero per i "needles" (parole chiave segrete) nascosti in video fino a 3600 secondi (1 ora) di durata.
  • A differenza dei baseline (ad esempio, OmniZip) che mostravano un significativo degrado dell'accuratezza oltre i 2000–3000 secondi, AVOC ha mantenuto un'alta accuratezza attraverso l'intera griglia di profondità-durata.

• Studi di Ablazione:

  • La rimozione di qualsiasi singolo componente (Rilevanza, Importanza o Diversità) ha causato un degrado delle prestazioni, confermando la loro natura complementare.
  • Il rapporto ottimale del budget di modalità è stato individuato in 2:1 (Video:Audio), riflettendo la maggiore densità informativa dei segnali visivi nei benchmark testati.
  • Gli iperparametri di TA-MMR ($\lambda=0,15, W=3$) sono stati critici; impostare il raggio della finestra all'infinito (degradando in un MMR standard) ha causato cali di performance, validando la necessità della consapevolezza temporale.

• Efficienza:

  • Il modulo di compressione aggiunge un overhead minimo (circa 1,8s per la ritenzione completa).
  • Una compressione aggressiva (rapporto di ritenzione $\rho=0,1$) ha ridotto la latenza di prefilling di quasi 9 volte (da 4,45s a 0,5s) rispetto al backbone non compresso.

5. Significato e Rivendicazioni

Il paper sostiene che AVOC rappresenti un passo significativo verso gli LLM Omni-Modali capaci di ragionare su contenuti multimodali ricchi di durata oraria. Passando da strategie di compressione rigide e asimmetriche a un approccio simmetrico ispirato al retrieval, AVOC affronta il compromesso fondamentale tra i limiti della finestra di contesto e la ridondanza delle informazioni. Gli autori pongono che il loro framework consenta ai modelli di mantenere robuste capacità di comprensione e di recupero fine-grained in scenari reali (ad esempio, film, riunioni, tutorial) che erano precedentemente inaccessibili a causa dei vincoli della lunghezza della sequenza.