OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models

Sintesi Tecnica: OmniFocus

Problematica
I modelli linguistici di grandi dimensioni omnimodali (OmniLLM) hanno dimostrato la capacità di elaborare congiuntamente audio e video, abilitando compiti quali la comprensione audio-visiva, il ragionamento empatico e la didascalia. Tuttavia, gli input audio-visivi generano sequenze di token estese, portando a costi di inferenza sostanziali che ne limitano l'applicabilità in contesti a lungo formato o in ambienti con risorse limitate. Sebbene la compressione dei token sia una soluzione standard per ridurre i costi di inferenza nei modelli unimodali o vision-language, l'applicazione della stessa agli OmniLLM presenta sfide uniche: il metodo deve preservare simultaneamente l'evidenza audio, l'evidenza visiva e l'allineamento cross-modale.

I metodi esistenti di compressione dei token audio-visivi, come OmniZip, si affidano tipicamente alla guida unimodale (ad esempio, utilizzando l'attenzione audio per guidare la compressione di entrambe le modalità). Gli autori identificano due criticità fondamentali in questo approccio:

1. Negligenza della Località Temporale: I metodi guidati da una singola modalità spesso non tengono conto della località temporale dell'evidenza rilevante per la query, assumendo che la densità di informazione sia distribuita uniformemente o allineata tra le modalità.
2. Bias di Modalità: Utilizzando una singola modalità come guida, questi metodi assumono implicitamente che la distribuzione della densità di informazione della modalità guida si applichi anche all'altra. Ciò porta a un overfitting sulla modalità guida, trascurando potenzialmente evidenze critiche nell'altra, degradando le prestazioni in compiti che richiedono il ragionamento congiunto audio-visivo o che dipendono dalla modalità non guidata.

Metodologia: OmniFocus
Gli autori propongono OmniFocus, un metodo di compressione dei token guidato dalla query e privo di addestramento (training-free), progettato per ottenere una compressione simmetrica rispetto alle modalità. A differenza degli approcci precedenti che usano una modalità per guidare l'altra, OmniFocus esegue una stima indipendente dell'importanza per video e audio basata sulla query testuale. Il metodo opera in tre fasi prima che i token vengano consumati dal backbone dell'LLM:

1. Scoring della Modalità Sensibile alla Query (Query-Aware Modality Scoring):

   • Il metodo estrae i token della query dallo strato di embedding dell'LLM per garantire che condividano lo stesso spazio di input dei token audio e video.
   • Per ogni chunk temporale, calcola un punteggio di rilevanza per video e audio indipendentemente, misurando la massima similarità del coseno tra la rappresentazione della query e i token all'interno di quel chunk.
   • Questo approccio di "massima similarità" cattura efficacemente l'evidenza sparsa che corrisponde alla query, riconoscendo che le informazioni rilevanti possono essere concentrate in specifici token piuttosto che distribuite uniformemente.

2. Allocazione del Budget per Chunk (Chunk-wise Budget Allocation):

   • I punteggi di rilevanza vengono convertiti in punteggi di compressione (dove una maggiore rilevanza comporta una minore compressione).
   • Questi punteggi vengono mappati in rapporti di drop locali per ogni chunk sotto vincoli di budget globali specifici per modalità.
   • Una fase di calibrazione assicura che il numero totale di token mantenuti corrisponda al rapporto di ritenzione globale target (ad esempio, 25% o 35%), consentendo al contempo ai diversi chunk temporali e alle diverse modalità di ricevere budget locali adattivi.

3. Selezione dei Token basata su Doppio Punteggio (Dual-Score Token Selection):

   • All'interno di ogni chunk e modalità, i token vengono selezionati in base a due criteri complementari per preservare sia l'allineamento cross-modale che la salienza specifica della modalità:
     • Associazione Inter-modale: I token sono valutati in base alla similarità con la rappresentazione media dell'altra modalità nello stesso chunk. Ciò preserva la corrispondenza audio-visiva.
     • Picco Intra-modale: I token sono valutati in base alla loro distintività rispetto alla media della propria modalità. Ciò preserva le evidenze che sono uniche per una specifica modalità e che potrebbero essere trascurate dal solo allineamento cross-modale.
   • La selezione finale divide i token mantenuti equamente tra quelli con i punteggi di associazione più alti e quelli con i punteggi di picco più alti.

Contributi Chiave

1. Identificazione del Bias di Modalità: Il documento valida empiricamente che la compressione guidata da una singola modalità negli OmniLLM conduce al bias di modalità, degradando le prestazioni nei compiti che richiedono la modalità non guidata o il ragionamento congiunto.
2. Framework OmniFocus: L'introduzione di un metodo di compressione simmetrica guidato dalla query e privo di addestramento. Esso stima la rilevanza della query separatamente per audio e video, mitigando il bias e preservando le associazioni inter-modali e i picchi intra-modali.
3. Validazione Empirica: Estesi esperimenti su quattro benchmark audio-visivi (DailyOmni, WorldSense, OmniVideoBench, VideoMME) dimostrano che OmniFocus raggiunge un favorevole equilibrio tra accuratezza ed efficienza.

Risultati
Gli esperimenti sono stati condotti sulle famiglie di modelli Qwen2.5-Omni-3B e Qwen2.5-Omni-7B.

• Prestazioni: Con un rapporto di ritenzione dei token del 25%, OmniFocus ha superato i baseline esistenti (OmniZip, DyCoke e Random) in diversi benchmark principali.
  • Su DailyOmni (Qwen2.5-Omni-7B), OmniFocus ha raggiunto il 59,40% di accuratezza, rispetto al 57,73% di OmniZip e al 54,37% di DyCoke.
  • Su WorldSense, OmniFocus ha ottenuto i migliori risultati compressi in tutte le impostazioni di budget del modello, superando OmniZip fino a 1,04 punti sul modello 3B.
  • Su VideoMME, ha ottenuto i migliori punteggi medi compressi in tutte e quattro le impostazioni.
• Efficienza: OmniFocus ha fornito accelerazioni significative. Su DailyOmni con il modello 7B al 25% di ritenzione, ha garantito un incremento di velocità del prefill di 1,38× e un incremento della velocità end-to-end di 1,32× rispetto al baseline a pieno set di token, mantenendo un'accuratezza superiore rispetto ad altri metodi di compressione.
• Studi di Ablazione: Gli autori hanno confermato che:
  • Lo scoring della massima similarità supera la similarità media.
  • L'allocazione adattiva basata sul punteggio è superiore all'allocazione casuale o uniforme.
  • La strategia di selezione ibrida dei token inter-modali e intra-modali è critica; fare affidamento su una sola di esse porta a cali di prestazioni.
  • Lo scoring bilanciato tra le modalità (considerando sia audio che video) è più robusto rispetto allo scoring a singola modalità.

Significato e Rivendicazioni
Il documento sostiene che la compressione simmetrica rispetto alle modalità guidata dalla query sia una scelta di design più affidabile per la comprensione audio-visiva a lungo formato rispetto al budgeting dei token guidato da una singola modalità. Il significato di OmniFocus risiede nella sua capacità di mitigare il bias di modalità inerente alle precedenti strategie di compressione asimmetrica senza richiedere il riaddestramento del modello. Preservando sia la corrispondenza cross-modale che le evidenze salienti specifiche della modalità, OmniFocus consente agli OmniLLM di operare efficientemente in ambienti con risorse limitate mantenendo un'alta fedeltà nei compiti di ragionamento audio-visivo. Gli autori osservano che, sebbene il metodo sia efficace, la sua dipendenza dagli embedding di input congelati significa che potrebbe essere meno preciso per eventi fini in cui gli embedding iniziali dei token non catturano completamente l'intento della query, e che la sua generalizzabilità ad architetture oltre la famiglia Qwen2.5-Omni richiede ulteriori valutazioni.