Riepilogo Tecnico: OmniSelect

Enunciato del Problema

I Modelli Linguistici di Grande Dimensione Omnimodali (OmniLLM) sono emersi per unificare la comprensione di audio, video e testo all'interno di un'unica architettura autoregressiva. Tuttavia, l'elaborazione di flussi video e audio ad alta fedeltà genera un numero eccessivo di token, portando a una complessità quadratica nei meccanismi di attenzione e creando colli di bottiglia significativi in termini computazionali e di memoria durante l'inferenza.

Sebbene la compressione dei token sia stata esplorata per compiti monomodali (immagini, video, audio), le soluzioni esistenti per gli OmniLLM si basano su guida fissa, specifica per modalità. Ad esempio, metodi come OmniZip utilizzano ancoraggi audio per guidare la potatura del video, mentre altri si affidano esclusivamente a indizi visivi. Gli autori sostengono che queste strategie "taglia unica" siano inadeguate perché l'importanza relativa delle informazioni visive e uditive varia significativamente tra le diverse query. Come illustrato nel documento, alcune domande dipendono fortemente dalla visione, altre dall'audio e alcune richiedono un'integrazione equilibrata. Utilizzare una modalità inappropriata per guidare la compressione può portare alla rimozione di informazioni critiche e a risposte errate del modello.

Metodologia: OmniSelect

Per affrontare queste limitazioni, gli autori propongono OmniSelect, un framework di potatura dei token adattivo alle modalità e privo di addestramento. Il metodo seleziona dinamicamente la strategia di compressione appropriata per gli input multimodali in base alla query specifica, evitando meccanismi di guida fissi. Il framework opera tramite una strategia in due fasi:

1. Allocazione Dinamica del Rapporto Consapevole della Modalità

La prima fase determina la strategia di potatura globale e alloca i rapporti di potatura per ciascun gruppo temporale.

• Stima della Rilevanza: Il sistema impiega un modello AudioCLIP leggero per stimare la rilevanza cross-modale. Calcola i punteggi di similarità tra la query testuale e gli embedding sia visivi che audio. Per ridurre il costo computazionale, i fotogrammi video vengono sottocampionati temporalmente e il testo viene filtrato per conservare solo sostantivi e aggettivi.
• Classificazione della Strategia: In base ai punteggi di similarità media ($\bar{s}^{(v)}$ per il video, $\bar{s}^{(a)}$ per l'audio) e a una soglia $\theta$, il sistema categorizza l'input in uno dei tre regimi di potatura:
  • Potatura Uniforme: Se $|\bar{s}^{(v)} - \bar{s}^{(a)}| \leq \theta$, entrambe le modalità sono trattate come ugualmente importanti.
  • Potatura Centrata sul Video: Se $\bar{s}^{(v)} > \bar{s}^{(a)}$, la strategia dà priorità ai token video.
  • Potatura Centrata sull'Audio: Se $\bar{s}^{(a)} > \bar{s}^{(v)}$, la strategia dà priorità ai token audio.
• Allocazione Adattiva: All'interno del regime scelto, il sistema alloca dinamicamente i rapporti di potatura ($\rho$) a ciascun gruppo temporale. Utilizza una mappatura sigmoide basata sulla deviazione dei punteggi di similarità dalla media, garantendo che i gruppi con maggiore rilevanza per la query conservino più token, pur rispettando un budget globale di potatura.

2. Pipeline di Potatura dei Gruppi Temporali (TGP2)

Una volta determinate la strategia e i rapporti, il sistema esegue una potura fine dei token all'interno di ciascun gruppo temporale:

• Potatura Audio: I token audio salienti vengono selezionati utilizzando la selezione Top-K basata sulla matrice di attenzione derivata dall'ultimo strato del codificatore audio.
• Potatura Video: I token video salienti vengono selezionati utilizzando la selezione Bottom-K basata sulla matrice di similarità coseno degli embedding visivi. Gli autori scelgono Bottom-K (selezionando i token con la minore similarità rispetto agli altri) rispetto ai metodi basati sull'attenzione per evitare il bias dell'attention sink e ridurre il sovraccarico computazionale, sostenendo che ciò rimuove efficacemente contenuti ridondanti e altamente correlati preservando al contempo indizi visivi distintivi.

Contributi Chiave

Il documento delinea tre contributi principali:

1. Analisi delle Limitazioni della Guida Fissa: Gli autori dimostrano che i metodi esistenti basati su guida statica specifica per modalità non tengono conto della variazione dell'importanza delle modalità tra le diverse query, portando a una compressione subottimale.
2. Framework OmniSelect: Propongono un framework privo di addestramento e adattivo alle modalità che seleziona dinamicamente tra strategie di potatura Uniforme, Centrata sul Video e Centrata sull'Audio. Esegue inoltre una potura fine dei token all'interno dei gruppi temporali, allocando rapporti adattivi per preservare i token informativi.
3. Validazione Empirica: Esperimenti estensivi su benchmark audio-visivi mostrano che OmniSelect accelera l'inferenza e riduce il sovraccarico di memoria GPU mantenendo alte prestazioni, ottenendo risultati competitivi tra i metodi di compressione dei token privi di addestramento.

Risultati Sperimentali

Gli autori hanno valutato OmniSelect sui modelli Qwen2.5-Omni (3B e 7B parametri) su quattro benchmark: WorldSense, DailyOmni, VideoMME e OmniVideoBench.

• Mantenimento delle Prestazioni: OmniSelect mantiene dal 94% al 99% dell'accuratezza originale con token completi. In diversi casi (ad esempio, impostazioni specifiche su OmniVideoBench e VideoMME), il metodo ha persino superato le prestazioni dell'inferenza con token completi, suggerendo che la rimozione di token ridondanti può migliorare la qualità delle previsioni.
• Guadagni di Efficienza:
  • Accelerazione dell'Inferenza: Ha ottenuto un'accelerazione da 1,19× a 1,33×.
  • Riduzione della Memoria: Ha ridotto il consumo di memoria GPU da 2,58 GB a 2,77 GB.
  • Tempo di Prefilling: Ha ridotto il tempo di prefilling da 3,53× a 3,62× con una compressione dei token del 70%.
• Confronto: OmniSelect ha costantemente superato le linee di base come OmniZip (guidata dall'audio) e DyCoke (fusione temporale) su vari budget di fotogrammi e rapporti di compressione. Il vantaggio è stato particolarmente pronunciato negli scenari di video lunghi e sul modello 3B, che ha mostrato un compromesso efficienza-prestazioni più favorevole.
• Studi di Ablazione: Gli esperimenti hanno confermato che la selezione dinamica delle strategie di potatura (passando tra Centrata sul Video, Centrata sull'Audio e Uniforme) è superiore all'affidamento su qualsiasi singola strategia fissa.

Significato e Affermazioni

Il documento posiziona OmniSelect come un'evoluzione necessaria nell'ottimizzazione degli OmniLLM. Gli autori affermano che il significato principale del loro lavoro risiede nel passaggio da una guida statica, specifica per modalità a una selezione dinamica di strategie consapevole della query. Modellando esplicitamente la preferenza per la modalità e permettendo al modello di adattare la propria strategia di compressione alle esigenze semantiche specifiche di una query, OmniSelect evita efficacemente le insidie della compressione uniforme.

Gli autori sottolineano che il loro metodo è privo di addestramento, rendendolo immediatamente applicabile agli OmniLLM esistenti senza la necessità di riaddestramento o affinamento. Concludono che, sebbene il loro attuale meccanismo di selezione basato su soglie sia efficace, la strategia ottimale esiste spesso all'interno della loro tassonomia proposta, e il limite principale risiede nella precisione della selezione della strategia piuttosto che nella capacità di rappresentazione della potatura stessa. Viene suggerito un lavoro futuro per esplorare modelli più robusti per la stima dell'importanza delle modalità.