Riepilogo Tecnico: OmniDrop

Enunciato del Problema

I Modelli Linguistici su Grande Scala Omni-modali (Omni-LLM) hanno dimostrato un potenziale significativo nella comprensione olistica multimodale, integrando testo, audio e video. Tuttavia, un collo di bottiglia critico per le applicazioni in tempo reale e il ragionamento su lunghi testi è l'"esplosione dei token" causata dai dati temporali ad alta risoluzione. I segnali audio e video generano significativamente più token rispetto al testo (ad esempio, un clip video di un minuto può proiettare oltre 10.000 token), portando a una crescita quadratica dei costi computazionali e del sovraccarico di memoria.

I metodi esistenti di compressione dei token per gli Omni-LLM eseguono tipicamente la potatura a livello di embedding di input. Questi approcci si basano sull'assunzione che i token audio-video siano allineati semanticamente attraverso spazi di rappresentazione condivisi o co-occorrenza temporale. Gli autori sostengono che queste assunzioni siano inaffidabili per due motivi principali:

1. Allineamento Pre-LLM Debole: Gli embedding audio e video occupano sottospazi distinti all'interno dello spazio di embedding dell'LLM prima dell'elaborazione, risultando in una bassa similarità coseno cross-modale che non riesce a identificare relazioni semantiche significative.
2. Co-occorrenza Temporale Inaffidabile: Eventi audio e visivi simultanei non implicano necessariamente una corrispondenza semantica (ad esempio, la musica di sottofondo o la narrazione fuori campo potrebbero non allinearsi con il contenuto visibile).

Di conseguenza, la potatura a livello di input basata sulla distanza degli embedding o sulla co-occorrenza spesso scarta prove importanti specifiche della modalità, portando a una selezione subottimale dei token.

Metodologia: OmniDrop

Per affrontare queste limitazioni, gli autori propongono OmniDrop, un framework di potatura dei token senza addestramento e per livelli. A differenza dei metodi precedenti, OmniDrop pota progressivamente i token all'interno dei livelli del decoder dell'LLM invece che nella fase di input, utilizzando tre meccanismi fondamentali:

1. Potatura Progressiva dei Token per Livello (PLP)

Motivato dall'osservazione che la fusione delle informazioni omni-modali avviene progressivamente attraverso i livelli del decoder, OmniDrop adotta un programma di potatura dinamico.

• Livelli Iniziali: La potatura è conservativa (basso rapporto) per consentire una sufficiente fusione e integrazione delle informazioni omni-modali tra i flussi audio e video.
• Livelli Profondi: La potatura diventa aggressiva (alto rapporto) una volta che il modello ha formato preferenze chiare per i token rilevanti per la query.
• Implementazione: Il rapporto di potatura $p_l$ per il livello $l$ segue una funzione sigmoide:
  $$p_l = p_{init} + (p_{final} - p_{init}) \cdot \sigma(l, t_{mid}, \beta)$$
  Ciò garantisce che i token siano preservati nei livelli superficiali per l'integrazione e rimossi nei livelli più profondi dove i token informativi sono più distinguibili.

2. Importanza dei Token Guidata dalla Query

Invece di confrontare direttamente i token audio e video, OmniDrop utilizza la query testuale come mediatore semantico.

• Meccanismo: Il punteggio di importanza $S$ per i token audio e video è calcolato sulla base dei punteggi di attenzione medi dai token testuali ai token audiovisivi:
  $$S = \frac{1}{n_T} \sum_{q} \text{Attn}_{q \to \{V,A\}}$$
• Adattabilità: Ciò permette al modello di allocare dinamicamente i budget dei token in base ai requisiti del compito. Per compiti centrati sull'audio, vengono mantenuti più token audio; per compiti centrati sul video, vengono mantenuti più token video. Ciò garantisce una perdita minima di informazioni per la specifica query.

3. Punteggio di Diversità Temporale (TDS)

Per prevenire la sovrapotatura di token temporalmente distanti dal picco di attenzione principale (il che potrebbe portare alla perdita del contesto globale), OmniDrop introduce una metrica di diversità.

• Processo:
  1. Identificare il "chunk chiave" ($c_{max}$) contenente il token con il punteggio di importanza più alto.
  2. Selezionare un buffer di candidati dei token con il punteggio più basso.
  3. Calcolare una distanza temporale normalizzata $D$ da $c_{max}$.
  4. Aumentare il punteggio finale: $S_{TDS} = S + \lambda_{div} \cdot D$.
• Effetto: I token temporalmente lontani dal picco di attenzione principale ricevono un aumento del punteggio, incoraggiando una sopravvivenza equilibrata dei token lungo la sequenza e preservando il contesto temporale globale.

4. Potatura Intra-Modale

Prima di immettere i token nell'LLM, OmniDrop esegue una potatura intra-modale indipendente per rimuovere la ridondanza:

• Audio: Mantiene i token con i punteggi di attenzione più alti dall'ultimo livello del codificatore audio.
• Video: Utilizza la Fusione Temporale dei Token (TTM) per filtrare i token visivi consecutivi ridondanti in base alla similarità coseno.
• Risultato: Questa pre-elaborazione riduce il conteggio iniziale dei token a circa il 45% prima che inizi la potatura per livelli.

Contributi Chiave

1. Analisi delle Limitazioni a Livello di Input: Il documento dimostra che la similarità audio-video a livello di input fornisce un segnale debole per la potatura dei token a causa di un allineamento insufficiente negli embedding pre-LLM e dell'inaffidabilità della co-occorrenza temporale come proxy per la rilevanza semantica.
2. Framework OmniDrop: Un nuovo framework di potatura per livelli senza addestramento che sfrutta le query testuali per una selezione dei token agnostica alla modalità e adattiva al compito. Impiega un programma di potatura progressivo e un punteggio di diversità temporale per bilanciare efficienza e conservazione del contesto.
3. Validazione Empirica: Esperimenti estesi su benchmark diversificati (VideoMME, WorldSense, AVUT) mostrano che OmniDrop supera i metodi esistenti senza addestramento (OmniZip, DASH) riducendo significativamente la latenza e l'utilizzo della memoria.

Risultati Sperimentali

Valutato su Qwen2.5-Omni (modelli da 7B e 3B), OmniDrop ha ottenuto quanto segue:

• Miglioramenti delle Prestazioni: Ha superato tutte le linee di base fino a 3,58 punti (specificamente sul benchmark AVUT con il modello da 7B). Notevolmente, con una ritenzione del 30% dei token, OmniDrop ha superato la linea di base con il 100% dei token completi su VideoMME.
• Robustezza: Sotto compressione estrema (20% di ritenzione), OmniDrop ha mostrato un degrado delle prestazioni minimo (calo medio di 0,18–0,47 punti) rispetto alle linee di base che sono crollate di oltre 1,0 punto.
• Efficienza: Ha ridotto la latenza di prefill fino al 40% e l'utilizzo della memoria GPU fino al 14,7% rispetto all'inferenza con token completi, mantenendo prestazioni competitive.
• Adattabilità al Compito: L'analisi ha confermato che il meccanismo guidato dalla query adatta con successo i rapporti di ritenzione dei token alle esigenze specifiche del compito (ad esempio, mantenendo più audio per i compiti di riconoscimento audio e più video per il riconoscimento delle scene).

Significato e Affermazioni

Il documento afferma che OmniDrop offre una soluzione pratica per Omni-LLM scalabili e reattivi spostando fondamentalmente la potatura dei token dal livello di input ai livelli del decoder. Sfruttando le query testuali come segnale di guida e riconoscendo la natura progressiva della fusione omni-modale, il metodo raggiunge compromessi superiori tra efficienza e prestazioni senza richiedere il riaddestramento del modello o modifiche architetturali.

Gli autori riconoscono le limitazioni, notando che il metodo dipende attualmente dai prompt testuali per la selezione dei token, limitandone l'uso in scenari con soli input audio/video. Inoltre, in quanto framework senza addestramento, gli iperparametri (come i programmi di potatura) sono determinati empiricamente piuttosto che appresi. Il lavoro futuro mira a esplorare metodi per catturare le relazioni semantiche senza guida testuale e ottimizzare le decisioni di potatura tramite dati di calibrazione.