Riepilogo Tecnico: O-MARC: Distillazione di Compressione Omni-Aumentata con Memoria per la Comprensione Efficiente dei Video

1. Enunciato del Problema

I modelli linguistici su larga scala omnimodali (LLM) sono emersi come una direzione promettente per la comprensione unificata di audio, video e linguaggio. Tuttavia, la loro inferenza rimane costosa a causa della natura intensiva in token delle modalità audio e video. L'elaborazione congiunta di fotogrammi video e flussi audio genera lunghe sequenze multimodali, portando a un significativo sovraccarico di memoria e a un'inferenza lenta, in particolare per video lunghi.

Sebbene la compressione dei token sia una soluzione naturale, estenderla agli input audiovisivi non è banale. A differenza della compressione basata solo sul visivo, la compressione audiovisiva deve gestire due modalità con pattern di ridondanza distinti: i token video spesso mostrano ridondanza spaziale e temporale, mentre i token audio possono codificare indizi brevi ma decisivi. Crucialmente, l'importanza di ciascuna modalità è spesso interdipendente; un suono acquista significato quando ancorato a una scena visibile, e un evento visivo può rimanere ambiguo senza il suo audio corrispondente. I metodi di compressione esistenti spesso comprimono le modalità in isolamento, rimuovendo potenzialmente le prove cross-modali necessarie per un ragionamento accurato.

Inoltre, i benchmark esistenti non riescono a isolare completamente l'associazione audio-visiva nei contenuti generati dagli utenti (UGC) rumorosi. Molti benchmark attuali valutano il ragionamento su video lunghi ma si affidano prevalentemente a modelli basati sulla visione che raramente utilizzano segnali audio, oppure non filtrano esplicitamente le domande risolvibili solo con priori visivi.

2. Metodologia

Il documento propone un approccio tripartito: un nuovo benchmark, un metodo di compressione senza addestramento e un framework di distillazione consapevole della compressione.

2.1 Benchmark UGC-AVQA

Per colmare il divario nella valutazione, gli autori introducono UGC-AVQA, un benchmark pubblico costruito a partire da 1.000 brevi video UGC pubblici con 4.816 coppie di domande e risposte (QA).

• Focus: Associazione audio-visiva fine-granulare attraverso eventi, scene e cambiamenti temporali.
• Costruzione: I video sono annotati con didascalie dettagliate e domande a scelta multipla in quattro categorie: Progressione di Eventi Audio-Visivi, Transizione di Scena/Temporale Audio-Visiva, Allineamento Cross-Scene e Contrasto Fine-Granulare.
• Filtro di Difficoltà: Per garantire che le domande richiedano entrambe le modalità, viene applicato un "test di rimozione audio". Un campione viene mantenuto nel benchmark solo se un modello potente (Gemini-3.1-Flash) fallisce quando la traccia audio viene rimossa. Questo filtra le domande risolvibili solo con priori visivi.
• Divisione: Il dataset è suddiviso in un set di addestramento (794 video, 3.168 coppie QA) e un set di benchmark (206 video, 1.648 coppie QA), con una revisione umana che garantisce la qualità.

2.2 OMAC (Omni Memory-Augmented Compression)

OMAC è un metodo di compressione plug-in senza addestramento, progettato per preservare la memoria visiva saliente e gli ancoraggi audio radicati temporalmente senza modificare il modello di base.

• Memoria Visiva:
  • Punteggio dei Fotogrammi: I fotogrammi sono riassunti e valutati in base alla rilevanza rispetto alla query. I fotogrammi ad alto punteggio sono selezionati come fotogrammi chiave.
  • Selezione dei Token: All'interno dei fotogrammi selezionati, i token sono valutati in base al contrasto rispetto al centroide del fotogramma. I token distintivi sono mantenuti come memoria visiva esplicita, mentre viene formato un token di memoria di fotogramma compatto tramite pooling ponderato.
  • Struttura: Questo crea una struttura di memoria a due livelli: riassunti di fotogrammi (memoria grezza) e token locali distintivi più un riassunto compatto (memoria fine-granulare).
• Memoria Audio e Aggiustamento del Budget:
  • Ancoraggi: I token audio sono valutati per importanza. I token ad alto punteggio diventano "ancoraggi", e i token vicini scartati vengono fusi in essi per formare slot di memoria acustica compatti.
  • Budgeting Cross-Modale: OMAC utilizza la distribuzione della memoria visiva per regolare il budget audio. Se un segmento temporale mantiene una memoria visiva significativa, il budget audio per quel segmento viene aumentato. Al contrario, gli intervalli visivamente leggeri vengono compressi più aggressivamente. Questo garantisce che la sequenza compressa preservi la struttura degli eventi attraverso le modalità piuttosto che token isolati.

2.3 O-MARC (Omni Memory-Augmented Compression Distillation)

Per rendere i modelli compatti robusti agli input compressi, gli autori introducono O-MARC, un framework di distillazione per compressione basato sull'Ottimizzazione della Politica Relativa di Gruppo (GRPO).

• Meccanismo: Per ogni query, la politica campiona due percorsi: un ramo "insegnante" che utilizza token completi e un ramo "studente" che utilizza token compressi da OMAC.
• Modellazione della Ricompensa: La discrepanza tra le ricompense dell'insegnante e dello studente ($\Delta_i$) misura il degrado indotto dalla compressione. Questa discrepanza viene utilizzata per rimodellare il vantaggio GRPO.
• Obiettivo: L'obiettivo di addestramento viene modificato per orientare l'ottimizzazione della politica verso comportamenti che rimangono robusti sotto compressione della memoria. Nello specifico, i campioni che sono benefici sotto GRPO ma fortemente degradati dalla compressione ricevono aggiornamenti positivi più ampi. Ciò permette al modello di imparare a ragionare efficacemente entro un budget di token ridotto.

3. Contributi Chiave

1. UGC-AVQA: Un nuovo benchmark pubblico per l'associazione audio-visiva nei video UGC, dotato di un controllo di difficoltà per la rimozione audio per garantire che le domande richiedano genuinamente ragionamento multimodale.
2. OMAC: Un metodo di compressione plug-in senza addestramento che preserva la memoria visiva saliente e utilizza il contesto visivo per allocare dinamicamente i budget di memoria audio.
3. O-MARC: Un framework di distillazione per compressione che addestra modelli omnimodali a ragionare in modo robusto in contesti multimodali compressi, superando la potatura standard dei token e le baseline contemporanee basate sull'addestramento.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli che vanno da 3B a 30B parametri (serie Qwen2.5-Omni e Qwen3-Omni) su quattro benchmark: DailyOmni, UGC-AVQA, OmniVideo e WorldSense.

• Prestazioni di OMAC: OMAC supera costantemente la potatura diretta dei token (OmniZip) e l'inferenza con token completi nei compromessi efficienza-accuratezza.
  • Su Qwen2.5-Omni-3B, OMAC ha migliorato il punteggio medio a 45,8, superando l'inferenza con token completi (44,1) e OmniZip (41,0).
  • Ha ridotto la latenza di inferenza del 34,6% (accelerazione di 1,53×) e l'utilizzo della memoria del 34,7% rispetto all'inferenza con token completi.
• Prestazioni di O-MARC:
  • Efficienza: Sul modello da 3B, O-MARC (addestrato con soli 3k campioni) ha raggiunto un punteggio medio di 45,8, superando la baseline con token completi (44,1) e OMAC da solo (42,8).
  • Scalabilità: Quando scalato al modello da 7B con oltre 100k campioni di addestramento, O-MARC ha raggiunto un punteggio medio di 51,1, superando la baseline contemporanea basata sull'addestramento OmniSIFT (48,7) e migliorando significativamente l'accuratezza su UGC-AVQA (64,6 vs 56,4).
• Studi di Ablazione:
  • Rapporto di Compressione: OMAC ha mantenuto alte prestazioni anche al 70% di compressione, mentre le prestazioni di OmniZip sono crollate significativamente.
  • Guida: La progettazione completa di OMAC (aggiustamento del budget Audio guidato dal Visivo) ha superato le varianti in cui l'audio guidava la compressione visiva o in cui le modalità erano compresse indipendentemente.

5. Significato e Affermazioni

Il documento afferma che il ragionamento omnimodale efficiente non dovrebbe essere considerato esclusivamente come una tecnica di accelerazione dell'inferenza, ma come una condizione addestrabile.

• Interdipendenza: I risultati dimostrano che la compressione audio e video non può essere trattata in isolamento; preservare le prove cross-modali (ad esempio, utilizzando la memoria visiva per guidare il budgeting audio) è fondamentale per mantenere le capacità di ragionamento.
• Robustezza: Attraverso O-MARC, gli autori mostrano che i modelli compatti possono essere addestrati a ragionare in modo efficace sotto budget di token ridotti, spesso superando modelli più grandi o l'inferenza con token completi in scenari vincolati dall'efficienza.
• Valutazione: L'introduzione di UGC-AVQA evidenzia un divario nei benchmark attuali, mostrando che una QA audio-visiva affidabile su UGC richiede più del semplice riconoscimento visivo generico o di priori unimodali, rendendo necessaria una valutazione esplicita dell'associazione audio-visiva.

Gli autori concludono che il loro studio unificato sulla costruzione di benchmark, la compressione della memoria e l'addestramento consapevole della compressione fornisce una via verso un ragionamento omnimodale robusto ed efficiente per contenuti video reali e rumorosi.