Riepilogo Tecnico: UniMVU – Gateing Consapevole dell'Istruzione per la Comprensione Video Multimodale

1. Enunciato del Problema

I Modelli Linguistici su Grande Scala per Video pre-addestrati (Video LLM) hanno dimostrato forti capacità nel ragionamento visivo utilizzando frame RGB e istruzioni testuali. Tuttavia, affrontano sfide significative quando elaborano video accompagnati da flussi ausiliari come audio, mappe di profondità o evidenze temporali dense.

Il problema centrale identificato è l'interferenza modale. Negli approcci attuali, i flussi ausiliari sono spesso fusi uniformemente o aggiunti come token extra. Questa strategia di fusione statica assume un'importanza fissa per ciascuna modalità, non tenendo conto del fatto che la rilevanza di una modalità è dipendente dalla query. Ad esempio, l'audio è critico per domande su discorso o strumenti musicali, ma agisce come rumore per il riconoscimento dei colori; i segnali di profondità sono essenziali per la disposizione spaziale ma ridondanti per query incentrate sull'aspetto. La fusione uniforme permette a canali irrilevanti di distrarre il modello, portando a prestazioni subottimali. I metodi esistenti spesso si affidano all'attenzione implicita del decoder o a moduli di interazione specifici per il compito che non affrontano esplicitamente le due domande di quali token all'interno di un flusso enfatizzare e quale flusso priorizzare in base all'istruzione specifica.

2. Metodologia: UniMVU

Gli autori propongono UniMVU, un quadro unificato per la comprensione video multimodale progettato per eseguire una fusione consapevole dell'istruzione attraverso diverse modalità (video, audio, profondità/3D, temporale densa) prima della decodifica da parte dell'LLM. Il quadro utilizza un meccanismo di gateing dinamico a due livelli condizionato dall'istruzione testuale.

Panoramica dell'Architettura

UniMVU integra encoder e proiettori specifici per la modalità con un blocco di Fusione Bilanciata per Modalità, seguito da un LLM congelato o adattato tramite LoRA. Il blocco di fusione è composto da tre componenti principali:

1. Sequenza di Token Unificata e Auto-attenzione Cross-Modale:

   • Tutti gli input (video, audio, profondità, ecc.) sono proiettati in uno spazio di embedding comune e concatenati con i token di istruzione testuale in una sequenza unificata.
   • Uno strato di Auto-attenzione Cross-Modale abilita le interazioni tra i token di istruzione e i token di modalità. Crucialmente, i token di istruzione rimangono "intatti" (sostituiti con gli embedding originali dopo lo strato) per impedire che le caratteristiche rumorose delle modalità perturbino la rappresentazione dell'istruzione, garantendo un flusso di informazioni unidirezionale in cui le modalità sono condizionate dal testo.

2. Gateing Interno alla Modalità Guidato dall'Istruzione (Livello Caratteristica):

   • Questo modulo rifinisce la sequenza di token all'interno di ciascuna modalità.
   • Sfrutta la mappa di attenzione dallo strato cross-modale per calcolare la rilevanza di ciascun token rispetto all'istruzione.
   • La massa di attenzione dai token di istruzione ai token di contenuto viene aggregata e normalizzata all'interno di ciascuna modalità per produrre pesi a livello di token ($w_{m,t}$). Questo enfatizza le regioni salienti all'interno di un flusso sopprimendo quelle irrilevanti.

3. Gateing a Livello di Modalità Guidato dall'Istruzione (Livello Flusso):

   • Questo modulo assegna un peso globale a ciascun intero flusso di modalità.
   • Viene introdotto un Token di Controllo Apprendibile ($t_c$) per ciascuna modalità per riassumere il contenuto del flusso.
   • L'attenzione tra i token di istruzione e questi token di controllo genera un punteggio di importanza scalare ($\eta_m$) per ciascuna modalità.
   • Questi punteggi vengono normalizzati per produrre coefficienti di gateing a livello di modalità ($\beta_m$).

Meccanismo di Fusione:
La rappresentazione finale per una modalità $m$ è calcolata come un raffinamento residuo:
$$\hat{H}_m = O_m + \beta_m (w_m \odot O_m)$$
Dove $O_m$ è l'output dello strato di auto-attenzione. Questo design garantisce che l'evidenza originale sia preservata (tramite il residuo $O_m$) mentre i token e i flussi rilevanti per l'istruzione vengono amplificati. Il gateing agisce come un segnale di ridimensionamento morbido piuttosto che come un interruttore rigido, riducendo il rischio di scartare evidenze potenzialmente utili.

Addestramento e Scalabilità:

• Gli encoder delle modalità rimangono congelati; vengono addestrati solo i proiettori, il blocco di fusione e gli adattatori LoRA nell'LLM.
• Il quadro supporta l'Addestramento Unificato Multi-Compito, in cui un singolo checkpoint viene addestrato su dataset diversi (Audio-Visivo, 3D e Video QA) senza connettori specifici per il compito. Le modalità mancanti vengono mascherate e i gate vengono ricalcolati sui flussi disponibili.

3. Contributi Chiave

• Quadro Unificato: Un singolo modello capace di gestire input a modalità miste (video, audio, profondità/3D, temporale densa) e di generalizzare attraverso configurazioni di modalità diverse senza regole di fusione manuali.
• Gateing Dinamico a Due Livelli: Un meccanismo guidato dall'istruzione che opera sia a livello di token (interno alla modalità) sia a livello di flusso (livello di modalità) per bilanciare adattivamente l'importanza delle modalità in base alla query.
• Interpretabilità: Il meccanismo di gateing si allinea con la rilevanza delle modalità interpretabile dall'uomo (ad esempio, aumentare il peso dell'audio per domande acustiche), fornendo una superficie decisionale trasparente.
• Scalabilità: L'approccio scala a diverse dimensioni di modello (0.5B e 7B) e supporta l'addestramento unificato attraverso più famiglie di compiti, eliminando la necessità di connettori separati per compiti Audio-Visivi, 3D o video densi.

4. Risultati Sperimentali

Gli autori hanno valutato UniMVU su sei benchmark: AVQA, AVSD, Music-AVQA (Audio-Visivo), ScanQA, SQA3D (3D) e MVBench (Video).

• Miglioramenti delle Prestazioni: UniMVU supera costantemente le baseline di fusione statica (in particolare le varianti PAVE e LLaVA-OV).
  • Su Music-AVQA, UniMVU ha ottenuto un miglioramento del +4.6% nell'accuratezza complessiva (0.5B) e del +1.8% (7B) rispetto a PAVE.
  • Su AVSD, ha ottenuto un guadagno di +12.2 punti in CIDEr (0.5B) e +13.5 (7B).
  • Su SQA3D, UniMVU ha migliorato EM@1 del +6.7 (0.5B) e ha mostrato guadagni significativi sulle domande "Cosa" e "Come".
  • Su MVBench, il modello unificato (UniMVU†) ha ottenuto il punteggio medio migliore, con guadagni particolarmente elevati su sottocompiti temporalmente impegnativi come la Predizione di Azione (+21.0) e la Sequenza di Azioni (+16.5) alla scala 0.5B.
• Addestramento Unificato: Un singolo checkpoint addestrato congiuntamente su tutti i compiti (UniMVU†) ha mantenuto prestazioni solide, dimostrando che l'interfaccia di gateing trasferisce con successo il comportamento di selezione delle modalità tra diverse famiglie di compiti.
• Studi di Ablazione:
  • La rimozione del gateing interno alla modalità o a livello di modalità ha portato a cali di prestazioni, confermando la necessità di entrambi i livelli.
  • L'uso di un singolo token di controllo unificato ha superato i token specifici per la modalità.
  • La connessione residua nella formula di gateing è stata critica; la sua rimozione ha degradato le prestazioni.
  • Il gateing senza parametri (utilizzando direttamente i punteggi di attenzione) ha superato le teste di punteggio MLP apprese o di cross-attenzione, suggerendo che i punteggi derivati dall'attenzione forniscono un forte bias induttivo.

5. Significato e Affermazioni

Il documento afferma che UniMVU fornisce una ricetta semplice e unificata per la comprensione video multimodale consapevole dell'istruzione. Il suo significato principale risiede nell'affrontare l'interferenza modale instradando esplicitamente le informazioni in base all'istruzione prima che l'LLM generi una risposta.

• Mitigazione dell'Interferenza: Ridistribuendo dinamicamente i flussi e i token, il modello impedisce alle modalità irrilevanti di distrarre il decoder, un limite della fusione uniforme.
• Generalizzazione: Il quadro dimostra che una singola interfaccia di gateing può gestire input eterogenei (audio, 3D, video denso) senza richiedere architetture separate e specifiche per il compito.
• Efficienza e Trasparenza: Il metodo è leggero (aggiunge parametri minimi) e offre interpretabilità, poiché i pesi di gateing riflettono direttamente il focus del modello su specifici tipi di evidenze richiesti dalla query.

Gli autori concludono che UniMVU permette ai Video LLM di sfruttare meglio i flussi ausiliari sincronizzati, ottenendo risultati all'avanguardia su benchmark diversi offrendo al contempo un percorso scalabile per future integrazioni multimodali.