Information Router for Mitigating Modality Dominance in Vision-Language Models

1. Il Problema: Dominanza Modale e Disparità Informativa

I modelli Vision-Language (VLM) hanno ottenuto risultati eccellenti su numerosi benchmark, ma soffrono di un problema persistente noto come dominanza modale. In questo scenario, il modello tende a fare affidamento sproporzionato su una singola modalità (spesso il testo), ignorando o sottoutilizzando le evidenze visive.

• Limitazione degli approcci precedenti: Le soluzioni esistenti tentano di mitigare questo problema guidando l'allocazione dell'attenzione del modello (steering attention). Tuttavia, questi metodi presuppongono implicitamente che tutte le modalità di input contengano già informazioni sufficienti.
• La realtà: Nel mondo reale, le modalità differiscono significativamente nella loro densità informativa e nel rapporto segnale-rumore. Ad esempio, i token visivi possono essere sparsi o ambigui a causa di limitazioni di viewpoint, mentre i token linguistici sono spesso densi e semanticamente espliciti.
• Il fallimento dell'attenzione: Se i token con informazioni carenti vengono elaborati insieme a token densi senza correzione, semplicemente ridistribuire l'attenzione non risolve la carenza sottostante di informazioni. Il modello continua a fallire quando una modalità è degradata o corrotta, poiché non può "inventare" informazioni mancanti solo spostando l'attenzione.

2. Metodologia: MOIR (Multi-modal Information Router)

Gli autori propongono MOIR, un metodo di fusione a livello informativo che agisce prima che i token vengano elaborati dal decoder del Large Language Model (LLM). L'obiettivo è ridurre esplicitamente la disparità informativa tra le modalità.

Funzionamento Tecnico:

1. Identificazione dei Token Poco Informativi:

   • MOIR analizza le sequenze di token di ciascuna modalità (es. Visivo e Testuale) dopo la codifica ma prima della fusione.
   • Utilizza la Decomposizione ai Valori Singoli (SVD) sulle rappresentazioni dei token per calcolare un "punteggio di informatività" per ogni canale (dimensione dell'embedding).
   • I canali con punteggi bassi (rumorosi, ridondanti o deboli) vengono identificati come "meno informativi".

2. Routing dell'Informazione Complementare:

   • Una volta identificati i canali carenti in una modalità (es. Visivo), MOIR seleziona informazioni complementari dalla modalità più forte (es. Testuale) per compensare le carenze.
   • Viene applicata una fusione adattiva: i canali poco informativi vengono sostituiti o arricchiti con informazioni dalla modalità opposta, controllata da gate di routing ($\alpha$) apprendibili.
   • La formula di routing per la modalità A sui canali meno informativi è:
     $$\bar{F}^A_{\text{less inf}} = \alpha \cdot F^B_{\text{less inf}} + (1 - \alpha) \cdot F^A_{\text{less inf}}$$

3. Integrazione con l'LLM:

   • I token arricchiti (ora più densi di informazioni) vengono concatenati e passati al decoder LLM.
   • Questo permette al modello di basare le sue decisioni su rappresentazioni bilanciate, facilitando un uso più equo delle modalità senza forzare artificialmente l'attenzione.

3. Contributi Chiave

1. Proposta di MOIR: Un nuovo metodo di fusione multi-modale che scambia informazioni tra modalità prima della fusione finale, affrontando la radice del problema della dominanza modale (la disparità informativa) piuttosto che solo i sintomi (l'allocazione dell'attenzione).
2. Ridefinizione della Dominanza Modale: Gli autori evidenziano che cambiare l'uso delle modalità senza considerare lo "stato probatorio" (evidential status) di ciascuna può essere inaffidabile se una modalità è rumorosa. MOIR risolve questo rendendo le modalità meno informative più robuste.
3. Risultati Empirici Estesi: Dimostrazione che MOIR migliora costantemente il contributo delle modalità, la robustezza e le prestazioni a valle su dataset diversi e backbones di modelli differenti.

4. Risultati Sperimentali

Il metodo è stato valutato su tre benchmark ampiamente utilizzati: ScienceQA e VizWiz (ragionamento Immagine-Testo) e MMBench-Video (ragionamento Video-Audio-Testo), utilizzando modelli come LLaVA-1.5 e Qwen2.5-VL.

• Prestazioni a Valle (Downstream Performance):
  • MOIR mantiene o migliora l'accuratezza del task. I miglioramenti sono particolarmente evidenti in compiti che richiedono un forte ancoraggio visivo (es. VizWiz e MMBench-Video), dove le soluzioni basate solo sul testo falliscono.
• Analisi della Dominanza Modale:
  • MDI (Modality Dominance Index) e AEI (Attention Efficiency Index): MOIR riduce significativamente questi indici, indicando un uso più bilanciato delle modalità.
  • Rank $\Delta$: Si osserva un aumento del "Rank" delle rappresentazioni sia visive che testuali, suggerendo che MOIR non sopprime una modalità, ma ne arricchisce l'informazione reciproca, creando rappresentazioni più dense.
• Robustezza alla Corruzione:
  • In un test su VizWiz, dove le immagini originali sono state sostituite da rumore gaussiano, il modello baseline ha mantenuto le stesse previsioni (ignorando l'immagine) nel 62% dei casi. Con MOIR, questo tasso è crollato drasticamente, dimostrando che il modello diventa sensibile all'input visivo e non si affida più a scorciatoie linguistiche.
• Qualità delle Risposte:
  • Su MMBench-Video, MOIR riduce le "allucinazioni" e le risposte generiche, producendo descrizioni basate su evidenze visive osservabili nei frame (es. identificazione corretta di plugin o eventi sportivi).

5. Significato e Implicazioni

Questo lavoro sposta il paradigma di ricerca sulla dominanza modale: invece di limitarsi a regolare dove il modello guarda (attenzione), è necessario modificare cosa il modello ha a disposizione (disponibilità informativa).

• Strategia Complementare: MOIR si rivela una strategia efficace e complementare rispetto alle tecniche di ottimizzazione dell'attenzione.
• Affidabilità: Intervenire a livello informativo è cruciale per costruire sistemi multi-modali affidabili, specialmente in scenari reali dove i dati di input possono essere degradati, ambigui o sbilanciati.
• Generalizzabilità: Il metodo è stato testato con successo su diverse architetture e tipi di dati (immagini, video, audio), suggerendo che il principio del "routing informativo" è universale per il ragionamento multi-modale.

In sintesi, MOIR dimostra che per ottenere un ragionamento multi-modale genuino, è necessario garantire che tutte le modalità forniscano rappresentazioni informative e dense prima che il modello linguistico prenda una decisione.