Riepilogo Tecnico: Valutazione e Orientamento delle Preferenze di Modalità nei Modelli Linguistici Multimodali (MLLM)

Definizione del Problema

I modelli linguistici multimodali (MLLM) hanno dimostrato capacità eccezionali nell'elaborare dati eterogenei (testo, immagini, video). Tuttavia, rimane una lacuna critica nella comprensione se questi modelli esibiscano una preferenza di modalità — ovvero una tendenza sistematica a favorire una modalità rispetto a un'altra quando elaborano contesti multimodali conflittuali. I metodi di valutazione esistenti spesso isolano le modalità (ad esempio, testando solo il testo o solo l'immagine) o si affidano ai valori di Shapley, che non riescono a riflettere scenari realistici in cui le modalità coesistono e potenzialmente confliggono. Inoltre, non è chiaro se queste preferenze intrinseche siano controllabili o se siano correlate alle prestazioni nei task a valle.

Metodologia

1. Il Benchmark MC2

Per valutare rigorosamente la preferenza di modalità, gli autori introducono MC2 (Modality Context Conflict), un benchmark progettato per creare scenari controllati di conflitto di evidenza.

• Costruzione dei Dati: Il dataset comprende 2.000 campioni distribuiti su otto task (es. conteggio, riconoscimento di attributi, analisi del sentiment). È derivato da TDIUC e MS-COCO.
• Meccanismo di Conflitto: Per ogni campione, viene costruito un contesto visivo ($c_v$) e un contesto testuale ($c_t$) per fornire evidenze contraddittorie riguardo a una specifica domanda ($q$).
• Validazione: La pipeline di costruzione assicura che i modelli possano comprendere accuratamente entrambe le modalità isolatamente (raggiungendo una precisione >95% nei test a singola modalità) prima di essere testati sul conflitto. Ciò elimina fattori di confondimento come una scarsa capacità di riconoscimento visivo o bias della conoscenza interna.
• Annotazione: Un framework semi-automatizzato che utilizza LLM (DeepSeekV3, GPT-4o-mini) genera risposte distruttive e testi conflittuali, seguiti da verifica umana per garantire l'incoerenza semantica tra le modalità.

2. Metrica di Valutazione: Vision Ratio

Gli autori definiscono il Vision Ratio per quantificare la preferenza:
$$\text{Vision Ratio} = \frac{S_{\text{vision}}}{S_{\text{vision}} + S_{\text{text}}}$$
Dove $S$ rappresenta la proporzione di campioni in cui la risposta del modello si allinea con il contesto visivo o testuale, rispettivamente. Un rapporto > 0,5 indica una preferenza per la visione; < 0,5 indica una preferenza per il testo.

3. Analisi dei Driver

Lo studio indaga i fattori che guidano queste preferenze:

• Pattern di Attenzione: Gli autori correlano il Vision Ratio con l'Attention Ratio (attenzione visiva rispetto all'attenzione totale), riscontrando che una distribuzione disomogenea dell'attenzione guida la preferenza.
• Scala e Addestramento: Gli esperimenti mostrano che i modelli più grandi esibiscono generalmente una preferenza visiva più forte. Inoltre, il fine-tuning con dati di conflitto multimodale sposta le preferenze, suggerendo che l'esposizione a contesti conflittuali durante l'addestramento influenza questi bias.

4. Ingegneria della Rappresentazione per l'Orientamento (Steering)

Sulla base del riscontro che la preferenza di modalità è codificata nelle rappresentazioni latenti, gli autori propongono un metodo di orientamento senza addestramento (training-free):

• Probing: Il modello viene interrogato con istruzioni per dare priorità alla visione o al testo. Viene calcolata la differenza tra gli stati nascosti ($x^t_{i,\ell} - x^v_{i,\ell}$) nell'ultimo token attraverso i layer per identificare il vettore di direzione della preferenza di modalità ($u^\ell_t$).
• Selezione del Layer: L'analisi rivela che i layer 20–23 (in modelli come Qwen2.5VL) mostrano i segnali di preferenza più stabili e significativi.
• Steering (Orientamento): Durante l'inferenza, un vettore di orientamento scalato ($s^\ell = w \cdot u^\ell$) viene aggiunto agli stati nascosti nel layer selezionato. Il peso $w$ è calcolato per allineare la media della direzione sondata con la distribuzione originale, garantendo che l'intervento sia efficace senza interrompere le capacità linguistiche.

Risultati Chiave

Preferenze di Modalità negli MLLM

• Prevalenza: Tutti i 20 MLLM testati esibiscono chiare preferenze di modalità.
• Bias del Testo: La maggior parte dei modelli (es. LLaVA1.5-7B) mostra una forte preferenza per il testo (Vision Ratio ~13,4%), in linea con l'ipotesi del "prior linguistico".
• Preferenza Visiva: Modelli come Qwen2.5VL e InternVL3 mostrano una preferenza visiva più forte, che aumenta con la scala del modello.
• Correlazione: Esiste una forte correlazione positiva ($\rho = 0,964$) tra il Vision Ratio e le prestazioni di comprensione visiva su benchmark a valle (es. MathVista, TallyQA), suggerendo che la preferenza sia un indicatore affidabile della capacità.

Efficacia dell'Orientamento (Steering)

Il metodo di ingegneria della rappresentazione proposto orienta con successo i modelli verso la modalità desiderata senza fine-tuning:

• Performance su MC2: Il metodo supera i baseline (Zero-shot, Design dell'istruzione, Chain-of-Thought, Few-shot) nell'aggiustare il Vision Ratio. Ad esempio, orientare Qwen2.5VL-7B verso il testo ha aumentato il suo punteggio di allineamento testuale dal 35,4% al 63,6%.
• Task a Valle:
  • Ragionamento: Miglioramento della precisione su MathVista (62,3% vs 59,0% baseline) e TallyQA (76,6% vs 74,4%).
  • Mitigazione delle Allucinazioni: Sul benchmark PhD (specificamente la sottosezione con testo fuorviante), l'orientamento verso la visione ha ridotto significativamente le allucinazioni causate da testi conflittuali.
  • Traduzione: Su AmbigCaps (traduzione automatica multimodale), l'orientamento verso il testo ha migliorato i punteggi BLEU riducendo la dipendenza da indizi visivi spurii.

Meccanismo Interno

L'analisi dell'attenzione conferma che il metodo di orientamento altera con successo la distribuzione dell'attenzione del modello. Quando orientato verso il testo, il peso dell'attenzione sui token testuali aumenta significativamente (es. da ~55% a ~83%) mentre l'attenzione visiva diminuisce, validando che l'intervento opera a livello di rappresentazione.

Significato e Rivendicazioni

Il documento rivendica tre contributi primari:

1. Framework di Valutazione: L'introduzione di MC2 fornisce il primo benchmark controllato su larga scala per valutare sistematicamente la preferenza di modalità negli MLLM, separando la preferenza dalle capacità di comprensione.
2. Intuizione nello Spazio Latente: Lo studio rivela che le preferenze di modalità sono orientabili e identificabili all'interno delle rappresentazioni latenti degli MLLM, offrendo una nuova prospettiva sui meccanismi di ragionamento multimodale.
3. Controllo Senza Addestramento: Il metodo di probing e steering proposto consente un aggiustamento esplicito e controllabile della preferenza di modalità senza ulteriori dati o fine-tuning. Ciò migliora le prestazioni su task a valle dove la dipendenza da una specifica modalità è critica (es. evitare allucinazioni indotte dal testo nel ragionamento visivo).

Gli autori concludono che comprendere e controllare la preferenza di modalità è essenziale per sviluppare sistemi multimodali più affidabili e robusti, particolarmente in scenari in cui sono presenti informazioni conflittuali.