Sintesi Tecnica: Verso la comprensione dell'interazione tra modalità nei modelli linguistici multimodali tramite la decomposizione parziale dell'informazione

1. Definizione del problema

I Modelli Linguistici Multimodali (MLLM) sono sempre più impiegati come agenti decisionali in contesti scientifici, medici e incarnati (embodied). Tuttavia, gli attuali paradigmi di valutazione valutano principalmente l'accuratezza del risultato, offrendo una visione limitata su come i modelli utilizzino gli input sensoriali (visione, audio) e linguistici per raggiungere tali decisioni. I metodi di interpretabilità esistenti — come l'allineamento delle rappresentazioni, l'analisi dell'attenzione e l'ablazione della modalità — rivelano come le modalità vengano codificate o come le predizioni cambino sotto perturbazioni. Tuttavia, essi non riescono a fornire una decomposizione a livello decisionale dell'uso delle modalità. Nello specifico, non riescono a distinguere se una modalità contribuisca con informazioni che siano uniche, ridondanti con un'altra modalità o sinergiche (disponibili solo attraverso l'osservazione congiunta). Di conseguenza, diverse forme di interazione multimodale vengono spesso confuse sotto lo stesso segnale di accuratezza o ablazione.

2. Metodologia

Gli autori formalizzano il ragionamento multimodale come un problema di decomposizione dell'informazione a livello decisionale utilizzando la Decomposizione Parziale dell'Informazione (PID).

2.1. Framework PID a livello decisionale

A differenza dei lavori precedenti che analizzano le rappresentazioni latenti, questo framework calcola le metriche informative sulle distribuzioni predittive indotte dal modello.

• Formulazione bi-modale: Per i modelli visione-linguaggio, l'informazione mutua tra la predizione $Y$ e gli input (Visione $X_v$, Testo $X_t$) viene decomposta in quattro componenti non negative:
  • $U_{vis}$: Informazione unica alla visione.
  • $U_{txt}$: Informazione unica al testo.
  • $R_{vl}$: Informazione ridondante condivisa da entrambi.
  • $S_{vl}$: Informazione sinergica derivante solo dall'osservazione congiunta.
• PID Sensoriale (Tri-modale): Per i modelli omni-modali (Video $V$, Audio $A$, Testo $T$), gli autori introducono una formulazione condizionale che tratta il linguaggio come un segnale di controllo direttivo. Questo decompone il guadagno di informazione sensoriale $I(Y; V, A | T)$ in componenti di visione unica ($U_{vis}$), audio unico ($U_{aud}$), sensorialità ridondante ($R_{sens}$) e sinergia sensoriale ($S_{av}$). Ciò evita l'espansione combinatoria preservando al contempo la distinzione funzionale tra specifica del compito (linguaggio) ed evidenza sensoriale.

2.2. Pipeline di stima

Per stimare la PID da stati nascosti continui ad alta dimensionalità senza riaddestrare l'MLLM, gli autori impiegano:

1. Mascheramento calibrato degli embedding: Per approssimare i condizionamenti unimodali (es. $P(Y|X_v)$), sostituiscono gli embedding dei token della modalità mascherata con rumore gaussiano calibrato, preservando le statistiche distribuzionali pur rimuovendo l'informazione specifica dell'istanza.
2. Stimatore BATCH: Utilizzano lo stimatore BATCH (Liang et al., 2023) per apprendere un accoppiamento normalizzato da Sinkhorn $\tilde{Q}$ che preservi le marginali sorgente-target, permettendo l'ottimizzazione trattabile dei termini PID su variabili continue.
3. Score diagnostici locali: Il framework si estende ai contributi additivi per singolo campione, consentendo l'identificazione di campioni "gap di sinergia" (alto potenziale di fusione, bassa sinergia attuale) e campioni "scorciatoia" (forte dipendenza dal testo unico).

3. Contributi chiave

1. PID a livello decisionale per MLLM: Una formalizzazione dell'interazione tra modalità come un problema di decomposizione dell'informazione, separando i contributi unici, ridondanti e sinergici che sono non identificabili tramite la similarità delle rappresentazioni o l'ablazione da soli.
2. PID Sensoriale per modelli Omni-Modali: Una formulazione di PID condizionale che tratta il linguaggio come un segnale di controllo per decomporre il guadagno di informazione video-audio, consentendo un'analisi rigorosa del decision-making tri-modale.
3. Risultati Diagnostici, Predittivi e Azionabili:
   • Profili di uso delle modalità: Identificazione di pattern ricorrenti dove i compiti di ragionamento/grounding elicitano un'alta sinergia, mentre i compiti esperti/di conoscenza mostrano una forte dipendenza dal testo unico.
   • Validità predittiva: I termini PID predicono la sensibilità alle interazioni a livello di modalità (es. rimozione dell'immagine).
   • Collo di bottiglia della sinergia sensoriale: Scoperta che i modelli omni-modali rimangono dominati dall'informazione visiva anche in compiti che richiedono esplicitamente la fusione audio-visiva.
   • Dinamiche per livello (layer-wise): Evidenza che la fusione cross-modale è un fenomeno tardivo, con la sinergia che emerge principalmente negli ultimi strati della rete.
4. Ripesatura guidata dalla PID: Una strategia di addestramento proof-of-concept utilizzando score diagnostici locali per pesare nuovamente i campioni durante il fine-tuning LoRA, aumentando il peso dei campioni sotto-sinergizzati e diminuendo quello dei campioni con scorciatoie linguistiche.

4. Risultati sperimentali

4.1. Analisi Visione-Linguaggio

Attraverso 20 modelli e 6 benchmark, la PID ha rivelato due regimi distinti:

• Dominanza della Sinergia: Benchmark come MMBench, MMStar e POPE (grounding) esibiscono un alto $S_{vl}$ e una forte dipendenza dall'input visivo.
• Dominanza del Prior Testuale: Benchmark come MMMU, PMC-VQA e Reefknot esibiscono un alto $U_{txt}$ e sono ampiamente insensibili alla rimozione del visivo.
• Famiglie di Modelli: Le famiglie Qwen, InternVL3 e LLaVA-OV tendono a essere dipendenti dalla modalità congiunta, mentre Gemma3 e Cambrian sono dipendenti dal prior linguistico. La scalabilità amplifica questi profili esistenti piuttosto che cancellarli.
• Predizione: $S_{vl}$ correla fortemente con l'accuratezza e la sensibilità alla rimozione del visivo nei compiti guidati dalla sinergia ($\rho \geq 0.798$), mentre $U_{txt}$ è più informativo nei compiti dominati dai prior.

4.2. Analisi Omni-Modale

Sul benchmark MUSIC-AVQA (specificamente il subset AV-Fusion):

• Collo di bottiglia della sinergia sensoriale: Nonostante i compiti progettati per il ragionamento congiunto, $S_{av}$ rimane una componente minore. Le decisioni sono dominate dall'informazione unimodale, in particolare quella visiva ($U_{vis} > U_{aud}$).
• Egemonia Visiva: La validazione funzionale tramite shuffling dei campioni ha confermato che i modelli soffrono cali di performance maggiori sotto disallineamento visivo rispetto al disallineamento audio.
• Gating dell'istruzione: L'analisi layer-wise ha mostrato che i prompt linguistici agiscono come segnali di controllo; indebolire le istruzioni che richiedono la fusione attenua significativamente la sinergia sensoriale negli strati finali.

4.3. Ripesatura guidata dalla PID

Applicando gli score diagnostici locali della PID al fine-tuning LoRA su Qwen2.5-VL-7B:

• Guadagni di performance: La ripesatura guidata dalla PID ha migliorato le performance di ragionamento e grounding (es. +2.3 su MMStar, +1.3 su POPE) rispetto al fine-tuning uniforme e ai baseline (random, basati su accuratezza, basati su ablazione).
• Shift del profilo: I test diagnostici post-tuning hanno mostrato uno spostamento verso una maggiore sinergia (la quota di $S_{vl}$ è aumentata dal 67.5% al 73.9%) e una minore dipendenza dal testo unico, confermando la capacità del metodo di guidare il comportamento del modello.

5. Significato e Asserzioni

Il paper posiziona la PID non solo come uno strumento di interpretabilità post-hoc, ma come un segnale pratico per diagnosticare e guidare la fusione multimodale.

• Oltre l'accuratezza: Gli autori affermano che l'informazione mutua totale traccia la performance complessiva ma non riesce a catturare la sensibilità all'intervallo; la decomposizione PID è necessaria per capire come l'informazione viene utilizzata.
• Insight meccanicistico: Le scoperte suggeriscono che gli attuali modelli omni-modali soffrono di un pattern computazionale "visual-first" dove l'integrazione cross-sensoriale è ritardata e mediata dalle istruzioni linguistiche, piuttosto che essere una caratteristica persistente delle rappresentazioni intermedie.
• Azionabilità: Lo studio fornisce una prima evidenza che gli score diagnostici locali possono servire come segnali azionabili per rafforzare la fusione multimodale, offrendo una via per migliorare il ragionamento e il grounding senza un intero riaddestramento del modello.

Gli autori rimangono modesti, osservando che il loro approccio di ripesatura è una prova di concetto e che la PID misura la dipendenza statistica piuttosto che i meccanismi causali. Riconoscono le limitazioni riguardanti lo spazio decisionale discreto (scelta multipla) e l'approssimazione dei condizionamenti unimodali tramite masking.