Riepilogo Tecnico: Diagnostica Meccanicistica del Bias Lessicale Spaziale nei Modelli Linguistici Multimodali per il Ragionamento Spaziale

1. Definizione del Problema

I Modelli Linguistici Multimodali (MLLM) falliscono frequentemente nei compiti di ragionamento spaziale, in particolare nei formati di domande a scelta multipla (MCQ). Mentre il lavoro precedente spesso attribuisce questi fallimenti a una debole fondazione visiva (visual grounding), alla mancanza di evidenza visiva o a un'attenzione visiva errata, questo articolo identifica un modo di fallimento complementare e sistematico: il Bias Lessicale Spaziale.

Il fenomeno centrale osservato è il comportamento Binario-Stabile ma Ternario-Fragile (BSTF - Binary-Stable but Ternary-Fragile). Nei casi BSTF, un MLLM risponde correttamente a una domanda spaziale binaria (es. "L'oggetto è a sinistra o a destra?") ma fallisce costantemente quando viene aggiunta una terza opzione spaziale plausibile (es. "sinistra, destra, dietro"), anche se la risposta corretta rimane la stessa. Il modello seleziona sistematicamente la nuova parola spaziale aggiunta come risposta, indipendentemente dall'ordine delle opzioni. Ciò suggerisce che il fallimento non è dovuto a una perdita di informazione visiva, bensì a una distorsione del processo decisionale lato linguaggio, innescata dalla struttura semantica del vocabolario spaziale aggiunto.

2. Metodologia

2.1 Framework Diagnostico

Gli autori hanno costruito una pipeline di valutazione controllata utilizzando nove MLLM open-weight (dalle famiglie LLaVA, Qwen e InternVL) e tre dataset sintetici (Sphere–Cube, Sphere–Dog e Sphere–Dog Outdoor).

• Scoring Rigoroso: Per eliminare il bias di posizione, un campione è considerato corretto solo se il modello risponde correttamente in tutte le permutazioni dell'ordine delle opzioni (es. tutte le 6 permutazioni per le domande ternarie).
• Selezione BSTF: I casi sono stati filtrati dove l'accuratezza robusta binaria era perfetta (1.00) ma l'aggiunta di una specifica opzione spaziale causava un calo di almeno 80 punti percentuali nell'accuratezza ternaria. Ciò ha prodotto 55 casi diagnostici ad alta confidenza su 7 modelli.

2.2 Interpretabilità Meccanicistica

Per determinare il locus del fallimento, gli autori hanno impiegato tre strumenti diagnostici:

1. Analisi dell'Attenzione Visiva: Confronto delle mappe di attenzione tra prompt binari corretti e prompt ternari errati per verificare se il modello sposta il focus lontano dagli oggetti rilevanti.
2. Probing dello Stream Residuo: Addestramento di probe lineari sugli stati dei vettori del last-token residual stream per verificare se la relazione spaziale corretta rimane decodificabile anche quando il modello produce una risposta errata.
3. Activation Patching & Sparse Intervention:
   • Patching: Scambio degli stati del residual stream tra prompt binari corretti e prompt ternari errati, livello per livello, per identificare dove avviene lo switch del segnale decisionale.
   • Sparse Knockout: Azzeramento di specifici canali del residual stream e neuroni MLP nella posizione del token dell'opzione aggiunta per vedere se l'errore può essere corretto.

2.3 Strategia di Mitigazione

Gli autori hanno testato se il bias potesse essere riparato tramite LLM-only Direct Preference Optimization (DPO).

• Dati: Un dataset di preferenza sintetico minimo derivato da una singola coppia di oggetti (torus–pyramid) con quattro varianti di relazione.
• Addestramento: Solo il decoder dell'LLM è stato aggiornato utilizzando adapter LoRA; l'encoder visivo e il proiettore sono rimasti congelati.
• Obiettivo: Verificare se l'aggiustamento del solo processo decisionale lato linguaggio potesse mitigare il bias senza nuova supervisione visiva.

3. Risultati Chiave

3.1 L'Evidenza Visiva è Recuperabile

• Attenzione: Le mappe di calore dell'attenzione per i prompt binari corretti e quelli ternari errati si concentrano sulle stesse regioni degli oggetti. L'opzione spaziale aggiunta non reindirizza l'attenzione visiva lontano dall'evidenza rilevante.
• Probing: I probe lineari recuperano la vera relazione spaziale dal last-token residual stream con un'accuratezza quasi del 100% (accuratezza macro 0.998) anche nei casi ternari errati. Ciò conferma che l'informazione visiva è presente internamente ma non viene utilizzata per la decisione finale.

3.2 Il Bias è Lato Linguaggio e Strutturato

• Specificità: Sostituire l'opzione spaziale aggiunta con una parola irrilevante (es. "violino") ha causato solo un modesto calo di accuratezza (16.7 pp), mentre l'aggiunta di un'opzione spaziale ha causato un calo massiccio (97.8 pp). Ciò conferma che il bias deriva dall'interazione semantica tra le parole spaziali, non semplicemente dall'aumento del numero di scelte.
• Localizzazione:
  • Per Livello (Layer-wise): L'activation patching ha rivelato che la transizione decisionale avviene nei livelli medi-tardivi (circa il 60–64% della profondità) dell'LLM.
  • Per Componente: Lo sparse knockout di soli 100 canali del residual stream o 200 neuroni MLP alla posizione del token dell'opzione aggiunta (nei livelli iniziali-medi) poteva ripristinare le predizioni corrette, identificando specifici "punti di leva" per il bias.

3.3 La Riparazione Solo-LLM è Efficace

• Dati Sintetici: Applicare LoRA-DPO al decoder dell'LLM usando il dataset di singola coppia ha migliorato l'accuratezza robusta a quattro vie sul dataset di test sintetico fino a 100 punti percentuali (es. da quasi lo 0% a circa l'80-100%).
• Generalizzazione: La riparazione si è trasferita a benchmark pubblici più ampi e rumorosi:
  • WhatsUp: +68.0 punti
  • SpatialMQA-Direct: +32.6 punti
  • VSR: +20.1 punti
• Preservazione: La riparazione ha mantenuto l'accuratezza binaria correggendo al contempo i fallimenti ternari e a quattro vie, indicando che il modello ha imparato a resistere al bias lessicale senza perdere le sue capacità originali di ragionamento spaziale.

4. Significato e Rivendicazioni

L'articolo sostiene che la comprensione dei fallimenti del ragionamento spaziale negli MLLM debba spostarsi da un puro deficit visivo a un bias lessicale lato linguaggio.

• Insight Meccanicistico: Fornisce prove causali che componenti specifici del lato LLM (canali residui e neuroni MLP) modulano la selezione dell'opzione spaziale, e che la relazione visiva corretta rimane disponibile internamente durante questi fallimenti.
• Azionabilità: Lo studio dimostra che questo bias è azionabile. Un aggiornamento leggero, basato solo su LLM e su dati sintetici minimi, può riparare sostanzialmente il modo di fallimento, suggerendo che la robustezza del ragionamento spaziale può essere migliorata ottimizzando il processo decisionale del modello linguistico piuttosto che riaddestrare l'intera architettura multimodale.
• Limitazioni: Gli autori notano che le loro scoperte sono specifiche per relazioni spaziali a quattro direzioni controllate. Sebbene il meccanismo sia localizzabile, lo studio non pretende di aver mappato un circuito completo, e l'efficacia della riparazione su scene del mondo reale più complesse con relazioni spaziali più ricche rimane una questione aperta.

In sintimento, il lavoro stabilisce che gli MLLM spesso "sanno" la corretta relazione spaziale, ma vengono fraintesi dalla struttura lessicale delle opzioni di risposta, e che questo specifico modo di fallimento può essere diagnosticato e mitigato attraverso interventi mirati sul lato del modello linguistico.