SchröMind: Mitigating Hallucinations in Multimodal Large Language Models via Solving the Schrödinger Bridge Problem

Riassunto Tecnico: Schr¨oMind

1. Il Problema: Allucinazioni nei Modelli Multimodali (MLLM)

Nonostante i progressi nei Modelli Linguistici di Grandi Dimensioni Multimodali (MLLM), questi soffrono ancora di allucinazioni oggettive: il modello genera descrizioni testuali che contraddicono o ignorano il contenuto visivo dell'immagine.
Il paper identifica la causa principale in un eccessivo affidamento sui prior linguistici (bias del linguaggio) rispetto ai segnali visivi. Gli autori osservano che, sebbene i modelli comprendano l'immagine, faticano a produrre sequenze di token accurate. Piccole perturbazioni possono spostare l'attenzione verso stati "non veritieri", e la natura autoregressiva della generazione impedisce al modello di correggere l'errore una volta prodotto.

2. Metodologia: Il Problema del Ponte di Schr¨odinger (SBP)

La proposta centrale, Schr¨oMind, introduce un framework di intervento a livello di attivazione che non richiede il fine-tuning dell'intero modello, ma agisce sulle attivazioni dei Transformer.

• Limiti dei metodi esistenti: Le tecniche attuali (come l'activation engineering) applicano vettori di correzione uniformi a tutti i token di una testa di attenzione. Gli autori sostengono che questo sia eccessivamente semplificato, poiché ogni token richiede un intervento personalizzato.
• Approccio basato sul Trasporto Ottimale: Schr¨oMind modella la transizione tra la distribuzione delle attivazioni "allucinatorie" ($P_{hallu}$) e quella "veritiera" ($P_{fact}$). Per farlo, risolve il Problema del Ponte di Schr¨odinger (SBP), che è una versione entropicamente regolarizzata del Trasporto Ottimale (EOT).
• Meccanismo di Correzione:
  • Mapping Dinamico: Invece di una correzione statica, il metodo utilizza un processo di diffusione guidato da un "drift" ottimale ($g^*$). Questo permette di guidare le attivazioni verso il manifold (varietà) della verità in modo fluido, minimizzando il costo di trasporto e preservando la coerenza semantica.
  • Intervento Token-Specific: Il framework calcola una distribuzione condizionale $\pi_\theta(a_1 | a_0)$ che permette di trasformare ogni singola attivazione allucinatoria in una veritiera in modo personalizzato.
  • Pipeline a due stadi:
    1. Identificazione: Utilizzo di classificatori (regressione logistica) per identificare quali teste di attenzione sono più sensibili alle allucinazioni.
    2. Intervento: Applicazione della correzione tramite SBP/EOT a due livelli di granularità: image-level (perturbazioni dell'intera immagine) e object-level (perturbazioni specifiche dell'oggetto).

3. Contributi Chiave

1. Framework di intervento personalizzato: Il primo metodo che tratta la correzione delle attivazioni come un problema di trasporto ottimale tra manifold di allucinazione e verità.
2. Efficienza e Plug-and-Play: È il primo utilizzo del Ponte di Schr¨odinger per l'intervento a livello di token; richiede solo pochi minuti di addestramento e può essere applicato immediatamente senza aggiornare i parametri del modello originale.
3. Precisione Matematica: L'uso della regolarizzazione entropica garantisce una transizione fluida che evita discontinuità semantiche durante la generazione del testo.

4. Risultati Sperimentali

Il framework è stato testato su modelli di punta come LLaVA-1.5-7B e Qwen2.5-VL-7B utilizzando i benchmark POPE (per l'allucinazione di oggetti) e MME (per la percezione multimodale generale).

• Benchmark POPE: Schr¨oMind ha superato lo stato dell'arte (SOTA), in particolare nelle domande "Adversarial" (le più difficili), dove ha mostrato incrementi di accuratezza significativi rispetto ai modelli base e ai metodi precedenti come ICT.
• Benchmark MME: Il modello ha ottenuto punteggi totali superiori, dimostrando una capacità migliorata non solo nel rilevare oggetti, ma anche in compiti di conteggio, posizione spaziale e ragionamento comune (CSR).
• Ablazione: Gli esperimenti confermano che l'integrazione di interventi sia a livello di immagine che di oggetto è fondamentale per ottenere le prestazioni ottimali.

5. Significato e Conclusioni

Schr¨oMind rappresenta un passo avanti cruciale per l'uso dei MLLM in domini ad alto rischio (come la medicina o la guida autonoma), dove l'accuratezza visiva è vitale. La sua importanza risiede nella capacità di correggere il comportamento del modello "al volo" (inference-time) con un costo computazionale minimo, garantendo che il modello rimanga fedele all'input visivo senza perdere le capacità linguistiche acquisite durante il pre-addestramento massivo.