Sintesi Tecnica: Mitigazione delle Allucinazioni Visive nei Sistemi Multimodali attraverso l'Inferenza Potenziata dal Recupero e Sensibile all'Affidabilità

1. Definizione del Problema

I Modelli Linguistici Multimodali (MLLM) hanno fatto passi avanti nella comprensione visione-linguaggio, ma soffrono di un problema critico di affidabilità: l'allucinazione visiva. Questi sistemi generano spesso risposte in linguaggio naturale fluide e sicure anche quando l'evidenza visiva sottostante è debole, ambigua o semanticamente inconsistente. Gli approcci attuali si concentrano principalmente sul miglioramento dell'allineamento delle rappresentazioni o sulla generazione potenziata dal recupero, ma mancano di meccanismi per quantificare la affidabilità della predizione a livello di istanza.

Esiste un divario significativo nell'inferenza multimodale affidabile: i sistemi sono spesso costretti a fornire una risposta per ogni input, indipendentemente dalla qualità dell'evidenza. Gli standard dei punteggi di confidenza (ad esempio, le probabilità softmax) sono frequentemente mal calibrati e non riflettono l'effettiva correttezza, portando a errori "overconfident" (troppo sicuri di sé) dove gli utenti vengono ingannati da output errati ma presentati con sicurezza. Il documento sostiene che un sistema affidabile non deve solo predire una risposta, ma deve anche valutare se tale risposta debba essere considerata attendibile, distinguendo tra evidenza forte e dati insufficienti o conflittuali.

2. Metodologia

Gli autori propongono un Framework di Inferenza Potenziato dal Recupero e Sensibile all'Affidabilità. Si tratta di uno strato post-hoc inserito tra la predizione visiva e la generazione della risposta finale, progettato per validare le predizioni utilizzando evidenze visive esterne senza dover riaddestrare i modelli multimodali di grandi dimensioni sottostanti.

2.1 Architettura del Framework

La pipeline consiste in quattro fasi principali:

1. Codifica dell'Input e Recupero delle Evidenze:

   • Le immagini in input vengono elaborate utilizzando un estrattore di feature ResNet-50 pre-addestrato (con il layer di classificazione rimosso) per generare embedding a 2048 dimensioni.
   • Gli embedding sono normalizzati L2 per garantire la ricerca basata sulla similarità del coseno.
   • Un database di evidenza di riferimento è costruito a partire dal set di addestramento ImageNet-100 (~130.000 immagini).
   • Per un'immagine di query, il sistema recupera i $k$ vicini più prossimi (dove $k=5$) dal database utilizzando FAISS.

2. Stima del Supporto della Classe:

   • Inveve di fare affidamento sul singolo vicino più prossimo, il framework aggrega l'evidenza attraverso l'insieme recuperato.
   • Una funzione softmax pesata sulla similarità assegna pesi ai vicini recuperati in base ai loro punteggi di similarità ($s_j$).
   • I punteggi di supporto della classe ($S(c)$) sono calcolati sommando i pesi dei vicini appartenenti a ciascuna classe. La classe predetta è quella con il più alto supporto aggregato.

3. Calcolo del Segnale di Affidabilità:
   Il sistema calcola molteplici indicatori per stimare l'attendibilità:

   • Forza della Similarità: Similarità massima ($s_{top}$) e similarità media ($s_{mean}$) dell'insieme recuperato.
   • Accordo del Supporto della Classe: Supporto primario ($E_1$) per la classe predetta rispetto al supporto secondario ($E_2$) per la classe concorrente più forte.
   • Margine di Evidenza ($M$): La differenza $E_1 - E_2$, che indica la separazione tra le classi.
   • Entropia ($H$): Misura l'incertezza nella distribuzione dell'evidenza recuperata tra le classi.
   • Punteggio di Affidabilità Aggregato ($R$): Una combinazione pesata del supporto primario e della forza della similarità normalizzata ($R = 0.6E_1 + 0.4Q$).

4. Gating Decisionale Selettivo:
   In base ai segnali calcolati, un gate decisionale assegna l'input a uno di tre stati:

   • ACCEPT (Accetta): Se l'evidenza è forte, coerente e con bassa incertezza (ad esempio, $R \ge 0.85$, $H \le 0.30$, $M \ge 0.50$). Il sistema fornisce una risposta sicura.
   • ANSWER WITH CAUTION (Rispondi con Cautela): Se l'evidenza è parzialmente a supporto ma incerta (ad esempio, $R \ge 0.70$, $M \ge 0.25$). La risposta viene ammorbidita con un linguaggio cauto.
   • ABSTAIN/FALLBACK (Astieniti/Fallback): Se l'evidenza è debole, conflittuale o al di sotto delle soglie di similarità ($s_{top} < \tau_{sim}$ o $s_{mean} < \tau_{mean}$). Il sistema evita di formulare un'affermazione definitiva.

2.2 Generazione della Risposta

Un livello di risposta multimodale (utilizzando LLaVA negli esperimenti) genera l'output finale. Fondamentalmente, la generazione del linguaggio è condizionata dalla decisione di affidabilità. Se il gate seleziona "ABSTAIN", il sistema spiega che l'evidenza è insufficiente invece di forzare un'etichetta potenzialmente allucinata.

3. Contributi Chiave

1. Framework di Affidabilità Potenziato dal Recupero: Una nuova pipeline di inferenza che valida le predizioni visive contro un database di evidenze esterne prima di generare le risposte finali, separando la generazione della predizione dall'accettazione della stessa.
2. Stima dell'Affidabilità Multi-Segnale: Una strategia che combina forza della similarità, coerenza del supporto della classe, margine di evidenza e incertezza basata sull'entropia per creare una stima della fiducia più robusta rispetto ai soli punteggi di confidenza grezzi.
3. Meccanismo Decisionale Selettivo: Implementazione di un gate decisionale a tre vie (Accetta, Cautela, Astieniti) che permette al sistema di scambiare la copertura con l'affidabilità, riducendo efficacementamente gli errori eccessivamente sicuri.
4. Applicabilità Post-Hoc: Dimostrazione del fatto che questi miglioramenti possono essere ottenuti senza riaddestrare i grandi modelli multimodali, fungendo da modulo aggiuntivo pratico per i sistemi esistenti.

4. Risultati Sperimentali

Il framework è stato valutato sul dataset ImageNet-100 (130k immagini di addestramento per il database, 5k immagini di validazione per il test).

• Miglioramento dell'Accuratezza: Il sistema di recupero di base (che risponde sempre) ha raggiunto un'accuratezza dell'85.84%. Il framework proposto di affidabilità ha migliorato l'accuratezza della predizione accettata all'88.88% con una copertura dell'89.04%.
• Riduzione delle Allucinazioni: Il "tasso di risposta errata accettata simile a un'allucinazione" (predizioni errate che vengono accettate e restituite all'utente) è diminuito dal 14.16% (baseline) all'11.12% (proposto), una riduzione relativa del 21.48%.
• Calibrazione: L'Errore di Calibrazione Attesa (ECE) è migliorato dal 7.40% al 5.87%, indicando una migliore allineamento tra l'affidabilità predetta e la correttezza effettiva.
• Errori Sicuri: Il numero di "casi errati sicuri" (predizioni errate con affidabilità $\ge 0.85$) è sceso da 263 a 226.
• Analisi della Qualità dell'Evidenza: I campioni accettati hanno mostrato punteggi di affidabilità, margini di similarità ed entropia significativamente più alti rispetto ai campioni astenuti, confermando che il gate filtra efficacemente i casi di evidenza ambigua o debole.

5. Significato e Rivendicazioni

Il documento sostiene che l'integrazione dell'evidenza di recupero, della stima dell'affidabilità e del gating decisionale selettivo offre un meccanismo post-hoc pratico per migliorare l'affidabilità dell'inferenza visiva multimodale.

• Mitigazione dell'Eccessiva Sicurezza (Overconfidence): Il framework riduce con successo il rischio che i sistemi producano output errati ma sicuri, identificando i casi in cui l'evidenza visiva è insufficiente.
• Nessun Riaddestramento Richiesto: A differenza dei metodi che richiedono cambiamenti architettonici o addestramento aggiuntivo, questo approccio lavora con encoder pre-addestrati e MLLM esistenti.
• Interpretabilità: Basandosi sui vicini più prossimi recuperati, il sistema fornisce evidenze interpretabili (esempi visivi) per supportare o rifiutare una predizione, aumentando la trasparenza.
• Gestione del Compromesso (Trade-off): Il sistema gestisce esplicitamente il compromesso tra copertura (rispondere a ogni domanda) e affidabilità (rispondere solo quando si è sicuri), dando priorità alla fiducia dell'utente nelle applicazioni ad alto rischio.

Gli autori concludono che, sebbene l'attuale implementazione sia limitata a contesti di classificazione controllati (ImageNet-100) e encoder specifici (ResNet-50), l'approccio dimostra una via percorribile verso sistemi di IA multimodale più sicuri e affidabili, capaci di astenersi dal rispondere quando l'evidenza non giustifica una risposta definitiva.