Variational Visual Question Answering for Uncertainty-Aware Selective Prediction

1. Il Problema

Nonostante i progressi significativi nei Modelli Linguistici Visivi (VLM) per compiti come il Visual Question Answering (VQA) e il ragionamento visivo, questi modelli soffrono di due difetti critici:

• Sovrastima della confidenza (Overconfidence): I modelli tendono a essere eccessivamente sicuri delle proprie risposte, anche quando sono errate.
• Allucinazioni: In presenza di input ambigui, avversari o non rispondibili, i modelli spesso "indovinano" invece di esprimere incertezza.

Questo comportamento li rende inaffidabili per applicazioni critiche (es. diagnosi medica, assistenza ai non vedenti). L'obiettivo è implementare la predizione selettiva: un framework in cui il modello può astenersi dal rispondere ("Non lo so") quando la sua confidenza è inferiore a una certa soglia, sostituendo errori costosi con astensioni. Le sfide attuali includono la mancanza di stime di incertezza affidabili nei modelli multimodali e l'inefficacia o l'alto costo computazionale dei metodi bayesiani tradizionali per architetture transformer di grandi dimensioni.

2. Metodologia: Variational VQA (VarVQA)

Gli autori propongono VarVQA, un approccio che integra l'inferenza variazionale direttamente nell'addestramento dei VLM, senza richiedere componenti aggiuntivi o strumenti esterni.

• Ottimizzatore IVON: Il cuore del metodo è l'uso dell'ottimizzatore Improved Variational Online Newton (IVON). A differenza di AdamW (che stima solo i pesi puntuali), IVON apprende una distribuzione di probabilità (posteriore) sui pesi del modello, stimando sia la media ($m$) che la varianza ($v$). Questo permette di catturare l'incertezza parametrica con un costo computazionale quasi identico a quello di AdamW.
• Inferenza e Campionamento:
  • VarVQA Mean: Per un'inferenza efficiente, si possono utilizzare solo i parametri medi ($m$) ignorando le varianze.
  • VarVQA Sampling: Per una stima più robusta, si campionano $S$ set di parametri dalla distribuzione appresa ($\theta^{(s)} \sim q$) e si aggregano le uscite per ottenere una distribuzione di probabilità media e la sua varianza.
• Nuovo Selettore "Risk-Averse" ($g_{BPA}$):
  Gli autori introducono una nuova funzione di selezione che va oltre la semplice media predittiva. Invece di basarsi solo sulla probabilità media, penalizza le previsioni ad alta varianza:
  $$g_{BPA}(x) = \bar{\mu}_{\kappa}(x) - \bar{\sigma}_{\kappa}(x)$$
  Dove $\bar{\mu}$ è la probabilità media della classe migliore e $\bar{\sigma}$ è la sua deviazione standard. Questo approccio "avverso al rischio" riduce la confidenza per le previsioni incerte, migliorando la capacità di astensione in scenari ad alto rischio.

3. Contributi Chiave

1. Validazione dell'Apprendimento Variazionale Multimodale: Dimostrano per la prima volta che l'apprendimento variazionale (tramite IVON) è efficace per architetture transformer multimodali su larga scala (ViLT, BEiT-3), rendendo possibile l'addestramento di VLM con incertezza "integrata" (baked-in).
2. Miglioramento della Calibrazione e Predizione Selettiva: VarVQA produce modelli meglio calibrati (minore Expected Calibration Error - ECE) e superiori nella predizione selettiva, specialmente quando la tolleranza all'errore è molto bassa ($\le 1\%$).
3. Efficienza del Campionamento: VarVQA supera il Monte-Carlo Dropout (MC Dropout) in termini di efficienza del campione, offrendo maggiore affidabilità a parità di budget computazionale.
4. Selettore Risk-Averse: La proposta di $g_{BPA}$, che utilizza la varianza dell'output, supera le tecniche di media standard nelle metriche ad alto rischio, fornendo un limite inferiore conservativo per la confidenza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su VQAv2 (VQA standard) e NLVR2 (Ragionamento Visivo), utilizzando modelli come ViLT e BEiT-3.

• Accuratezza vs. Affidabilità: VarVQA raggiunge un'accuratezza paragonabile o leggermente superiore rispetto ai modelli addestrati con AdamW, ma con una calibrazione significativamente migliore (ECE più basso).
• Predizione Selettiva (High-Stakes):
  • In scenari dove è consentita solo un'errore su 200 campioni (C@0.5%), VarVQA mostra miglioramenti del 7-9% su VQAv2 e del 9-14% su NLVR2 rispetto ad AdamW.
  • Anche con un solo campione dal posteriore (VarVQA Mean), il modello è spesso più affidabile di AdamW.
• Robustezza OOD (Out-of-Distribution): In test con dati misti (VQAv2 + AdVQA, un dataset avversario), VarVQA mantiene una calibrazione superiore rispetto ad AdamW man mano che la frazione di dati OOD aumenta, dimostrando una maggiore resilienza.
• Confronto con Ensemble: VarVQA singolo supera spesso gli ensemble di modelli addestrati con AdamW, offrendo un'alternativa più efficiente rispetto all'addestramento di $N$ modelli separati.
• Qualitativo: Gli esempi mostrano casi in cui AdamW risponde con alta confidenza ma in modo errato, mentre VarVQA si astiene correttamente ("Not sure") grazie alla sua stima di incertezza.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale verso VLM più sicuri e affidabili.

• Sicurezza Intrinseca: Dimostra che è possibile "costruire" l'affidabilità direttamente nel modello durante l'addestramento, senza bisogno di moduli aggiuntivi o fasi di post-processing complesse.
• Fattibilità Pratica: Smentisce il mito che i metodi bayesiani siano troppo costosi per i grandi modelli, mostrando che IVON offre un compromesso ottimale tra costo computazionale e qualità dell'incertezza.
• Implicazioni per il Reale: La capacità di astenersi in modo affidabile in scenari ad alto rischio (bassa tolleranza all'errore) rende i VLM candidati più seri per applicazioni reali critiche, riducendo il rischio di allucinazioni dannose.

In sintesi, VarVQA stabilisce un nuovo standard per la gestione dell'incertezza nei modelli visione-linguaggio, dimostrando che l'apprendimento variazionale scalabile è una soluzione praticabile per rendere l'IA multimodale più trasparente e sicura.