Sintesi Tecnica: FUSE – Quantificare l'Incertezza nei Modelli Vision-Language

Definizione del Problema

I modelli Vision-Language (VLM) sono diventati integrali in applicazioni che spaziano dalla robotica alla sanità, eppure rimangono soggetti a output inaffidabili come allucinazioni e ragionamenti eccessivamente sicuri di sé. Esiste un divario critico nella Quantificazione dell'Incertezza (UQ) per questi modelli. I metodi convenzionali che si affidano alla verosimiglianza del next-token o alle confidenze basate sui logit non riescono a catturare l'ambiguità semantica inerente agli input cross-modali o la variabilità degli output generativi. Gli approoli esistenti spesso trattano l'incertezza in modo euristico piuttosto che come una quantità probabilistica fondata, e trascurano frequentemente l'incertezza incorporata nelle rappresentazioni latenti del modello.

Il documento identifica che l'incertezza dei VLM deriva da due fonti distinte e complementari:

1. Incertezza Aleatoria: Ambiguità intrinseca nei dati di input e nella semantica cross-modale (ad es., domande sottospecificate o regioni visivamente ambigue).
2. Incertezza Epistemica: Variabilità nelle predizioni del modello dovuta a limitazioni nella conoscenza, debole radicamento (grounding) o spostamenti della distribuzione (distribution shifts), riflessa nella diversità delle risposte generate.

L'obiettivo è sviluppare un framework che fonda queste due fonti in una singola misura di incertezza scalare calibrata ($u^\star$) per predire la correttezza dell'output e consentire la predizione selettiva (astenersi dalle query incerte).

Metodologia: Il Framework FUSE

Gli autori propongono FUSE (Fused Uncertainty with Semantic Evidence), un framework probabilistico che impiega un meccanismo di fusione Bayesiana per combinare le incertezze aleatoria ed epistemica.

1. Incertezza Aleatoria: Prior della Rappresentazione dei Dati

Il framework tratta il livello dei dati di input come un prior.

• Embedding Probabilistici: Mentre i VLM standard (ad es., CLIP) producono embedding deterministici, FUSE introduce un adattatore Gaussian Process (GP). Questo adattatore mappa gli embedding deterministici ($z_I, z_T$) in distribuzioni probabilistiche ($N(\mu, \Sigma)$) apprendendo una variabile latente condivisa $x$ che rappresenta il "vero" significato dei dati.
• Sparse Variational GP: Per garantire la scalabilità, gli autori utilizzano un modello Sparse Variational Gaussian Process Latent Variable (GPLVM) con punti di induzione.
• Formulazione del Prior: La dispersione di questi embedding probabilistici (quantificata tramite il log-determinante delle covarianze) viene aggregata in una statistica scalare $s$. Questa statistica definisce un prior Gaussiano su una variabile di incertezza latente $u$:
  $$u \sim N(m_0, \sigma_0^2), \quad \text{dove } m_0 = \alpha_0 + \beta_0 s$$
  Ciò cattura l'ambiguità inerente alla query di input prima che avvenga la generazione.

2. Incertezza Epistemica: Evidenza Semantica della Risposta

Il framework tratta l'output generativo del modello come evidenza.

• Diversità della Risposta: Il VLM genera $n$ risposte stocastiche. Queste vengono incorporate in vettori $\{r_i\}$.
• Scatter Semantico: Una matrice di scatter semantico $S$ viene costruita a partire da questi embedding. L'evidenza semantica è definita come il log-determinante di questa matrice: $\tilde{V} = \log \det S$.
• Evidenza Pesata: Per tenere conto della diversa affidabilità tra i campioni, il metodo introduce pesi di incertezza basati sulle log-probabilità per token del modello. I campioni con minore confidenza ricevono pesi maggiori.
• Modello di Verosimiglianza: Gli autori dimostrano che, sotto deboli assunzioni, l'evidenza semantica $\tilde{V}$ segue una verosimiglianza lineare-Gaussiana rispetto all'incertezza latente $u$:
  $$\tilde{V} | u \sim N(a + n u, \tau^2)$$
  Questa relazione analitica permette un aggiornamento Bayesiano in forma chiusa.

3. Fusione Bayesiana

L'innovazione centrale è la fusione analitica del prior di input e dell'evidenza della risposta.

• Posterior in Forma Chiusa: Combinando il prior Gaussiano e la verosimiglianza lineare-Gaussiana, si ottiene una distribuzione a posteriori in forma chiusa per l'incertezza $u$:
  $$u | \tilde{V} \sim N(m_{post}, \sigma_{post}^2)$$
• Statistica Fusa: Un singolo punteggio di incertezza $u^\star$ è derivato dalla media e dalla varianza della posterior (ad es., come un limite z-score).
• Calibrazione: Una soglia globale $\theta^\star$ viene calibrata su un dataset di validazione (held-out) per controllare il rischio condizionale (tasso di errore) per le query a cui si risponde, abilitando la risposta selettiva.

Contributi Chiave

1. Formalizzazione Concettuale: Il documento formalizza l'incertezza dei VLM disperdendola in fonti aleatorie (livello input) ed epistemiche (livio generazione), fornendo una base per quantificare entrambe all'interno di un framework unificato.
2. Modello Probabilistico Unificato: Introduce un framework Bayesiano training-free (per il VLM base) che combina analiticamente queste fonti. A differenza dei metodi euristici, produce una posterior interpretabile e calibrata.
3. Giustificazione Matematica: Gli autori forniscono prove che dimostrano come l'evidenza semantica (log-determinante dello scatter delle risposte) sia linearmente dipendente dall'incertezza latente, giustificando l'uso di un aggiornamento Bayesiano in forma chiusa.
4. Superiorità Empirica: Il metodo raggiunge prestazioni allo stato dell'arte (SOTA) nella calibrazione dell'incertezza e nella risposta selettiva attraverso molteplici benchmark.

Risultati Sperimentali

Gli autori hanno valutato FUSE su tre benchmark di Visual Question Answering (VQA): VQAv2, OKVQA e AdVQA, utilizzando LLaVA-v1.5-13b come backbone.

• Baseline: FUSE è stato confrontato con metodi training-free (UMPIRE, Neighborhood Consistency), metriche basate sull'entropia (Semantic Entropy, LN-Entropy) e approcci di predizione conforme (LoFreeCP, CLM).
• Discriminazione: FUSE ha ottenuto l'AUROC più elevato (0.883 su VQAv2) nel distinguere risposte corrette da errate, superando tutte le baseline.
• Calibrazione: Il metodo ha dimostrato una calibrazione superiore, con il più basso Errore di Calibrazione Atteso (ECE) e la più alta correlazione tra l'incertezza predetta e i tassi di errore empirici.
• Risposta Selettiva: In termini di Area Under the Rejection–Accuracy Curve (AURAC), FUSE ha costantemente superato le baseline, indicando la sua capacità di identificare efficacemente e astenersi dalle query incerte pur mantenendo un'alta accuratezza sulle query a cui risponde.
• Studi di Ablazione: Gli esperimenti hanno confermato che la fusione di entrambe le fonti di incertezza è critica; rimuovere o il prior GP o l'evidenza pesata ha comportato un degrado delle prestazioni.

Significato e Rivendicazioni

Il documento sostiene che FUSE affronti un vuoto critico di sicurezza e affidabilità nell'impiego dei VLM. Passando oltre le verosimiglianze a livello di token verso una formulazione Bayesiana congiunta che integra i prior di rappresentazione dell'input con l'evidenza del livello di generazione, FUSE fornisce una misura di incertezza rigorosa e interpretabile.

Gli autori sottolineano che il loro approccio:

• Non richiede il riaddestramento del massiccio backbone del VLM, richiedendo solo l'addestramento di leggeri adattatori GP sull'encoder congelato.
• Fornisce un singolo punteggio scalare che predice in modo affidabile la correttezza del modello.
• Abilita il processo decisionale controllato dal rischio, permettendo ai sistemi di astenersi dal rispondere quando l'incertezza supera una soglia calibrata, elemento essenziale per domini ad alto rischio come la sanità e i sistemi autonomi.

Il lavoro si posiziona come un passo verso la creazione di VLM più affidabili, modellando esplicitamente ciò che il modello "non sa" attraverso sia l'ambiguità dell'input che la variabilità della propria generazione.