Sintesi Tecnica: Entropia Semantica Visiva (VSE)

1. Definizione del Problema

I Modelli Vision-Language (VLM) eccellono nel Visual Question Answering (VQA), ma spesso producono previsioni sicure su input visivamente ambigui, portando a risultati distorti e inaffidabili. La stima affidabile dell'incertezza (UE) è critica per filtrare queste previsioni. Tuttavia, i metodi di UE esistenti presentano tre specifici modi di fallimento quando applicati ai VLM:

1. Soppressione della Variazione dell'Output: I metodi basati sull'entropia standard come la Semantic Entropy (SE) si affidano alla decodifica stocastica per generare output diversificati. Gli autori dimostrano che quando un VLM forma un embedding visivo altamente confidenziale (anche per immagini ambigue), la decodifica stocastica produce output quasi identici. Di conseguenza, la SE sottostima l'incertezza perché non riesce a catturare l'ambiguità inerente all'input visivo.
2. Distanze Gonfiate dalla Formulazione: I metodi che aggregano distanze semantiche a coppie (ad es., SNNE) trattano le risposte come etichette categoriche o si affidano alle distanze di embedding. Poiché il linguaggio è discreto, risposte semanticamente equivalenti con formulazioni diverse possono apparire distanti nello spazio di embedding. Questa variazione linguistica gonfia le stime di incertezza anche quando non vi è un reale disaccordo semantico.
3. Dominanza Testuale nelle Perturbazioni Congiunte: Approcci recenti sondano l'incertezza tramite perturbazioni dell'input, inclusi il parafrasi testuale o perturbazioni congiunte testo-immagine. Gli autori dimostrano che la parafrasi testuale induce spostamenti semantici significativamente maggiori nello spazio di embedding multimodale rispetto alle perturbazioni visive. Di conseguenza, la variabilità dell'output in questi metodi è guidata principalmente dalla sensibilità al prompt (cambiamenti linguistici) piuttosto che dall'ambiguità visiva, portando a stime di incertezza che riflettono la sensibilità del testo invece dell'evidenza visiva.

2. Metodologia: Entropia Semantica Visiva (VSE)

Per affrontare queste limitazioni, gli autori propongono la Visual Semantic Entropy (VSE), un framework progettato per sondare l'ambiguità visiva mitigando al contempo il rumore linguistico. Il metodo consiste in tre fasi principali:

A. Perturbazione Visiva (Testo Fisso)

A differenza dei metodi che perturbano la domanda o che perturbano congiuntamente testo e immagine, VSE mantiene fisso il query di testo $q$ e perturba solo l'immagine di input $v$.

• Meccanismo: Un operatore di perturbazione visiva $\mathcal{T}$ genera $M$ viste perturbate $v_m = \mathcal{T}(v; \xi_m)$. Gli autori utilizzano il rumore gaussiano con una deviazione standard fissa e piccola ($\sigma=20$) per indurre variazioni visive locali senza alterare il contenuto semantico di alto livello o spostare il campione al di fuori del vicinato locale dell'input originale.
• Razionale: Questo isola l'incertezza visiva. Evitando i cambiamenti testuali, il metodo previene il problema della "sensibilità al prompt" in cui la parafrasi domina la diversità dell'output.

B. Campionamento delle Risposte

Il VLM genera $M$ campioni di risposta $\{a_m\}$ corrispondenti alle $M$ viste di immagini perturbate. Questo processo elica interpretazioni alternative dell'evidenza visiva che la sola decodifica stocastica potrebbe perdere quando gli embedding visivi sono eccessivamente sicuri di sé.

C. Aggregazione Semantica dei Prototipi (ProtoSem)

Per evitare che le variazioni linguistiche gonfino l'incertezza, VSE aggrega le risposte a livello semantico anziché trattarle come token grezzi.

1. Clustering: Le varianti di risposta vengono raggruppate in $K$ gruppi $\{c_k\}$ basati sulla distanza semantica (utilizzando un modello di similarità semantica pre-addestrato come DeBERTa).
2. Selezione del Prototipo: Per ogni cluster $c_k$, viene selezionata una risposta prototipo $p_k$ come il membro che minimizza la distanza media con gli altri membri dello stesso cluster.
3. Calcolo dell'Incertezza: L'incertezza è calcolata come la dispersione a coppie pesata sulla massa tra questi prototipi:
   $$\tilde{u} = \sum_{k \neq k'} w_k w_{k'} \, \mathrm{d}(p_k, p_{k'})$$
   dove $w_k = |c_k|/M$ è la probabilità empirica (massa) del cluster $k$. Questa metrica cattura il disaccordo tra diversi significati semantici ignorando le variazioni di formulazione intra-cluster.

3. Contributi Chiave

1. Analisi dei Modi di Fallimento: Il documento fornisce un'analisi sistematica identificando tre limitazioni specifiche degli stimatori di incertezza dei VLM attuali: (1) embedding visivi eccessivamente sicuri che sopprimono la diversità dell'output, (2) variazioni di formulazione che gonfiano le metriche basate sulla distanza, e (3) perturbazioni testuali che dominano la variabilità dell'output nei regimi di perturbazione congiunta.
2. Entropia Semantica Visiva (VSE): Gli autori introducono VSE, un nuovo metodo di UE che perturba solo l'immagine per sondare l'ambiguità visiva e utilizza l'aggregazione semantica basata su prototipi per quantificare l'incertezza. Questo design evita esplicitamente i fattori di disturbo della sensibilità al prompt e del rumore linguistico.
3. Benchmarking Completo: Lo studio valuta VSE su cinque moderni VLM (Qwen2.5-VL, Gemma3, Intern3.5-VL, LLaVA-NeXT, Qwen3-VL) e cinque benchmark diversificati (OKVQA, AOKVQA, MMVet, VILP, VLM-are-biased), stabilendo un nuovo stato dell'arte per la stima dell'incertezza nel VQA.

4. Risultati Sperimentali

La valutazione utilizza l'Area Under the ROC Curve (AUC) per misurare quanto bene i punteggi di incertezza distinguano le previsioni corrette da quelle errate.

• Prestazioni Generali: VSE supera costantemente i metodi esistenti (Verbalized, Logit-based, Consistency-based, ed Entropy-based) in tutti i modelli e i dataset testati. Ad esempio, sul dataset AOKVQA, VSE ha ottenuto punteggi AUC compresi tra 0,724 e 0,798 attraverso diversi modelli, superando il miglior metodo basato sull'entropia successivo (VL-Uncertainty) fino al 9,2% in alcuni casi.
• Focus sull'Ambiguità Visiva: Sui dataset avversari progettati per esporre il bias visivo (VILP e VLM-are-biased), VSE ha mostrato i guadagni più significativi. Ad esempio, su VILP con Qwen2.5-VL, VSE ha ottenuto un AUC di 0,650, superando sostanzialmente la baseline SE (0,535) e VL-Uncertainty (0,489). Ciò conferma la capacità di VSE di catturare l'incertezza derivante specificamente dall'ambiguità visiva.
• Studi di Ablazione:
  • L'aggiunta della perturbazione visiva ai metodi di entropia esistenti (SE e SNNE) ha migliorato costantemente le loro prestazioni, validando la necessità di sondare lo spazio dell'input visivo.
  • La sostituzione del campionamento delle risposte grezze con l'Aggregazione Semantica dei Prototipi (ProtoSem) ha ulteriormente migliorato i risultati, confermando che il clustering di risposte semanticamente equivalenti riduce il rumore derivante dalle variazioni linguistiche.

5. Significato e Rivendicazioni

Il documento sostiene che VSE stabilisce un nuovo stato dell'arte per la stima dell'incertezza nel VQA affrontando direttamente la fonte dell'ambiguità: l'input visivo. Gli autori sostengono che una stima affidabile dell'incertezza richiede:

• Sondare lo spazio dell'input visivo piuttosto che fare affidamento esclusivamente sulla stocasticità della decodifica.
• Evitare perturbazioni testuali che introducono sensibilità al prompt.
• Aggregare le previsioni al livello del prototipo semantico per mitigare il rumore linguistico.

Gli autori posizionano VSE come un passo verso un deployment più affidabile dei VLM, particolarmente in scenari in cui l'evidenza visiva è ambigua. Riconoscono le limitazioni, incluso il costo computazionale aggiuntivo associato al campionamento basato sulla perturbazione e la sensibilità alla funzione di distanza semantica utilizzata per il clustering, ma sottolineano che il loro approccio fornisce una riflessione più fedele dell'incertezza visiva rispetto alle alternative attuali.