Believing without Seeing: Quality Scores for Contextualizing Vision-Language Model Explanations

1. Il Problema

I Modelli Vision-Language (VLM) vengono sempre più utilizzati per assistere utenti che non hanno accesso diretto al contesto visivo, come persone non vedenti o ipovedenti. In questi scenari, l'utente si affida alle previsioni del modello e alle relative spiegazioni in linguaggio naturale.
Tuttavia, i VLM soffrono di allucinazioni (inventare dettagli visivi) e di eccessiva sicurezza. Le spiegazioni generate dal modello possono essere linguisticamente plausibili e convincenti anche quando la previsione sottostante è errata. Questo porta a un eccessivo affidamento (over-reliance) da parte dell'utente, che non può verificare l'immagine originale. Le metriche di qualità delle spiegazioni esistenti (progettate per LLM testuali) non sono ben calibrate con l'accuratezza delle previsioni dei VLM, poiché ignorano la relazione tra la spiegazione e il contesto visivo.

2. Metodologia

Gli autori propongono due nuove metriche di qualità specifiche per le spiegazioni dei VLM, calcolabili senza bisogno di annotazioni di verità fondamentale (ground-truth) per la qualità stessa:

A. Visual Fidelity (Fedeltà Visiva)

Misura quanto fedelmente la spiegazione riflette i contenuti reali dell'immagine.

• Approccio: La spiegazione viene decomposta in una serie di affermazioni fattuali. Un modello LLM (usato come "generatore di domande") trasforma queste affermazioni in domande di verifica visiva (es. "C'è un orologio sull'edificio?"). Un modello verificatore (VLM) risponde a queste domande basandosi sull'immagine originale.
• Punteggio: La Visual Fidelity ($S_{VF}$) è la frazione di domande a cui il verificatore risponde "sì". Un punteggio alto indica che i dettagli menzionati nella spiegazione sono effettivamente presenti nell'immagine.

B. Contrastiveness (Contrastività)

Misura quanto bene la spiegazione identifica i dettagli visivi che distinguono la previsione corretta dalle alternative plausibili.

• Approccio: Per evitare la "fuga di etichette" (label leakage), le menzioni delle risposte possibili nella spiegazione vengono mascherate. Per ogni possibile risposta $a_j$ (inclusa quella corretta $a_0$), viene generata un'ipotesi dichiarativa. Un modello di implicazione (NLI) valuta la probabilità che la spiegazione mascherata implichi ciascuna ipotesi.
• Punteggio: La Contrastiveness ($S_{Contr}$) è la probabilità di implicazione per la previsione del modello normalizzata rispetto alla somma delle probabilità per tutte le ipotesi possibili. Un punteggio alto indica che la spiegazione fornisce prove che escludono le alternative.

C. Combinazione dei Punteggi

Gli autori testano diverse combinazioni (media, prodotto, minimo) dei due punteggi per creare un unico indicatore di qualità. Il prodotto ($S_{Prod} = S_{VF} \times S_{Contr}$) si è rivelato particolarmente efficace.

3. Contributi Chiave

1. Nuove Metriche di Fiducia: Introduzione di Visual Fidelity e Contrastiveness come indicatori di affidabilità specifici per il contesto visivo, superando i limiti delle metriche puramente testuali.
2. Metodi Senza Addestramento (Training-Free): Le metriche sono calcolate utilizzando LLM esistenti come giudici e verificatori, senza richiedere modelli addestrati specificamente per la valutazione della qualità.
3. Validazione Empirica: Dimostrazione che queste metriche sono meglio calibrate con l'accuratezza del modello rispetto alle metriche esistenti (Simulatability, Informativeness, Plausibility).
4. Studio Utente: Evidenza empirica che mostrare questi punteggi agli utenti migliora la loro capacità di discernere le previsioni corrette da quelle errate in assenza dell'immagine.

4. Risultati Sperimentali

Valutazione Automatica

• Dataset: A-OKVQA, VizWiz, MMMU-Pro.
• Modelli: LLaVA-v1.5-7B, Qwen2.5-VL-7B, GPT-4o.
• Risultati: Le nuove metriche mostrano una Discriminabilità (Disc) significativamente più alta e un Errore di Calibrazione Atteso (ECE) più basso rispetto alle baseline.
  • Ad esempio, su A-OKVQA, il prodotto di VF e Contrastiveness ha raggiunto un Disc di 0.320, contro 0.106 per la simulabilità (baseline testuale).
  • Le curve di calibrazione mostrano che i punteggi proposti riflettono meglio la vera accuratezza del modello.

Studio Utente

• Setup: 30 partecipanti hanno valutato l'accuratezza delle previsioni VLM senza vedere l'immagine, basandosi solo su domanda, risposta e spiegazione.
• Condizioni: Confronto tra: solo spiegazione, spiegazione + punteggio casuale, spiegazione + singoli punteggi (VF o Contr.), e spiegazione + punteggio combinato (Prodotto).
• Risultati Principali:
  • Mostrare il punteggio combinato (Prod(VF, Contr.)) ha migliorato l'accuratezza degli utenti del 11.1% rispetto alla baseline (solo spiegazione).
  • Ha ridotto il tasso di eccessivo affidamento (Over-Reliance) su previsioni errate del 15.4%.
  • L'uso di descrizioni testuali invece dei soli numeri ha ulteriormente migliorato la decisione in alcuni casi, rendendo la valutazione più trasparente.
  • È stata osservata una forte correlazione negativa tra l'errore di calibrazione (ECE) del punteggio e l'accuratezza decisionale dell'utente: punteggi meglio calibrati portano a decisioni umane migliori.

5. Significato e Implicazioni

Questo lavoro dimostra che le spiegazioni dei VLM, se non contestualizzate, possono ingannare gli utenti vulnerabili (come quelli con disabilità visive).

• Fiducia Appropriata: I punteggi di qualità fungono da "segnali di fiducia" che aiutano gli utenti a capire quando fidarsi del modello e quando essere scettici.
• Sicurezza e Accessibilità: Fornire questi indicatori è cruciale per l'implementazione sicura di agenti multimodali in scenari reali dove l'utente non può verificare l'input visivo.
• Direzioni Future: Gli autori suggeriscono l'uso di questi punteggi come obiettivi di addestramento per migliorare la generazione delle spiegazioni e lo sviluppo di strategie adattive di interazione uomo-AI che decidano dinamicamente quando mostrare o sopprimere le spiegazioni.

In sintesi, il paper propone un framework robusto per valutare e comunicare la qualità delle spiegazioni dei VLM, trasformando un potenziale punto di debolezza (l'allucinazione convincente) in un'opportunità per costruire sistemi di assistenza più affidabili e sicuri.