Benchmarking Deflection and Hallucination in Large Vision-Language Models

Questo lavoro presenta VLM-DeflectionBench, un benchmark dinamico e un protocollo di valutazione dettagliato progettati per testare la capacità dei modelli visione-linguaggio di gestire evidenze conflittuali o insufficienti e di rifiutare di rispondere quando le informazioni sono inadeguate, superando i limiti delle valutazioni tradizionali soggette a rapida obsolescenza.

L'essenziale

Immagina di avere un assistente personale super intelligente, capace di vedere le foto che gli mostri e di leggere milioni di libri per darti risposte. Questo è quello che chiamiamo LVLM (Large Vision-Language Model), un'intelligenza artificiale che unisce vista e linguaggio.

Il problema è che, a volte, questo assistente è un po' come un bambino che vuole sempre avere ragione: anche quando non sa la risposta o quando le informazioni che ha sono confuse, tende a inventarsi una storia (allucinazione) invece di dire: "Scusa, non lo so".

Gli autori di questo paper hanno creato un nuovo "campo di prova" chiamato VLM-DeflectionBench per insegnare a queste macchine a essere più oneste. Ecco come funziona, spiegato con delle metafore semplici:

1. Il Problema: L'Assistente che "Sbuffa"

Immagina di chiedere a un cuoco esperto: "Come si fa il dolce X?".

• Scenario ideale: Il cuoco guarda la ricetta (i dati), la legge e ti dice la ricetta perfetta.
• Scenario reale (il problema): Spesso il cuoco non trova la ricetta, ma invece di dirti "Non ho la ricetta", ti inventa un dolce a caso e te lo serve con sicurezza. Oppure, se gli dai una ricetta sbagliata (rumore), lui la segue comunque e ti rovina il dessert.

Nell'IA, questo si chiama allucinazione. L'obiettivo di questo studio è far sì che l'IA impari a fare il "deflection" (deviazione/rifiuto): cioè, quando non ha le prove, deve avere il coraggio di dire: "Non posso rispondere con certezza".

2. La Soluzione: Un Esame a Sorpresa Dinamico

Prima di questo studio, i test per le IA erano come vecchi quiz scolastici: una volta che l'IA aveva imparato le risposte a memoria (grazie alla sua formazione), superava il test senza bisogno di cercare nulla. Era come se l'IA avesse imbrogliato guardando le risposte sul libro prima dell'esame.

Gli autori hanno creato un sistema dinamico, come un allenatore di calcio molto severo:

• Filtro 1 (Il Controllo): Prima di mettere una domanda al test, l'allenatore chiede: "Sei capace di rispondere a questa domanda senza guardare il libro?". Se l'IA sa già la risposta a memoria, la domanda viene scartata. Vogliamo solo domande che obbligano l'IA a cercare informazioni esterne.
• Filtro 2 (La Trappola): Per ogni domanda, preparano due tipi di "libri":
  • Il Libro d'Oro: Contiene la risposta giusta.
  • Il Libro della Menzogna: Contiene informazioni confuse o sbagliate che sembrano plausibili ma non lo sono.
• Fase 3 (Il Test): L'IA deve scegliere cosa leggere e rispondere.

3. I Quattro Scenari del Test

Il paper mette l'IA in quattro situazioni diverse, come se fosse un attore in quattro scene di un film:

1. Senza Aiuto (Parametric): L'IA deve rispondere solo con quello che sa già. Qui dovrebbe dire "Non lo so" quasi sempre, perché le domande sono difficili.
2. Con la Verità (Oracle): L'IA ha solo il "Libro d'Oro". Qui dovrebbe essere perfetta.
3. La Realtà (Realistic): L'IA ha sia il "Libro d'Oro" che il "Libro della Menzogna" mescolati insieme. È la situazione più difficile: deve capire quale libro leggere.
4. L'Inganno (Adversarial): L'IA ha solo il "Libro della Menzogna". Qui il comportamento ideale è dire subito: "Non posso rispondere, le informazioni che ho sono sbagliate".

4. Cosa Hanno Scoperto? (I Risultati)

Hanno fatto fare questo test a 20 delle IA più potenti al mondo (sia quelle gratuite che quelle costose come quelle di Google o OpenAI). Ecco cosa è saltato fuori:

• L'IA è troppo sicura di sé: Anche quando le informazioni erano sbagliate o mancanti, la maggior parte delle IA continuava a inventarsi risposte invece di ammettere il fallimento. È come se un navigatore GPS, anche se non avesse segnale, continuasse a dirti di girare a destra con assoluta certezza, portandoti fuori strada.
• Le parole battono le immagini: Se l'IA vedeva un'immagine corretta ma leggeva un testo sbagliato accanto, tendeva a fidarsi del testo sbagliato. È come se, guardando un'auto rossa, ma leggendo un cartello che dice "Questa è una bici blu", l'IA decidesse che è una bici blu.
• Più rumore, più errori: Più informazioni sbagliate (distrattori) mettevano nel test, più l'IA si confondeva e inventava cose, invece di fermarsi a pensare.

5. Perché è Importante?

Questo studio ci dice che non basta chiedere all'IA "Quanto sai?". Dobbiamo chiederci: "Come ti comporti quando non sai?".

Un assistente affidabile non è quello che risponde sempre (anche se sbaglia), ma è quello che sa quando fermarsi e dire: "Ehi, qui le informazioni non bastano, non voglio inventare".

In sintesi: Gli autori hanno costruito un nuovo tipo di "esame" che non premia solo l'intelligenza, ma l'onestà intellettuale dell'IA. Hanno dimostrato che oggi le macchine sono ancora molto brave a mentire (allucinare) quando sono confuse, e che abbiamo bisogno di insegnar loro a dire "Non lo so" con la stessa sicurezza con cui dicono "La risposta è X".

Tutti i dati e il codice per questo test saranno presto disponibili per tutti, così che chiunque possa continuare a migliorare queste macchine, rendendole più sicure e affidabili per il mondo reale.

Sommario tecnico

1. Il Problema

I Large Vision-Language Models (LVLM) stanno diventando sempre più dipendenti dal recupero di informazioni (retrieval) per rispondere a domande multimodali complesse. Tuttavia, la ricerca attuale presenta due lacune critiche:

1. Obsolescenza rapida: Molti benchmark esistenti diventano rapidamente inutilizzabili man mano che i modelli vengono addestrati su dataset più grandi, permettendo loro di rispondere alle domande basandosi sulla conoscenza parametrica (memoria interna) invece che sul recupero di informazioni esterne.
2. Mancanza di distinzione tra fallimenti: Le valutazioni attuali si concentrano sulla sola accuratezza, non distinguendo tra due modalità di fallimento distinte quando le prove sono insufficienti o contraddittorie:
   • Allucinazione (Hallucination): Il modello genera una risposta non supportata dalle evidenze (spesso confidando sulla memoria interna o inventando fatti).
   • Deflessione (Deflection): Il modello riconosce l'incertezza o la mancanza di prove e si astiene dal rispondere (es. "Non posso rispondere...").
   • Nota: Sebbene entrambe le risposte siano tecnicamente "sbagliate" rispetto alla richiesta dell'utente, la deflessione è considerata la modalità di fallimento preferibile in scenari di sicurezza e affidabilità, poiché evita la diffusione di disinformazione.

Attualmente, non esistono benchmark che testino sistematicamente la capacità dei modelli di astenersi (deflect) quando le evidenze recuperate sono incomplete, rumorose o fuorvianti.

2. Metodologia: VLM-DeflectionBench

Gli autori introducono VLM-DeflectionBench, un nuovo benchmark dinamico e estensibile progettato per colmare queste lacune. La metodologia si basa su tre pilastri principali:

A. Pipeline di Curation Dinamica

Per garantire che il benchmark rimanga difficile nel tempo, è stata sviluppata una pipeline automatizzata che filtra i campioni:

1. Fase di Filtraggio Parametrico: Vengono utilizzati diversi modelli "gatekeeper" (es. GEMMA3, QWEN-2.5-VL, INTERNVL3) per verificare se una domanda può essere risolta senza alcuna conoscenza esterna (solo domanda e immagine). Se un modello riesce a rispondere correttamente, il campione viene scartato. Questo assicura che i campioni rimanenti richiedano effettivamente il recupero di informazioni.
2. Pairing delle Conoscenze: Ogni campione viene arricchito con:
   • Contesto Gold (K+): Le informazioni corrette necessarie per la risposta.
   • Contesti Distrattori (K-): Informazioni fuorvianti o errate, estratte da Wikipedia o da indici di immagini, per simulare un recupero rumoroso.
3. Controllo di Qualità: Vengono rimossi i campioni che non sono risolvibili nemmeno con le prove corrette (Oracle) o i distrattori che permettono a un modello di rispondere correttamente per caso.

B. Struttura del Dataset

Il benchmark finale contiene 2.775 campioni provenienti da 6 fonti diverse (InfoSeek, WebQA, Encyclopedic-VQA, ecc.), coprendo scenari multimodali (testo e immagine). Ogni campione include domande, immagini, e contesti gold/distrattori pre-recuperati.

C. Protocollo di Valutazione a 4 Scenari

Per disentanglare la memorizzazione parametrica dalla robustezza del recupero, vengono definiti quattro scenari di valutazione:

1. Parametric: Solo domanda e immagine (nessun contesto esterno). Il modello dovrebbe astenersi.
2. Oracle: Solo contesto Gold (prove perfette). Il modello dovrebbe rispondere con alta accuratezza.
3. Realistic: Mix di contesto Gold e Distrattori. Il modello deve filtrare il rumore e rispondere.
4. Adversarial: Solo contesti Distrattori (nessuna prova utile). Il modello dovrebbe astenersi completamente.

3. Risultati Sperimentali

Gli autori hanno testato 20 LVLM all'avanguardia (sia open-weight che proprietari come GPT-5, Claude-4, Gemini-2.5).

• Fallimento nella Deflessione: La maggior parte dei modelli fallisce nel deflettere quando le prove sono insufficienti o fuorvianti. Tendono a generare risposte allucinate invece di ammettere l'ignoranza.
  • Esempio: In condizioni Adversarial, molti modelli open-source (es. Qwen-2.5-VL) continuano a rispondere con un tasso di allucinazione superiore all'80%.
• Bias Linguistico su Visivo: C'è un forte bias "linguaggio sopra visione". Quando le prove visive sono corrette ma il testo è fuorviante, i modelli tendono a seguire il testo errato e allucinare, ignorando le immagini corrette.
• Trade-off Prompting: L'aumento della "severità" delle istruzioni (prompting) per chiedere di astenersi funziona bene in scenari Adversarial (aumenta la deflessione), ma in scenari Realistic porta a una deflessione eccessiva (over-deflection), riducendo drasticamente l'accuratezza anche quando le prove corrette sono presenti.
• Robustezza al Rumore: All'aumentare del numero di distrattori, l'accuratezza crolla e il tasso di allucinazione raddoppia, mentre la deflessione non aumenta sufficientemente per compensare. I modelli preferiscono inventare piuttosto che astenersi.
• Differenze tra Modelli: I modelli proprietari (es. Claude-Opus-4) mostrano una migliore capacità di deflessione rispetto agli open-source, ma spesso sacrificano l'accuratezza in scenari Oracle per essere più cauti. Nessun modello mostra un equilibrio perfetto tra accuratezza e deflessione.

4. Contributi Chiave

1. Pipeline Dinamica: Un metodo per filtrare i campioni risolvibili parametricamente, garantendo che il benchmark rimanga rilevante man mano che i modelli migliorano.
2. VLM-DeflectionBench: Un dataset di 2.775 campioni con contesti gold e distrattori multimodali, progettato specificamente per testare il comportamento in condizioni di incertezza.
3. Protocollo di Valutazione Fine-Grained: Una metodologia che separa la memorizzazione dalla robustezza del recupero, fornendo metriche distinte per accuratezza, deflessione e allucinazione in quattro scenari controllati.

5. Significato e Implicazioni

Questo lavoro è fondamentale per lo sviluppo di LVLM affidabili (Trustworthy AI). Dimostra che la semplice accuratezza non è una metrica sufficiente per valutare i sistemi di Retrieval-Augmented Generation (RAG) multimodali.

• Sicurezza: La capacità di astenersi (deflect) è cruciale per evitare la diffusione di disinformazione in applicazioni reali.
• Calibrazione: I risultati indicano che i modelli attuali non sono ben calibrati: non sanno distinguere quando hanno abbastanza informazioni per rispondere e quando no.
• Futuro della Ricerca: Il benchmark fornisce una base estensibile per valutare non solo cosa sanno i modelli, ma come si comportano quando non sanno, guidando lo sviluppo di strategie di grounding più robuste e meccanismi di rifiuto più intelligenti.

In sintesi, il paper evidenzia che, nonostante i progressi nelle capacità di ragionamento, i LVLM attuali faticano a gestire l'incertezza in scenari di recupero informazioni, tendendo a "inventare" risposte piuttosto che ammettere i limiti della conoscenza disponibile.