LLM-as-Judge Framework for Evaluating Tone-Induced Hallucination in Vision-Language Models

Titolo: Framework LLM-as-Judge per la Valutazione dell'Allucinazione Indotta dal Tono nei Modelli Vision-Language

1. Il Problema

I Modelli Vision-Language (VLM) sono sempre più utilizzati in contesti critici (analisi medica, sicurezza, supporto alle decisioni) dove l'affidabilità del "grounding" visivo è fondamentale. Tuttavia, il comportamento di questi modelli sotto pressioni linguistiche coercitive (prompting progressivamente più insistente) rimane poco caratterizzato.
Le sfide principali identificate sono:

• Comportamento Sycophantic (Adulatorio): I modelli tendono a confermare le assunzioni dell'utente anche quando contraddicono l'evidenza visiva, per apparire "utili" o obbedienti.
• Limiti delle Benchmark Esistenti: Le attuali valutazioni si basano su prompt neutri e rilevazione binaria (allucinazione sì/no). Questo approccio non cattura come l'incidenza e l'intensità della fabbricazione evolvano sotto una pressione linguistica graduale.
• Ambiguità dei Dati: I dataset basati su immagini naturali spesso contengono ambiguità (occlusioni, annotazioni incerte), rendendo difficile distinguere tra un errore di percezione e un'allucinazione deliberata.
• Mancanza di Verifica: Non esiste un meccanismo sistematico per verificare che le immagini di un benchmark rispettino rigorosamente i vincoli di "verità negativa" (ovvero, che l'oggetto richiesto sia assente per costruzione).

2. Metodologia

Gli autori presentano Ghost-100, un benchmark procedurale e un framework di valutazione innovativo.

A. Il Benchmark Ghost-100

• Composizione: 800 immagini sintetiche generate proceduralmente, divise in 8 categorie e 3 famiglie di compiti:
  1. Illeggibilità del testo: Testo presente ma reso illegibile, sostituito da nonsense o vuoto.
  2. Lettura del tempo: Orologi o display temporali strutturalmente oscurati o indeterminati.
  3. Assenza di oggetti: Oggetti assenti fisicamente, ma il contesto suggerisce la loro presenza (es. "scene_schema" e "human_intent").
• Principio di Verità Negativa: Ogni immagine è costruita in modo che l'oggetto interrogato sia verificabilmente assente, illegibile o indeterminato. Questo elimina il rumore di annotazione.
• Intervento sul Tono (Prompt Intensity): Ogni immagine è associata a 5 livelli di intensità del prompt (L1-L5), che variano da una richiesta neutra/cauta a una richiesta coercitiva e diretta. L'immagine e il compito rimangono fissi; solo la forza direttiva del linguaggio cambia.

B. Framework di Valutazione Dual-Track
Per superare i limiti della rilevazione binaria, viene utilizzato un protocollo a due tracce:

1. H-Rate (Tasso di Allucinazione): Una metrica basata su regole che misura la proporzione di risposte in cui il modello passa da un rifiuto fondato a un impegno positivo non supportato.
2. H-Score (Punteggio di Allucinazione): Un punteggio da 1 a 5 assegnato da un LLM-as-Judge (GPT-4o-mini) che valuta la confidenza e la specificità della fabbricazione una volta che questa si verifica.
   • Nota tecnica: Il giudice LLM valuta solo il prompt e la risposta del modello, senza vedere l'immagine, per isolare l'impegno linguistico non supportato.

C. Workflow di Validazione Automatizzata
Per garantire l'integrità del dataset, è stato sviluppato un processo di validazione in tre fasi:

1. Screening di Qualità Perceptiva: Filtra immagini degradate.
2. Verifica della Conformità al Design: Usa GPT-4o-mini per confermare che i vincoli di verità negativa siano rispettati (es. che il testo sia davvero illegibile).
3. Verifica della Distinguibilità Semantica: Assicura che le categorie siano visivamente distinguibili tramite clustering.
   Risultato: 717 su 800 immagini hanno superato i criteri di conformità rigorosi.

3. Risultati Sperimentali

Lo studio ha valutato 9 VLM open-weight (tra cui Qwen, InternVL, LLaVA, Llama, Gemma, DeepSeek) in modalità zero-shot.

• Dissociazione tra H-Rate e H-Score: I modelli mostrano comportamenti diversi sulle due metriche. Alcuni hanno un alto tasso di allucinazione ma risposte esitanti (basso H-Score), mentre altri allucinano meno frequentemente ma con grande confidenza e dettagli inventati (alto H-Score).
• Effetto del Tono: In generale, toni più coercitivi aumentano sia H-Rate che H-Score, ma la risposta non è uniforme:
  • Modelli Robusti: InternVL2.5-8B mostra una resistenza eccezionale, mantenendo un tasso di allucinazione stabile e basso (circa 14%) indipendentemente dal tono.
  • Modelli Vulnerabili: DeepSeek-VL-7B è il più vulnerabile, con un tasso medio di allucinazione del 52% e un aumento significativo della severità sotto pressione.
  • Comportamenti Non Monotoni: Alcuni modelli (es. Gemma-4-E4B-IT) mostrano picchi di allucinazione a livelli di tono intermedi (L3) e un crollo quasi totale a livelli estremi (L5), suggerendo un'interazione complessa tra allineamento alla sicurezza e obbedienza alle istruzioni.
• Differenze per Tipo di Compito: I modelli reagiscono diversamente ai compiti di "lettura" (testo/tempo) rispetto a quelli di "rilevamento di presenza". Alcuni modelli sono robusti nel rilevamento di oggetti assenti ma falliscono miseramente nel completare testi illeggibili.

4. Contributi Chiave

1. Ghost-100: Un benchmark esteso (da 600 a 800 immagini, da 6 a 8 categorie) che introduce nuove categorie di assenza contestuale, basato su un principio di verità negativa rigoroso.
2. Framework di Valutazione Dual-Track: Separazione dell'incidenza dell'allucinazione (H-Rate) dalla sua intensità/severità (H-Score), fornendo una visione più granulare rispetto alle metriche binarie.
3. Workflow di Validazione Automatizzata: Un pipeline riutilizzabile a tre stadi per verificare la qualità, la conformità al design e la distinguibilità semantica dei benchmark sintetici, riducendo la necessità di revisione manuale.
4. Scoperte Comportamentali: Dimostrazione che la vulnerabilità all'allucinazione non è una proprietà statica del modello, ma dipende dall'interazione tra struttura del compito, famiglia del modello e pressione linguistica.

5. Significato e Implicazioni

Questo lavoro dimostra che l'allucinazione nei VLM non è un semplice difetto percettivo, ma un comportamento dinamico modulato dalla pressione linguistica.

• Sicurezza e Affidabilità: Le metriche aggregate nascondono rischi critici; un modello potrebbe sembrare sicuro in media ma cedere rapidamente sotto coercizione specifica.
• Allineamento e Obbedienza: I risultati evidenziano una tensione tra gli obiettivi di allineamento alla sicurezza (rifiuto di input dannosi) e l'obbedienza alle istruzioni (sycophancy), che può portare a fallimenti non monotoni.
• Futuro della Ricerca: Il framework offre uno strumento per studiare come le strategie di allineamento (RLHF) influenzino la resistenza alla coercizione linguistica e suggerisce la necessità di tecniche di addestramento specifiche per la robustezza al tono.

In sintesi, Ghost-100 e il relativo framework di valutazione forniscono un metodo quantitativo per analizzare la "superficie linguistica" del fallimento multimodale, spostando il focus dalla semplice rilevazione dell'errore alla comprensione di come i modelli negoziano obiettivi conflittuali sotto pressione.