FREAK: A Fine-grained Hallucination Evaluation Benchmark for Advanced MLLMs

1. Il Problema: Allucinazioni Fine-Grained negli MLLM

I Modelli Linguistici Multimodali (MLLM) soffrono di "allucinazioni", ovvero la generazione di contenuti che sembrano logici e coerenti con il senso comune, ma che sono fattualmente inconsistenti con l'immagine di input.

• Limiti delle valutazioni attuali: I benchmark esistenti (come POPE o AMBER) sono diventati obsoleti perché i modelli SOTA (State-of-the-Art) hanno saturato le loro metriche. Questi benchmark si basano spesso su compiti semplificati (es. giudizi binari vero/falso) e su immagini che possono sovrapporsi ai dati di addestramento, portando a valutazioni inaccurate.
• La sfida specifica: Esiste un sottotipo critico di allucinazione, l'allucinazione fine-grained, in cui i modelli percepiscono male o inventano dettagli localizzati specifici di un'immagine, preferendo spesso la conoscenza parametrica (senso comune appreso) ai fatti visivi reali. Attualmente, non esistono strumenti efficaci per quantificare questo fenomeno nei modelli avanzati.

2. Metodologia: Il Benchmark FREAK

Per colmare questo divario, gli autori propongono FREAK (Fine-gRained Evaluation Against Knowledge), un benchmark completo progettato per valutare le allucinazioni a livello di dettaglio.

Pipeline di Generazione Dati

FREAK utilizza una pipeline automatizzata e innovativa per creare immagini fotorealistiche con dettagli "contro-senso" (Counter-Commonsense - CCS):

1. Generazione della Descrizione CCS: Un LLM genera descrizioni di modifiche dettagliate che contraddicono la realtà (es. un semaforo con il rosso in basso e il verde in alto, o un orologio con 4 lancette).
2. Generazione e Modifica dell'Immagine (Approccio "Generate-then-Edit"):
   • Prima viene generata un'immagine normale e fotorealistica basata sull'oggetto e le sue attribuzioni corrette.
   • Successivamente, un potente modello di editing (SeedEdit 3.0) modifica localmente l'immagine per introdurre il dettaglio contro-senso, mantenendo il resto dell'immagine realistico. Questo supera i limiti della generazione diretta da prompt, che spesso fallisce nel creare immagini coerenti con modifiche specifiche.
3. Costruzione delle Domande: Un LLM genera domande (sia a scelta multipla che a risposta libera) basate sulle modifiche CCS.
4. Verifica Umana: Un team umano verifica ogni istanza per garantire che le modifiche siano visibili, non ambigue e che le domande siano corrette.

Struttura del Dataset

• Volume: 1.786 immagini CCS e 1.799 domande.
• Categorie: Le task sono divise in 6 categorie cognitive: Rilevamento (Detection), Conteggio (Counting), Attributi (Attribute), Analisi (Analysis), Posizione (Position) e OCR.
• Formato: Include domande a scelta multipla (con distrattori basati sul senso comune) e domande a risposta libera.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su una vasta gamma di modelli SOTA, inclusi modelli proprietari (GPT-4.1, Gemini-2.5, Claude-4) e open-source (Qwen2.5-VL, InternVL3, Kimi-VL).

• Divario Uomo-Modello: Mentre gli esseri umani raggiungono un'accuratezza del 86.71%, i modelli SOTA più avanzati raggiungono solo circa il 45% di accuratezza. Questo evidenzia un gap significativo nella percezione dei dettagli visivi.
• Tasso di Allucinazione (HalluRate): La maggior parte dei modelli ha un tasso di allucinazione vicino o superiore alla loro accuratezza, indicando che spesso scelgono la risposta basata sul senso comune invece che sull'immagine.
• Analisi per Task:
  • I modelli falliscono drammaticamente nelle task di Conteggio e Analisi (comprensione di alto livello).
  • Le prestazioni sono leggermente migliori su task di basso livello come Attributi e OCR, ma rimangono comunque insufficienti.
• Effetto della Dimensione del Modello: Sebbene le prestazioni migliorino con la scala del modello (Scaling Law), anche i modelli più grandi faticano notevolmente. Curiosamente, alcuni modelli più piccoli ma ottimizzati (come MiniCPM-4V) hanno ottenuto risultati paragonabili a modelli molto più grandi.

4. Analisi del Reasoning (CoT)

Uno dei contributi chiave è l'analisi dell'impatto del Chain-of-Thought (CoT) e del reasoning avanzato:

• Degrado delle Prestazioni: L'attivazione del reasoning (CoT) o l'uso di modelli "reasoning-tuned" (come o3 o Kimi-VL-A3B-Thinking) spesso peggiora le prestazioni rispetto alla risposta diretta.
• Meccanismo di Fallimento: L'analisi delle probabilità durante il processo di ragionamento rivela due modalità di fallimento:
  1. Il modello sceglie un'opzione errata fin dall'inizio e rafforza questo errore durante il ragionamento.
  2. Il modello inizia con la risposta corretta, ma durante la generazione del testo di ragionamento introduce allucinazioni testuali che lo portano a cambiare idea verso una risposta errata.
• Conclusione sul Reasoning: Il reasoning testuale, senza un miglioramento parallelo nella percezione visiva, tende a far sì che il modello si fidi eccessivamente delle sue conoscenze parametriche (senso comune) piuttosto che dei dati visivi reali, confermando le allucinazioni invece di correggerle.

5. Contributi Chiave e Significato

1. Nuovo Benchmark FREAK: Un dataset unico con immagini fotorealistiche e modifiche dettagliate contro-senso, che sfida i modelli in modo più severo rispetto ai benchmark precedenti.
2. Pipeline di Generazione Scalabile: Un metodo automatizzato che combina generazione e editing di immagini per creare dati di valutazione di alta qualità senza intervento umano massivo nella creazione delle immagini.
3. Scoperta Critica sul Reasoning: Dimostrazione empirica che le tecniche di reasoning attuali (CoT) possono essere controproducenti per l'analisi visiva fine-grained, poiché amplificano il bias verso il senso comune invece di mitigarlo.
4. Implicazioni Future: Il lavoro suggerisce che per ridurre le allucinazioni non basta potenziare il ragionamento linguistico; è necessario migliorare l'allineamento tra l'encoder visivo e il LLM, insegnando ai modelli a fidarsi delle evidenze visive anche quando contraddicono la conoscenza interna.

In sintesi, FREAK stabilisce un nuovo standard per la valutazione delle allucinazioni negli MLLM, rivelando che, nonostante i progressi, i modelli attuali mancano ancora di una percezione visiva affidabile a livello di dettaglio, e che le attuali strategie di reasoning potrebbero non essere la soluzione corretta per questo specifico problema.