FINER: MLLMs Hallucinate under Fine-grained Negative Queries

1. Il Problema: Allucinazioni nelle Query Negative a Grana Fina

I Modelli Linguistici Multimodali (MLLM) hanno fatto progressi significativi nella comprensione visiva, ma soffrono ancora di allucinazioni, ovvero la generazione di risposte non supportate dall'immagine.

• Limitazione degli approcci attuali: I benchmark esistenti (come POPE, DASH, AMBER) si concentrano su query "coarse" (grossolane), chiedendo spesso la semplice presenza o assenza di un singolo oggetto.
• La lacuna: Gli utenti reali pongono domande complesse e dettagliate. Il paper identifica che i modelli falliscono specificamente quando devono rifiutare query negative a grana fine che combinano più elementi: oggetti multipli, attributi multipli e relazioni spaziali/semantiche.
• Il fenomeno: Anche quando un modello riconosce correttamente la maggior parte degli elementi di un'immagine, tende a confermare ("Yes") una query che contiene una singola contraddizione sottile (es. un attributo sbagliato o una relazione errata) all'interno di una descrizione altrimenti corretta. Questo è definito come un "falso positivo" in risposta a una query negativa.

2. Metodologia e Proposte

A. I Benchmark FINER

Gli autori introducono FINER (FIne-grained NEgative queRies), una suite di benchmark progettata per valutare la capacità dei modelli di rilevare errori sottili in query complesse.

• Dataset: Sono stati costruiti due benchmark principali:
  1. FINER-CompreCap: Basato su scene graph (SG) annotati manualmente da CompreCap (immagini COCO).
  2. FINER-DOCCI: Basato su didascalie lunghe e dense di DOCCI (5.000 immagini), da cui vengono estratti automaticamente gli SG tramite un pipeline avanzata (Gemini-2.0-Flash e Qwen2.5-VL-72B).
• Categorie di Query: Le query sono divise in quattro setting per isolare le cause delle allucinazioni:
  1. Multi-obj: Query con più oggetti, dove uno è sostituito da un oggetto inesistente.
  2. Multi-attr: Query con più attributi, dove uno è errato.
  3. Multi-rel: Query con più relazioni, dove una è falsa.
  4. Wh-questions: Domande "Cosa..." su un oggetto target con un attributo errato (falsa premessa).
• Formato: Le domande sono strutturate come Multiple Choice Questions (MCQ) per evitare bias di risposta binaria (Sì/No). Ogni domanda negativa è accoppiata a una domanda positiva corrispondente.
• Metrica: Viene utilizzata l'Accuratezza Accoppiata (Accpaired), che richiede che il modello risponda correttamente sia alla versione positiva che a quella negativa della stessa coppia di domande.

B. FINER-Tuning (Metodo di Addestramento)

Per mitigare queste allucinazioni, gli autori propongono FINER-Tuning, un approccio di ottimizzazione basato sui dati.

• Tecnica: Utilizza la Direct Preference Optimization (DPO).
• Generazione dei Dati:
  • Vengono estratte frasi positive da didascalie lunghe (dataset Pixmo).
  • Un LLM (Phi-4-14B) genera varianti negative semanticamente plausibili ma errate (sostituendo oggetti, attributi o relazioni).
  • Un discriminatore visivo forte (Qwen2.5-VL-72B) filtra le negative che potrebbero essere presenti nell'immagine (falsi negativi).
• Coppie di Preferenza: Per ogni immagine, si costruiscono tuple di preferenza $(x, q, a^+, a^-)$ dove $a^+$ è la risposta corretta (che nega l'errore o conferma la verità) e $a^-$ è la risposta allucinata.
• Obiettivo: Addestrare il modello a riconoscere e rifiutare le contraddizioni sottili nelle query di input, non solo a correggere le risposte generate.

3. Risultati Sperimentali

Performance sui Benchmark FINER

• Analisi della Granularità: I modelli base (es. InternVL3.5-14B) mostrano un crollo drastico delle prestazioni man mano che la granularità della query negativa aumenta (da ~80% di accuratezza a livello 1 a ~20% a livelli 5-7).
• Miglioramenti: FINER-Tuning porta a guadagni significativi. Ad esempio, su InternVL3.5-14B, si ottiene un miglioramento fino al 24.2% nella categoria Multi-rel su FINER-CompreCap.
• Confronto: I modelli finetunati con FINER superano modelli molto più grandi (come la versione 38B di InternVL) e modelli commerciali all'avanguardia (Gemini-2.5-Flash) in diversi setting, dimostrando che il problema è la mancanza di addestramento specifico su queste query, non solo la capacità del modello.

Generalizzazione ad Altri Benchmark

• Riduzione delle Allucinazioni: I modelli addestrati con FINER-Tuning mostrano miglioramenti coerenti su altri benchmark di allucinazione (DASH, POPE, HallusionBench, AMBER, MMHal-Bench), sia discriminativi che generativi.
• Capacità Generali: A differenza di altri metodi di allineamento che spesso comportano un "tax" (peggioramento delle capacità generali), FINER-Tuning migliora o mantiene le prestazioni su benchmark di capacità generale (MMStar, TextVQA, ChartQA), confermando che l'addestramento su query negative rafforza la comprensione visiva senza degradare le competenze esistenti.

Studi Ablativi

• L'uso combinato di query positive e negative nell'addestramento DPO è cruciale; l'uso solo di query negative o l'addestramento Supervised Fine-Tuning (SFT) puro risultano meno efficaci.
• L'addestramento su tutti i subset (Obj, Attr, Rel, Wh) produce risultati più bilanciati rispetto all'addestramento su singoli subset.

4. Contributi Chiave

1. Identificazione del Problema: Dimostrazione empirica che i MLLM sono estremamente fragili di fronte a negazioni a grana fine che coinvolgono combinazioni di oggetti, attributi e relazioni, un aspetto trascurato dai benchmark attuali.
2. Nuovi Benchmark (FINER): Introduzione di FINER-CompreCap e FINER-DOCCI, che offrono una valutazione sistematica e scalabile delle allucinazioni in scenari complessi.
3. Metodologia di Addestramento (FINER-Tuning): Una ricetta semplice e agnostica rispetto al modello, basata su DPO e dati generati automaticamente, che risolve efficacemente il problema delle allucinazioni da query negative.
4. Validazione della Generalizzazione: Prova che migliorare la robustezza alle query negative non solo risolve quel problema specifico, ma eleva le prestazioni generali del modello su compiti di ragionamento visivo e riduzione delle allucinazioni in contesti generativi.

5. Significato e Implicazioni

Il lavoro di FINER è significativo perché sposta il focus dalla semplice "rilevazione di oggetti" alla comprensione logica e relazionale fine delle immagini.

• Affidabilità: Per applicazioni critiche come la diagnosi medica o l'analisi legale di immagini, la capacità di dire "No" a una domanda specifica e dettagliata è fondamentale per la fiducia nell'AI.
• Scalabilità: La pipeline proposta dimostra che è possibile creare dataset di addestramento di alta qualità su larga scala utilizzando LLM open-source, rendendo la ricerca sull'allucinazione più accessibile.
• Futuro della Ricerca: FINER stabilisce un nuovo standard per valutare i MLLM, suggerendo che i futuri modelli dovranno essere addestrati specificamente per gestire la complessità semantica e le contraddizioni sottili nelle interazioni uomo-macchina.

In sintesi, il paper dimostra che le allucinazioni non sono solo un problema di "visione cieca", ma di incapacità di integrare la percezione visiva con la logica linguistica fine, e che un addestramento mirato su query negative può colmare efficacemente questo divario.