Evian: Towards Explainable Visual Instruction-tuning Data Auditing

1. Il Problema

I Large Vision-Language Models (LVLM) dipendono criticamente dalla qualità dei dati di addestramento per bilanciare fedeltà visiva e capacità di seguire le istruzioni. Tuttavia, i dataset esistenti soffrono di qualità incoerente. I metodi di filtraggio attuali si basano su:

• Punteggi "coarse-grained" (a grana grossa): Come i punteggi di similarità CLIP, che promuovono l'ancoraggio visivo ma non riescono a rilevare difetti semantici sottili.
• Mancanza di granularità: Le approcci attuali non distinguono tra errori logici, allucinazioni fattuali o incoerenze semantiche, collassando diversi tipi di errore in un unico punteggio opaco.
• Conseguenza: I modelli LVLM risultanti soffrono di allucinazioni di oggetti, attribuzione errata di attributi, incoerenze fattuali e ragionamenti difettosi.

2. Metodologia: Il Framework EVIAN

Gli autori propongono EVIAN (Explainable Visual Instruction-tuning Data AuditiNg), un pipeline automatizzata e interpretabile basata su un nuovo paradigma: "Decomposizione-poi-Valutazione".

A. Il Paradigma "Decomposizione-poi-Valutazione"

Invece di valutare la risposta del modello come un blocco indivisibile, EVIAN la scompone in componenti cognitivi verificabili:

1. Descrizione Visiva: Fatti oggettivi osservabili nell'immagine.
2. Inferenza Soggettiva: Giudizi o deduzioni basate sull'evidenza visiva.
3. Affermazione Fattuale: Dichiarazioni che richiedono conoscenza esterna.

B. Le Due Fasi di EVIAN

Fase 1: Decomposizione della Risposta (Chain-of-Thought)
Utilizzando un modello LLM (Qwen3-235B), la risposta grezza viene elaborata in tre passaggi:

1. Tagging Semantico: Identificazione e avvolgimento delle inferenze soggettive in tag <INFER> e delle affermazioni fattuali in tag <KNOW>. Il testo non taggato è considerato descrizione visiva pura.
2. Distillazione Visiva: Le parti taggate vengono riscritte in affermazioni neutre o rimosse se non verificabili, creando una bozza contenente solo contenuti oggettivi legati all'immagine.
3. Sintesi Fluente: La bozza viene riorganizzata in un paragrafo coerente e puramente visivo, senza aggiungere nuovo contenuto.

Fase 2: Valutazione Multifacciale
Ogni componente decomposto viene valutato lungo tre assi ortogonali da un auditor automatico (Qwen2.5-VL-7B), assegnando un punteggio da 1 a 5:

1. Coerenza Logica ($S_L$): Valuta se le inferenze (<INFER>) seguono logicamente l'evidenza visiva.
2. Accuratezza Fattuale ($S_K$): Verifica la correttezza delle affermazioni di conoscenza (<KNOW>) contro la conoscenza interna del modello.
3. Coerenza Immagine-Testo ($S_V$): Misura la fedeltà della descrizione visiva purificata rispetto all'immagine di input (penalizzando contraddizioni, non le omissioni).

Il punteggio finale è una media ponderata di questi tre assi, che guida la selezione e il ranking dei dati.

3. Contributi Chiave

1. Benchmark su larga scala (300K campioni): Gli autori hanno creato un benchmark sistematico iniettando difetti sottili e contestuali in 300.000 campioni (derivati da 8 dataset fondamentali). Questo include un set "gold standard" pulito e un set di "sfida" con errori iniettati in tre dimensioni: coerenza percettiva, accuratezza fattuale e coerenza logica.
2. Paradigma e Framework EVIAN: Introduzione di un metodo strutturato che separa la valutazione visiva, inferenziale e fattuale, permettendo un'analisi diagnostica fine-granularità.
3. Scoperta Empirica: Dimostrazione che la coerenza logica è il fattore più critico per la qualità dei dati, superando spesso la semplice ricchezza informativa o la similarità visiva.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Qwen2-VL-2B e validati su InternVL2-2B per testare la generalizzabilità.

• Performance Superiori: Un modello fine-tuned su un sottoinsieme compatto (10k campioni) selezionato da EVIAN ha superato i modelli addestrati su dataset molto più grandi (fino a 300k campioni non filtrati) e su altri metodi di selezione (come CLIPScore, BLIP-2, SCALE).
  • Punteggio medio EVIAN: 70.20 vs SCALE (SOTA precedente): 67.41 vs Dati Completi (300k): 63.77.
• Analisi di Ablazione:
  • Rimuovere la Coerenza Logica ($S_L$) ha causato un crollo drastico delle prestazioni (da 70.20 a 57.27), dimostrando che la logica è essenziale per compiti di ragionamento complessi (es. ScienceQA).
  • Basarsi solo sulla coerenza visiva ($S_V$) ha portato a un calo nelle capacità di rilevamento delle allucinazioni (POPE).
• Generalizzabilità: I vantaggi di EVIAN si sono mantenuti anche quando il modello target era di un'architettura diversa (InternVL2-2B), confermando che EVIAN cattura indicatori di qualità intrinseci e non bias specifici dell'architettura.
• Efficienza dei Dati: Il principio "less is more" è stato confermato: un dataset piccolo ma curato con precisione supera dataset enormi ma rumorosi.

5. Significato e Implicazioni

Il lavoro di EVIAN segna un cambio di paradigma nello sviluppo degli LVLM:

• Dalla Quantità alla Qualità Interpretativa: Sposta il focus dall'aumento della scala dei dati (data scaling) alla cura dei dati basata su audit interpretabili e fine-granularità.
• Diagnostica Strutturata: Dimostra che dividere l'audit complesso in sottotask verificabili (descrizione, inferenza, fatto) permette una selezione dei dati molto più robusta rispetto ai punteggi olistici.
• Priorità alla Logica: Evidenzia che la coerenza logica è il fattore determinante per l'affidabilità dei modelli, suggerendo che futuri sforzi di curatela dei dati devono dare priorità alla correttezza del ragionamento rispetto alla semplice ricchezza semantica.

In sintesi, EVIAN fornisce un framework essenziale per costruire LVLM più affidabili, riducendo le allucinazioni e migliorando il ragionamento attraverso un'audit dei dati sistematico, spiegabile e basato su componenti.