Riepilogo Tecnico: KnowHal

Definizione del Problema

Nonostante i significativi progressi nei Modelli Linguistici Multimodali di Grandi Dimensioni (MLLM), l'allucinazione — la discrepanza tra il contenuto generato dal modello e la verità di base — rimane una barriera critica per l'implementazione affidabile in domini ad alto rischio come la diagnosi medica, il ragionamento legale e la guida autonoma. Gli attuali benchmark di valutazione si concentrano principalmente sulle allucinazioni a livello percettivo (Entità, Attributo e Relazione) chiedendo "Cosa vede il modello?". Tuttavia, essi trascurano ampiamente le allucinazioni a livello di conoscenza, in cui i modelli generano informazioni fattualmente errate riguardanti le entità raffigurate che contraddicono la conoscenza del mondo esterno. Inoltre, gli attuali framework mancano di un protocollo unificato per valutare gli errori percettivi, gli errori di conoscenza e la suscettibilità del modello alle premesse false (accettazione di indizi fuorvianti) sotto contesti visivi condivisi. Ciò lascia la domanda "Cosa sa il modello?" e la sua robustezza contro input fuorvianti insufficientemente affrontate.

Metodologia: Il Benchmark KnowHal

Per colmare questa lacuna, gli autori propongono KnowHal, un benchmark completo progettato per valutare le allucinazioni attraverso quattro dimensioni: Entità, Attributo, Relazione e Conoscenza.

1. Design e Struttura del Benchmark

• Design di Domande Accoppiate: L'innovazione principale di KnowHal è la costruzione di domande accoppiate positive e negative per ogni campione immagine-entità.
  • Domande Positive: Interrogano l'evidenza visiva valida o la conoscenza fattuale associata all'entità.
  • Domande Negative: Introducono premesse controllate, semanticamente plausibili ma fattualmente false, per testare la robustezza.
• Quattro Strategie di Induzione Negativa:
  1. Variante di Attributo: Sostituzione di un attributo con uno simile ma errato.
  2. Sostituzione di Oggetto: Sostituzione dell'entità target con un'entità semanticamente correlata ma assente.
  3. Relazione Spaziale: Inversione o alterazione della reale relazione spaziale tra le entità.
  4. Fabricazione di Azioni: Assegnazione di azioni o stati inesistenti ad entità visibili.
• Dimensioni:
  • Entità, Attributo, Conoscenza: Formulate come compiti di Visual Question Answering (VQA) a risposta aperta.
  • Relazione: Formulata come domande a scelta multipla (MCQ) per evitare ambiguità nelle descrizioni sinonimiche.

2. Pipeline di Costruzione dei Dati

Il dataset comprende 1.800 campioni entità-immagine unici distribuiti su 10 domini e 50 categorie, con un totale di 14.400 coppie QA. La costruzione segue una pipeline semi-automatizzata:

1. Selezione delle Entità: Definizione manuale di 10 domini e identificazione di entità con caratteristiche visive distintive.
2. Raccolta Immagini: Gli LLM analizzano le entità per generare query consapevoli delle relazioni. Le immagini vengono recuperate tramite Google Image Search e filtrate tramite CLIP per garantire la coerenza semantica con le query.
3. Costruzione delle Coppie QA:
   • Positiva: Generata tramite template (Entità), osservazione diretta del VLM (Attributo) o fatti derivati da Wikipedia (Conoscenza).
   • Negativa: Generata tramite prompt specifici che implementano le quattro strategie di induzione.
4. Verifica Umana: Tre annotatori eseguono un rigoroso controllo di qualità, validando la correttezza fattuale, la coerenza logica e l'unicità della risposta. L'accordo tra gli annotatori è stato elevato (Fleiss' $\kappa = 0.854$).

3. Metriche di Valutazione

Gli autori valutano 14 MLLM rappresentativi (5 a codice chiuso, 9 a codice aperto) in un setting zero-shot.

• Metrica Primaria: Accuratezza, riportata separatamente per le domande positive e negative attraverso tutte e quattro le dimensioni.
• Punteggio di Propensione all'Allucinazione (HPS): Una metrica derivata definita come $HPS = (1 - \frac{Acc_{neg}}{Acc_{pos}}) \times 100\%$. Questa misura il relativo degrado delle prestazioni quando i modelli sono esposti a input fuorvianti; punteggi più alti indicano una maggiore suscettibilità all'allucinazione.
• Giudizio: Le domande positive utilizzano il soft matching standard del VQA; le domande negative sono valutate da GPT-4o-mini come giudice automatico, con la verifica umana che conferma un tasso di accordo del 94,3%.

Risultati Chiave

Gli esperimenti su 14 MLLM rivelano diversi pattern sistematici:

1. La Conoscenza è la Dimensione Più Difficile: In quasi tutti i modelli, la dimensione della Conoscenza produce costantemente l'accuratezza più bassa, restando significativamente indietro rispetto a Entità, Attributo e Relazione. Ad esempio, anche i modelli con le migliori prestazioni mostrano cali sostanziali nell'accuratezza della conoscenza rispetto ai compiti percettivi.
2. Gap di Robustezza sulle Domande Negative: La maggior parte dei modelli mostra un significativo degrado delle prestazioni sulle domande negative rispetto a quelle positive. Ciò indica che un'alta accuratezza nelle query fattuali non garantisce la robustezza contro le premesse false.
3. Closed-Source vs. Open-Source: I modelli a codice chiuso superano generalmente quelli a codice aperto, in particolare nelle domande positive. Tuttavia, la serie Qwen (open-source) dimostra una robustezza competitiva sulle domande negative, suggerendo che un addestramento mirato può mitigare l'allucinazione.
4. Effetti di Scaling: L'aumento della dimensione del modello migliora generalmente sia l'accuratezza fattuale che la robustezza contro gli input fuorvianti. Tuttavia, lo scaling non risolve uniformemente le allucinazioni di conoscenza; la dimensione della Conoscenza rimane un collo di bottiglia anche per i modelli più grandi.
5. Variabilità del Dominio: I modelli più forti mantengono prestazioni equilibrate tra i domini, mentre i modelli più deboli mostrano una varianza significativa, in particolare nei domini Arte e Scienza & Tecnologia sulle domande negative.

Significato e Contributi

L'articolo rivendica tre contributi primari:

1. Framework Unificato: KnowHal affronta una lacuna importante nei framework di valutazione esistenti unificando sistematicamente la valutazione delle allucinazioni a livello percettivo (Entità, Attributo, Relazione) e a livello di conoscenza all'interno di un unico protocollo centrato sull'immagine.
2. Valutazione Controllata tramite Design Accoppiato: Introducendo domande positive e negative accoppiate, KnowHal consente un confronto controllato tra la capacità di un modello di interpretare evidenze valide e la sua capacità di rifiutare assunzioni plausibili ma false. Ciò affronta direttamente il gap dell' "accettazione di premesse false" nella letteratura esistente.
3. Utilità Diagnostica: Attraverso la valutazione estesa di 14 modelli e un'analisi dettagliata (per scaling, per dominio e casi di studio), KnowHal rivela che l'allucinazione della conoscenza è una sfida persistente e distinta e che gli attuali modelli mancano di robustezza contro gli input fuorvianti, fornendo uno strumento diagnostico per lo sviluppo di futuri modelli.

Gli autori concludono che, sebbene gli attuali MLLM mostrino progressi, la dimensione della Conoscenza e la robustezza alle premesse false rimangono sfide critiche, e KnowHal fornisce l'infrastruttura necessaria per guidare la ricerca verso sistemi multimodali più affidabili e fattualmente accurati.