Detecting Misbehaviors of Large Vision-Language Models by Evidential Uncertainty Quantification

Il documento propone l'Evidential Uncertainty Quantification (EUQ), un metodo innovativo che utilizza la teoria dell'evidenza per rilevare le disfunzioni dei modelli visione-linguaggio su larga scala distinguendo tra conflitti interni e ignoranza, superando così i limiti delle tecniche di quantificazione dell'incertezza esistenti.

L'essenziale

Immagina i Modelli Vision-Language (LVLM) come dei geniali ma distratti assistenti personali. Questi assistenti sono bravissimi a guardare una foto e raccontarti una storia, a descrivere un'immagine o a rispondere a domande complesse. Tuttavia, a volte fanno errori strani:

1. Allucinazioni: Inventano dettagli che non esistono (es. vedono un gatto dove c'è un cane).
2. Jailbreak: Si lasciano ingannare da trucchi visivi per dire cose cattive o pericolose.
3. Vulnerabilità: Si confondono se l'immagine è modificata di nascosto.
4. Fallimenti OOD: Si bloccano quando vedono qualcosa di completamente nuovo che non hanno mai studiato.

Il problema è che questi assistenti sono troppo sicuri di sé. Anche quando sbagliano, ti parlano con la stessa voce ferma e convincente di quando hanno ragione. È come se un meteorologo ti dicesse "pioverà sicuramente" mentre fuori c'è il sole, ma lo dicesse con la stessa convinzione di quando c'è un uragano.

Il Problema: Non sappiamo perché sbagliano

Fino ad ora, gli scienziati sapevano che questi errori erano legati all'incertezza del modello. Ma era come guardare un termometro che segna solo "fa caldo" o "fa freddo", senza dirti perché. È caldo perché c'è il sole? O perché c'è un incendio?
La ricerca precedente non riusciva a distinguere le cause profonde dell'errore.

La Soluzione: EUQ (Il "Detective dell'Incertezza")

Gli autori di questo paper hanno creato un nuovo metodo chiamato EUQ (Quantificazione dell'Incertezza Evidenziale). Non serve riaddestrare il modello (è come se fosse un "kit di diagnostica" che si applica sopra il modello esistente).

Per capire come funziona, usiamo due metafore:

1. Il Conflitto (Conflict - CF): La "Rissa in Sala"

Immagina che il cervello del modello sia una stanza piena di giudici (i neuroni). Quando il modello deve decidere cosa dire, ogni giudice esprime la sua opinione.

• Situazione normale: Tutti i giudici sono d'accordo: "È un gatto!".
• Situazione di Conflitto (Hallucinazione): Metà dei giudici urla "È un gatto!", mentre l'altra metà urla "No, è un cane!". C'è una rissa interna. Il modello non sa chi ascoltare.
  • Cosa fa l'EUQ: Rileva questa "rissa". Se vede che le opinioni interne sono in forte contrasto, capisce che il modello sta allucinando perché è confuso al suo interno.

2. L'Ignoranza (Ignorance - IG): La "Sala Vuota"

Ora immagina un'altra situazione. Il modello guarda una foto di un oggetto strano che non ha mai visto prima (un paracadute in un contesto insolito).

• Situazione di Ignoranza: I giudici guardano la foto e nessuno alza la mano. Non c'è nessuno che dice "È un paracadute" e nessuno che dice "Non lo so". C'è solo silenzio. Mancano le prove.
  • Cosa fa l'EUQ: Rileva questo "vuoto". Se non ci sono prove a supporto di nessuna risposta, il sistema capisce che il modello sta tirando a indovinare perché non sa nulla di quell'oggetto.

Come funziona la magia (Senza matematica complessa)

Il metodo guarda i "pensieri" del modello prima che questi diventino parole (i pre-logits).

1. Trasforma questi pensieri in prove (come pezzi di un puzzle).
2. Usa una vecchia e saggia teoria matematica (la Teoria di Dempster-Shafer, che è come un modo molto raffinato di sommare le prove) per calcolare due numeri:
   • Quanto c'è disaccordo (Conflitto).
   • Quanto manca informazione (Ignoranza).

Cosa hanno scoperto?

Analizzando migliaia di errori, hanno notato una cosa affascinante:

• Quando il modello allucina (inventa cose), è perché c'è un alto conflitto interno (le sue parti interne litigano).
• Quando il modello fallisce su cose nuove (OOD), è perché c'è alta ignoranza (manca completamente l'informazione).

È come se avessero scoperto che:

• Se un detective urla contro se stesso, sta inventando una storia (Allucinazione).
• Se un detective tace e guarda il muro, è perché non ha gli elementi per risolvere il caso (Ignoranza).

Perché è importante?

Questo metodo è velocissimo (non richiede di generare 10 risposte diverse per capire se il modello è sicuro, come facevano prima) ed è preciso.

• Risultato: Riesce a individuare gli errori molto meglio dei metodi attuali (migliora la rilevazione del 10% circa).
• Utilità: In applicazioni critiche come la guida autonoma o la diagnosi medica, sapere perché un modello potrebbe sbagliare (se è confuso o se non sa nulla) è fondamentale per evitare disastri.

In sintesi

Gli autori hanno creato un termometro intelligente che non misura solo "quanto è sicuro" un modello, ma ci dice se è sicuro perché sa la risposta o perché sta litigando con se stesso. È un passo avanti enorme per rendere l'Intelligenza Artificiale più affidabile, sicura e trasparente.

Sommario tecnico

1. Il Problema

I Large Vision-Language Models (LVLMs) hanno ottenuto progressi significativi nella comprensione multimodale, ma sono soggetti a comportamenti errati (misbehaviors) quando affrontano input complessi, fuori distribuzione (OOD) o avversari. Questi errori includono:

• Allucinazioni: Generazione di contenuti non veritieri (oggetti inesistenti, relazioni errate).
• Jailbreak: Elicitazione di contenuti dannosi o non allineati agli intenti umani.
• Vulnerabilità avversarie: Sensibilità a perturbazioni impercettibili che inducono errori.
• Fallimenti OOD: Incapacità di generalizzare su dati con distribuzioni diverse da quelle di addestramento.

Le ricerche esistenti hanno collegato questi errori all'incertezza del modello, in particolare all'incertezza epistemica (limiti nella conoscenza del modello). Tuttavia, i metodi attuali di quantificazione dell'incertezza (UQ) tendono a catturare solo l'incertezza predittiva totale, fallendo nel distinguere le cause sottostanti:

1. Conflitto (Conflict): Contraddizioni interne tra le informazioni supportanti (es. testo e immagine in disaccordo).
2. Ignoranza (Ignorance): Assenza di informazioni supportanti sufficienti (es. dati mancanti o ambigui).

2. Metodologia: EUQ (Evidential Uncertainty Quantification)

Gli autori propongono EUQ, un framework senza addestramento (training-free) che scompone esplicitamente l'incertezza epistemica in Conflitto (CF) e Ignoranza (IG) utilizzando la Teoria di Dempster-Shafer (DST).

Fasi del processo:

1. Estrazione delle Feature: Il metodo utilizza le feature pre-logits (l'output del layer di proiezione prima della softmax) dalla testa di output dell'LVLM. Queste feature contengono segnali ad alto livello direttamente legati alle decisioni del modello.
2. Assegnazione della Credenza (Belief Assignment - BBA):
   • Le feature pre-logits ($Z$) sono interpretate come evidenze.
   • Viene applicato un principio di Minimo Impegno (Least Commitment Principle - LCP) per assegnare masse di credenza alle ipotesi.
   • Le evidenze vengono decomposte in componenti positive (supporto all'ipotesi) e negative (opposizione/contraddizione).
3. Fusione delle Evidenze:
   • Utilizzando la Regola di Combinazione di Dempster, le masse di credenza positive e negative vengono fuse.
   • Conflitto (CF): Quantificato come il grado di contraddizione tra le evidenze positive e negative combinate. Un alto CF indica che il modello riceve segnali contrastanti (tipico delle allucinazioni).
   • Ignoranza (IG): Quantificata come la massa di credenza assegnata all'insieme totale (frame of discernment) dovuta alla mancanza di evidenze negative sufficienti o alla scarsità di informazioni. Un alto IG indica che il modello non ha abbastanza dati per prendere una decisione sicura (tipico dei fallimenti OOD).
4. Calcolo: Il framework calcola CF e IG per ogni token durante un singolo passaggio in avanti (forward pass), aggregandoli poi a livello di frase.

3. Contributi Chiave

• Decomposizione dell'Incertezza: Prima proposta per caratterizzare esplicitamente due tipi di incertezza epistemica (conflitto e ignoranza) negli LVLMs senza richiedere ri-addestramento.
• Framework Training-Free: A differenza dei metodi basati su approcci bayesiani o evidential deep learning (EDL) che richiedono addestramento, EUQ opera direttamente sulle feature interne del modello durante l'inferenza.
• Analisi Dinamica a Livello di Layer: Gli autori hanno condotto un'analisi delle dinamiche dell'incertezza attraverso i layer del decoder, rivelando come l'ignoranza tenda a diminuire e il conflitto ad aumentare man mano che il modello elabora l'informazione (approccio "information bottleneck").
• Benchmarks Estesi: Creazione e utilizzo di Misbehavior-Bench, un dataset completo che copre quattro categorie di errori (allucinazioni, jailbreak, avversari, OOD) su quattro diversi modelli LVLM (DeepSeek-VL2, Qwen2.5-VL, InternVL2.5, MoF-Models).

4. Risultati Sperimentali

Le sperimentazioni sono state condotte su modelli di diverse dimensioni (da 4B a 38B parametri) e su vari scenari di errore.

• Prestazioni Superiori: EUQ supera sistematicamente i metodi di baseline (inclusi metodi basati su campionamento come Semantic Entropy e Self-Consistency, e metodi basati su probabilità come Predictive Entropy).
  • Miglioramento relativo fino al 10.5% in AUROC e 5.5% in AUPR.
  • In media, CF e IG ottengono un AUROC di 0.812 e 0.783 rispettivamente, contro un massimo di 0.707 per i metodi di baseline.
• Correlazione con il Tipo di Errore:
  • Le allucinazioni sono fortemente correlate ad alti livelli di Conflitto (CF) (il modello "vede" cose che non c'è o contraddice l'input).
  • I fallimenti OOD sono correlati ad alti livelli di Ignoranza (IG) (mancanza di informazioni rilevanti).
  • Gli esempi avversari e i jailbreak mostrano pattern distinti che possono essere differenziati analizzando la distribuzione di CF e IG.
• Efficienza: Il metodo richiede un solo passaggio in avanti, evitando l'overhead computazionale dei metodi basati su campionamento multipli (che richiedono 10+ inferenze per domanda).

5. Significato e Implicazioni

• Interpretabilità: Il lavoro offre una nuova prospettiva sull'evoluzione delle rappresentazioni interne degli LVLMs, mostrando come l'incertezza si manifesti diversamente a seconda della natura dell'errore.
• Sicurezza e Affidabilità: La capacità di distinguere tra "non so" (ignoranza) e "sono confuso" (conflitto) è cruciale per applicazioni critiche come la guida autonoma, la diagnosi medica e l'autenticazione, permettendo di attivare meccanismi di sicurezza più mirati.
• Generalizzabilità: Poiché il metodo si basa su trasformazioni lineari comuni nella maggior parte delle architetture neurali (inclusi LLM e CNN), è potenzialmente applicabile a una vasta gamma di modelli, non solo agli LVLMs.

In conclusione, EUQ rappresenta un passo avanti significativo verso la creazione di LVLMs più sicuri e affidabili, fornendo strumenti diagnostici granulari per identificare e classificare le cause profonde dei comportamenti errati senza costi computazionali proibitivi.