HALP: Detecting Hallucinations in Vision-Language Models without Generating a Single Token

Il paper introduce HALP, un metodo che rileva le allucinazioni nei modelli visione-linguaggio analizzando le loro rappresentazioni interne in un'unica passata in avanti prima della generazione di qualsiasi token, consentendo così interventi tempestivi ed efficienti senza dover decodificare il testo.

L'essenziale

Immagina di avere un amico molto intelligente, ma a volte un po' sognatore. Quando gli mostri una foto e gli chiedi "Cosa vedi?", lui ti risponde con descrizioni dettagliate. Il problema è che, a volte, questo amico inizia a inventarsi cose che non esistono nella foto: vede un gatto dove c'è un cane, o giura di aver letto un cartello che in realtà non c'è. Nel mondo dell'Intelligenza Artificiale, questo fenomeno si chiama allucinazione.

Fino a oggi, il modo per scoprire queste bugie era aspettare che l'AI finisse di scrivere tutta la sua risposta, e poi controllarla. Era come aspettare che un cuoco finisse di cucinare un intero pasto per poi dire: "Ehi, hai messo le formiche nel sugo!". È lento, costoso e, se il pasto è già stato servito, è troppo tardi per fermarlo.

Gli autori di questo studio, chiamati HALP, hanno trovato un modo geniale per risolvere il problema: fermare l'AI prima ancora che apra bocca.

L'idea di HALP: Il "Termometro della Verità"

Immagina che l'AI sia una fabbrica complessa. Quando riceve una foto, i dati viaggiano attraverso diversi macchinari (strati di neuroni) prima di diventare parole.

• Il vecchio metodo: Aspettavi che il prodotto finito uscisse dalla fabbrica per ispezionarlo.
• Il metodo HALP: Hanno installato dei sensori intelligenti (chiamati "probe") direttamente all'interno della fabbrica, lungo il percorso dei dati.

Questi sensori non devono leggere le parole finali. Si limitano a "annusare" l'aria interna della macchina mentre sta ancora elaborando l'immagine. Se i sensori rilevano un odore strano (un segnale che dice "Ehi, qui stiamo per inventare qualcosa!"), HALP alza un campanello d'allarme prima che venga generata una sola parola.

Come funziona la magia?

Gli scienziati hanno guardato tre diversi "punti di controllo" nella mente dell'AI:

1. L'occhio puro (Vision Only): Cosa vede l'AI appena guarda la foto, prima di pensare? È come guardare la foto con gli occhi chiusi e chiedersi: "Ho visto davvero questo?".
2. Il pensiero visivo (Vision Token): Cosa succede quando l'AI inizia a mescolare l'immagine con le sue conoscenze? È come se l'AI dicesse: "Ok, ho visto la foto, ora sto cercando di capire cosa significa".
3. La domanda finale (Query Token): Il momento critico, giusto prima di parlare. È come se l'AI si fermasse un attimo e dicesse: "Sto per rispondere alla domanda 'C'è un gatto?'. Sono sicuro al 100% o sto bluffando?".

Cosa hanno scoperto?

Hanno testato questo sistema su 8 diversi "cervelli" AI moderni (come Gemma, Llama, Qwen, ecc.) e hanno scoperto cose affascinanti:

• Il momento giusto conta: Per la maggior parte delle AI, il momento migliore per intercettare la bugia è proprio alla fine del ragionamento, ma prima che la parola venga scritta. È come se l'AI avesse un "dubbio interno" che diventa più forte man mano che si avvicina alla risposta.
• Ogni AI è diversa: Alcune AI (come Qwen) sono molto oneste già dal primo sguardo alla foto. Altre (come FastVLM) sono più propense a inventare cose solo quando iniziano a mescolare testo e immagine. HALP sa adattarsi a ogni personalità.
• È velocissimo: Questo controllo richiede meno di un secondo. È come avere un guardiano alla porta che ti dice: "Non entrare, qui c'è un pericolo" prima che tu spenda tempo a camminare.

Perché è importante?

Immagina un'auto a guida autonoma o un robot medico. Se l'AI vede un pedone che non c'è e frena di colpo, o se un medico AI inventa un sintomo, le conseguenze possono essere gravi.

Con HALP, possiamo:

1. Fermare l'AI: Se il "termometro" segna un rischio alto, il sistema può dire: "Non sono sicuro, chiedi chiarimenti" invece di inventare una risposta pericolosa.
2. Risparmiare energia: Invece di far calcolare all'AI una risposta sbagliata che poi scarteremo, la fermiamo subito.
3. Costruire fiducia: Possiamo usare queste AI in situazioni delicate sapendo che c'è un sistema di sicurezza che controlla la loro "coscienza" in tempo reale.

In sintesi

HALP è come un detective interno che lavora nell'ufficio dell'AI. Non aspetta che l'AI scriva il rapporto finale per scoprire se sta mentendo; lo scopre mentre sta ancora scrivendo le bozze, basandosi su come "si sente" la sua mente interna. È un passo enorme verso un'intelligenza artificiale più sicura, onesta e affidabile, capace di dire "Non lo so" invece di inventarsi una storia.

Sommario tecnico

1. Il Problema: Allucinazioni nei Modelli Vision-Language (VLM)

I modelli Vision-Language (VLM) moderni, come Llama-3.2-Vision, Gemma-3 e Qwen2.5-VL, hanno raggiunto livelli eccezionali nella generazione di testo coerente basato su input visivi. Tuttavia, soffrono di un problema persistente: le allucinazioni. Questi modelli tendono a descrivere oggetti inesistenti, inventare attributi o affermare fatti non supportati dall'immagine.

Le attuali strategie di mitigazione e rilevamento sono prevalentemente reattive:

• Valutazione Post-hoc: Metodi come CHAIR, POPE e FaithScore richiedono la generazione completa del testo per identificare le allucinazioni, rendendo il processo costoso e inadatto a scenari in tempo reale.
• Interventi durante la generazione: Tecniche come HALC o Uncertainty-Guided Dropout operano durante il processo di decodifica autoregressiva, ma non possono prevedere il rischio di allucinazione prima che la generazione inizi.

Esiste quindi un vuoto critico: la mancanza di metodi capaci di sfruttare le rappresentazioni interne del modello per prevedere il rischio di allucinazione in modo proattivo, senza generare nemmeno un singolo token.

2. Metodologia: HALP (HALlucination Prediction via Pre-Generation Probing)

Gli autori introducono HALP, un framework leggero che prevede il rischio di allucinazione analizzando gli stati interni del VLM durante un singolo passaggio in avanti (forward pass), prima che venga generato qualsiasi token di testo.

Estrazione delle Rappresentazioni

HALP intercetta e analizza tre tipi di rappresentazioni interne critiche:

1. Visual Features (VF): Le caratteristiche visive globali (media pooling) estratte direttamente dal vision encoder prima della proiezione multimodale. Rappresentano la pura percezione visiva.
2. Vision Token Representations (VT): Gli stati nascosti del decoder (LLM) corrispondenti all'ultima posizione dei token visivi. Catturano come l'informazione visiva viene integrata nel contesto testuale.
3. Query Token Representations (QT): Gli stati nascosti del decoder corrispondenti all'ultima posizione del token della query (testo). Queste rappresentano l'informazione multimodale completamente contestualizzata, immediatamente prima dell'inizio della generazione del testo.

Probing e Addestramento

• Su ciascuna di queste rappresentazioni (estrate a diversi livelli del decoder: $1, L/4, L/2, 3L/4, L$), viene addestrato un probe leggero (un MLP a 3 strati).
• Il probe è un classificatore binario che stima la probabilità che il modello generi un'allucinazione ($s_j \in [0, 1]$).
• Dataset: È stato costruito un benchmark di 10.000 esempi tratti da 6 dataset VQA esistenti (AMBER, POPE, MathVista, ecc.), coprendo vari domini (ragionamento spaziale, OCR, conoscenza, ecc.).
• Etichettatura: L'identificazione delle allucinazioni è stata effettuata utilizzando un approccio LLM-as-a-judge (GPT-4) per confrontare la risposta generata con la verità fondamentale (ground truth).

3. Contributi Chiave

1. Previsione Pre-Generativa: Dimostrazione che il rischio di allucinazione è codificato nelle rappresentazioni interne del modello prima che inizi la generazione del testo, permettendo un'intervento tempestivo.
2. Indipendenza dall'Architettura: Analisi su 8 VLM moderni di diverse dimensioni e architetture (da 2.2B a 12B parametri), mostrando che il segnale di allucinazione è accessibile in tutti i modelli, sebbene la fonte ottimale vari.
3. Efficienza Computazionale: Il metodo richiede solo un singolo passaggio in avanti e l'esecuzione di un piccolo classificatore, eliminando il costo della decodifica autoregressiva per la fase di rilevamento.
4. Mappatura dei Segnali: Identificazione che i segnali più informativi non sono universali: variano in base all'architettura del modello (es. alcuni modelli sono più "vis-centric", altri "fusion-centric").

4. Risultati Sperimentali

I risultati sono misurati tramite AUROC (Area Under the Receiver Operating Characteristic curve), dove valori più alti indicano una migliore capacità di discriminazione.

• Dominanza dei Query Token (QT): Per la maggior parte dei modelli (7 su 8), le rappresentazioni dei token della query negli strati profondi del decoder offrono le prestazioni migliori.
  • Esempi di picco: Gemma-3-12B, Phi-4-VL e Molmo-7B raggiungono un AUROC di ~0.93 utilizzando gli stati finali dei token query.
  • Questo suggerisce che il ragionamento multimodale raffina i segnali di allucinazione man mano che si avvicina alla generazione finale.
• Variabilità Architettonica:
  • Modelli come Qwen2.5-VL-7B e Llama-3.2-11B-Vision mostrano prestazioni robuste anche utilizzando solo le Visual Features (VF) (AUROC ~0.79 e ~0.77 rispettivamente), indicando che il loro encoder visivo codifica già segnali di incertezza significativi.
  • FastVLM-7B si comporta diversamente: i suoi token visivi (VT) negli strati intermedi sono più predittivi dei token query, suggerendo un'architettura che preserva i segnali visivi in modo diverso.
• Analisi per Tipo di Errore: I probe basati sui token query superano costantemente quelli basati solo sulla visione, specialmente per errori di attributo (+0.237 AUROC) e relazioni (+0.149 AUROC).
• Efficienza: L'overhead computazionale per l'inferenza del probe è trascurabile (<1% rispetto alla generazione completa), con tempi di inferenza di 10-15ms su GPU RTX 4090.

5. Significato e Implicazioni Pratiche

Il lavoro di HALP ha implicazioni significative per la sicurezza e l'efficienza dei sistemi VLM:

• Rifiuto Anticipato (Early Refusal): I punteggi di HALP possono essere utilizzati come segnale di controllo per rifiutare o differire la risposta a input ad alto rischio di allucinazione prima di generare qualsiasi testo, migliorando l'affidabilità.
• Routing Selettivo: In sistemi gerarchici, gli input ad alto rischio possono essere instradati a modelli più potenti o a pipeline assistite da strumenti, mentre quelli a basso rischio vengono gestiti da modelli base, ottimizzando l'uso delle risorse.
• Monitoraggio in Tempo Reale: A differenza dei metodi post-hoc, HALP abilita il monitoraggio del rischio in tempo reale, cruciale per applicazioni ad alto rischio come la navigazione autonoma, la diagnostica medica e le tecnologie assistive.
• Indipendenza dal Modello: Il metodo non richiede modifiche all'architettura del VLM sottostante, rendendolo un approccio pratico e "plug-and-play" per migliorare la sicurezza.

In conclusione, HALP dimostra che le allucinazioni non sono un fenomeno che emerge solo alla fine della generazione, ma sono prevedibili analizzando le rappresentazioni interne del modello, offrendo una soluzione leggera ed efficace per mitigare uno dei principali ostacoli all'adozione affidabile dei VLM.