Detect Before You Leap: Mirage Detection in Vision-Language Models

Sintesi Tecnica: Detect Before You Leap: Rilevamento del Mirage nei Modelli Vision-Language

Formulazione del Problema
I modelli Vision–Language (VLM) mostrano frequentemente una modalità di fallimento denominata "mirage reasoning" (ragionamento illusorio), in cui generano risposte visive sicure e fluide nonostante l'assenza di prove visive rilevanti, la presenza di immagini vuote o la fornitura di immagini reali non correlate. Questo è particolarmente pericoloso in domini ad alto rischio come il VQA (Visual Question Answering) medico e documentale, dove una risposta plausibile ma priva di fondamento può essere scambiata per una prova fattuale.

Il lavoro inquadra questo fenomeno come un problema di rilevamento del mirage in tempo di esecuzione (runtime). A differenza del rilevamento delle allucinazioni post-generazione, che valuta la veridicità di una risposta completata, questo lavoro propone un sistema di decisione pre-rilascio. Dato un'immagine $x$ e una domanda $q$, il sistema deve predire una di tre etichette prima che il VLM generi una risposta:

1. RELATED (Correlato): L'immagine contiene prove rilevanti rispetto alla domanda; al VLM è consentito rispondere.
2. UNRELATED-REAL (Non correlato - Reale): L'immagine è una fotografia valida ma semanticamente non corrispondente alla domanda.
3. BLANK/NOISE (Vuoto/Rumore): L'input è un'immagine vuota o rumorosa.

Se la coppia non viene classificata come RELATED, il sistema si astiene emettendo un messaggio di rifiuto (ad esempio, "Non posso rispondere sulla base dell'immagine fornita").

Metodologia: TC-LIA e Framework di Ensemble
La soluzione proposta è una pipeline a cinque stadi, indipendente dal modello, che fonde statistiche d'immagine di basso livello, routing di dominio e una nuova analisi delle rappresentazioni intermedie.

1. Rilevamento Blank/Noise: Un gate ad alta richiamo (high-recall) basato su statistiche di pixel (deviazione standard globale, varianza dei patch, piattezza spettrale) per rifiutare immediatamente gli input non informativi.
2. Domain-Adaptive CLIP Routing: Un meccanismo zero-shot che utilizza set di prompt medici e naturali separati per instradare le immagini nello spazio di embedding CLIP appropriato (ad esempio, BioMedCLIP per immagini mediche), migliorando la stima della rilevanza attraverso domini eterogenei.
3. TC-LIA (Text-Conditioned Layer-wise Internal Alignment): Questa è la novità centrale. Invece di fare affidamento esclusivamente sulla similitudine del coseno globale finale di CLIP, TC-LIA sonda le rappresentazioni interne dei token-patch intermedie di un encoder visivo CLIP ViT-H/14 congelato.
   • Per ogni livello $\ell$, i token dei patch vengono proiettati nello spazio di embedding congiunto di CLIP utilizzando la matrice di proiezione visiva fissa.
   • La similitudine del coseno tra questi token-patch proiettati e l'embedding testuale della domanda viene calcolata.
   • Il metodo traccia la traiettoria dell'evidenza rilevante per la domanda attraverso i livelli. Si ipotizza che le coppie correlate mostrino l'emergere di un allineamento patch-testo localizzato e specifico negli strati più profondi, mentre gli input non correlati o vuoti esibiscono curve di allineamento piatte, deboli o instabili.
   • Quattro caratteristiche scalari sono distillate da questa traiettoria:
     • Late (Tardivo): Media della top-$k$ similitudine patch-testo nella seconda metà dei livelli.
     • Gain (Guadagno): La differenza tra l'allineamento degli strati tardivi e di quelli iniziali (per annullare i priori globali invarianti per livello).
     • Slope (Pendenza): Il trend lineare dell'allineamento attraverso tutti i livelli.
     • IAS (Internal Alignment Score): Un composito pesato di coseno finale, late, gain e slope.
4. Valutazione di Auto-Assestamento Strutturato del VLM: Al VLM viene chiesto di fornire un'etichetta di classe strutturata (RELATED/UNRELATED/BLANK) e una risposta candidata. Questa predizione viene codificata come una caratteristica, ma non è l'unica su cui si fa affidamento.
5. Fusione di Ensemble: Tutte le caratteristiche (statistiche dei pixel, probabilità di routing, scalari TC-LIA e codifica della classe del VLM) vengono fuse utilizzando un ensemble di boosting (XGBoost, LightGBM, ecc.) per prendere la decisione finale sulle tre classi.

Contributi Chiave

• Definizione del Problema: Formulazione del rilevamento del mirage come un problema di decisione pre-rilascio per prevenire la generazione di risposte non supportate, distinguendolo dalla diagnosi di allucinazione post-hoc.
• Metodo TC-LIA: Introduzione di un metodo di allineamento livello-per-livello condizionato dal testo che quantifica l'emergere graduale dell'evidenza visiva attraverso gli strati dell'encoder visivo. Esso distilla tale processo in 11 caratteristiche scalari interpretabili, dimostrando che le traiettorie livello-per-livello forniscono segnali discriminanti oltre la semplice similitudine del coseno globale.
• Framework Robusto: Proposta di un sistema multi-stadio che combina controlli a livello di pixel, routing di dominio, TC-LIA e auto-valutazione strutturata del VLM. Questo approccio riduce i tassi di mirage dei prompt base (che variano dal 21,7% al 66,6% tra i vari modelli) al 2,7–3,3%, mantenendo un'alta accuratezza sugli input correlati.

Risultati
Il framework è stato valutato su cinque domini VQA (Chest VQA, PathVQA, TextVQA, DocVQA, InfoVQA) e dodici backbone VLM (da 2,7B a 110B di parametri, inclusi Qwen2.5-VL, LLaVA, InternVL e Gemma).

• Prestazioni: L'ensemble supera significativamente i baseline. Ad esempio, Qwen2.5-VL-32B ha raggiunto la massima accuratezza di rilevamento a tre classi del 94,7% con un tasso di mirage del 3,0%. Qwen2.5-VL-72B ha raggiunto il 94,6% di accuratezza con un tasso di mirage inferiore del 2,8%.
• Efficacia delle Caratteristiche: Gli studi di ablazione confermano che il composito IAS e le caratteristiche livello-per-livello (gain, slope) forniscono segnali complementari alla standard similitudine del coseno di CLIP e all'auto-valutazione del VLM. Rimuovere la caratteristica della classe del VLM ha causato il calo di accuratezza maggiore, indicando la sua forte complementarità rispetto a TC-LIA.
• Qualità della Risposta: Il sistema preserva con successo la qualità delle risposte per gli input correlati (misurata tramite BLEU, ROUGE-L, BERTScore) pur convertendo in modo affidabile gli input non correlati o vuoti in risposte di rifiuto coerenti, migliorando così la sicurezza complessiva del sistema.

Significatività e Rivendicazioni
Il documento sostiene che il deployment multimodale sicuro richiede la verifica della presenza di evidenza visiva rilevante rispetto alla domanda prima della generazione, piuttosto che limitarsi a controllare l'output successivamente. Gli autori affermano che:

• La semplice similitudine globale immagine-testo è insufficiente per rilevare discrepanze semantiche in domini complessi (medicina, documenti).
• Le traiettorie di allineamento intermedio livello-per-livello (TC-LIA) offrono un segnale robusto e indipendente dal modello per rilevare gli input "mirage".
• Un approccio ensemble che fonde segnali di basso livello, semantici e di auto-valutazione è necessario per gestire l'intero spettro degli input (vuoto, non correlato-reale e correlato).

Gli autori dichiarano esplicitamente i limiti: il rilevatore verifica la rilevanza, non la correttezza fattuale; richiede l'accesso ai token intermedi della ViT (favorendo i modelli open); e la proiezione dei token intermedi è un'approssimazione. Il lavoro è posizionato come uno strato di sicurezza pre-rilascio per innescare l'astensione o la revisione umana, non come un sistema di decisione clinica autonomo.