Riepilogo Tecnico: VIHD - Rilevamento delle Allucinazioni Basato su Interventi Visivi

Enunciato del Problema

I Modelli Linguistici Multimodali su Larga Scala (MLLM) in ambito medico hanno dimostrato un potenziale significativo nell'assistere la diagnosi clinica attraverso la Risposta a Domande Visive (VQA) e la generazione automatizzata di referti. Tuttavia, persiste una limitazione critica: questi modelli generano frequentemente risposte allucinate—output linguisticamente coerenti ma in contraddizione con le evidenze visive fornite. Tali errori comportano rischi sostanziali per il processo decisionale clinico.

I metodi esistenti per il rilevamento delle allucinazioni rientrano generalmente in tre categorie:

1. Rilevamento Supervisionato: Richiede dataset annotati ad alta intensità di lavoro e fatica a generalizzare verso nuovi domini o architetture.
2. Verifica Esterna: Si basa su modelli ausiliari o banche di conoscenza, introducendo un significativo sovraccarico computazionale e dipendenza da strumenti esterni.
3. Rilevamento Introspezione: Metodi autocontenuti che stimano l'incertezza o la coerenza logica senza ulteriore addestramento. Sebbene efficienti, gli approcci introspezione attuali spesso si affidano a perturbazioni esterne euristico e non contestuali. Trattano gli MLLM come scatole nere, fallendo nel sondare le dipendenze causali interne tra i token generati e le specifiche evidenze visive durante il processo di decodifica.

Metodologia: Framework VIHD

Gli autori propongono VIHD (Rilevamento delle Allucinazioni Basato su Interventi Visivi), un framework senza addestramento progettato per sondare la fedeltà del ragionamento cross-modale attraverso interventi visivi mirati e a grana fine. Il metodo opera in tre fasi distinte:

1. Sonda delle Dipendenze Visive (VDP)

Per identificare dove il modello si affida maggiormente alle evidenze visive, VIHD analizza i meccanismi di attenzione all'interno del decoder LLM.

• Meccanismo: Calcola i pesi di attenzione tra i token generati e i token visivi di input attraverso tutti i livelli del decoder e le teste di attenzione.
• Localizzazione: Aggrega questi pesi per quantificare la dipendenza visiva a livello di strato ($s^{(l)}$). Il metodo identifica quindi una finestra contigua di $w$ strati $[l^*, l^*+w-1]$ che esibisce la dipendenza visiva cumulativa più forte. Ciò garantisce che gli interventi vengano applicati dove l'attenzione cross-modale è più prominente.

2. Decodifica con Intervento Visivo (VID)

Una volta identificati gli strati dominanti visivamente, VIHD esegue un intervento mirato per osservare come cambia l'output del modello quando specifiche evidenze visive vengono soppresse.

• Meccanismo: Durante il processo di decodifica all'interno della finestra identificata, l'algoritmo maschera la frazione top-$\rho$ dei token visivi che hanno i pesi di attenzione più alti rispetto al token generato corrente.
• Risultato: Ciò produce una "risposta intervenuta" ($r'$) condizionata a una rappresentazione visiva perturbata. Confrontando la risposta originale ($r$) con la risposta intervenuta ($r'$), il metodo rivela la dipendenza del modello da specifici token visivi.

3. Entropia Semantica Calibrata (CSE)

Per quantificare la gravità dell'allucinazione, VIHD calcola una metrica basata sulla distribuzione semantica delle risposte.

• Campionamento: Il modello esegue $M$ run di campionamento indipendenti per generare due insiemi di risposte: risposte normali $\{r^{(i)}\}$ e risposte con intervento visivo $\{r'^{(i)}\}$.
• Clustering: Queste risposte vengono raggruppate in classi di equivalenza semantica utilizzando un modello pre-addestrato (DeBERTa-Large-MNLI), producendo una distribuzione semantica normale $P(s)$ e una distribuzione intervenuta $P(s')$.
• Fusione Adattiva: Riconoscendo che l'impatto dell'intervento varia in base alla granularità della query, VIHD impiega una strategia di fusione adattiva:
  • Se le distribuzioni sono allineate strettamente (similarità del coseno $\ge \tau$), utilizza la fusione complementare per rafforzare le semantiche condivise.
  • Se divergono, utilizza la fusione contrastiva per sopprimere le allucinazioni indotte dal mascheramento.
• Metrica: La Entropia Semantica Calibrata (CSE) finale viene calcolata da questa distribuzione fusa. Una CSE più alta indica una dispersione semantica significativa tra gli output originali e quelli intervenuti, fungendo da segnale robusto per l'allucinazione.

Contributi Chiave

1. Framework VIHD: Introduzione di un metodo senza addestramento che utilizza interventi visivi a grana fine per sondare le dipendenze causali interne, superando le perturbazioni euristico di scatola nera.
2. Pipeline Adattiva: Progettazione di una pipeline a tre fasi composta da Sonda delle Dipendenze Visive (per localizzare gli strati critici), Decodifica con Intervento Visivo (per mascherare i token ad alta attenzione) ed Entropia Semantica Calibrata (per quantificare la gravità tramite fusione adattiva delle distribuzioni).
3. Superiorità Empirica: Validazione estesa che dimostra come VIHD superi costantemente i metodi introspezione all'avanguardia su diversi benchmark VQA medici e architetture di modelli.

Risultati Sperimentali

Gli autori hanno valutato VIHD su tre benchmark VQA medici (VQA-RAD, SLAKE e VQA-Med-2019) utilizzando due MLLM medici (Hulu-4B e Lingshu-7B). Le etichette di allucinazione sono state generate utilizzando il modello GREEN, e le prestazioni sono state misurate tramite AUC (Area Under the ROC Curve) e AUG (Area under the GREEN Curve).

• Miglioramenti delle Prestazioni: VIHD ha superato costantemente sette metodi concorrenti (inclusi baseline di incertezza dei token, basati sulla coerenza e incertezza semantica).
  • Su Hulu-4B, VIHD ha migliorato l'AUC medio dell'8,57% su tutte le domande e ha raggiunto un sostanziale aumento dell'AUC del 12% sul dataset VQA-RAD.
  • Su Lingshu-7B, ha mantenuto un vantaggio con un miglioramento medio dell'AUC del 3,22% complessivamente.
• Efficienza: Il tempo di inferenza per VIHD è stato di circa 11,59 secondi per campione, comparabile al baseline leader VASE (11,55s/campione), indicando che i guadagni di prestazioni sono stati ottenuti senza costi computazionali aggiuntivi.
• Studi di Ablazione:
  • La rimozione di qualsiasi componente (VDP, VID o CSE) ha portato a un degrado delle prestazioni, validando la necessità dell'intera pipeline.
  • Il mascheramento ad alta attenzione è risultato superiore al mascheramento casuale o a bassa attenzione, confermando che prendere di mira i token visivi salienti è cruciale per una calibrazione efficace.
  • Una larghezza della finestra scorrevole di $w = L/2$ e un rapporto di mascheramento di $\rho = 10\%$ sono stati identificati come iperparametri ottimali.

Significato e Affermazioni

Il documento afferma che VIHD sottolinea l'importanza della dipendenza visiva a grana fine per il rilevamento delle allucinazioni. Spostandosi da perturbazioni esterne ed euristico a interventi interni e mirati basati sui meccanismi di attenzione del modello stesso, VIHD fornisce un segnale più affidabile per rilevare quando un modello sta allucinando.

Gli autori posizionano VIHD come una soluzione pronta per il deployment, senza addestramento che non richiede dataset annotati di allucinazioni o strumenti di verifica esterni. I miglioramenti coerenti attraverso diverse capacità di modello e caratteristiche dei dataset suggeriscono che il metodo affronta efficacemente il problema centrale degli MLLM che generano affermazioni mediche linguisticamente plausibili ma non supportate visivamente. Il codice è reso disponibile per facilitare ulteriori ricerche in questo dominio.