💻 computer science

VIHD: Visual Intervention-based Hallucination Detection for Medical Visual Question Answering

Der Artikel stellt VIHD vor, eine neuartige Methode zur Halluzinationserkennung für medizinisches Visual Question Answering, die bestehende Ansätze verbessert, indem sie visuell dominante Decoder-Schichten identifiziert und gezieltes Maskieren visueller Token anwendet, um die semantische Entropie zu kalibrieren und dadurch Halluzinationen ohne visuelle Evidenz wirksamer zu erkennen.

Ursprüngliche Autoren: Jiayi Chen, Benteng Ma, Zehui Liao, Winston Chong, Yasmeen George, Jianfei Cai

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiayi Chen, Benteng Ma, Zehui Liao, Winston Chong, Yasmeen George, Jianfei Cai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen hochintelligenten medizinischen KI-Assistenten vor, der ein Röntgenbild oder einen MRT-Scan betrachten und Ihre Fragen dazu beantworten kann, wie etwa „Was ist die Masse in diesem Bild?" oder „Liegt ein Bruch vor?". Dies ist ein Multimodales Großes Sprachmodell (MLLM). Obwohl diese Modelle unglaublich intelligent sind, haben sie eine gefährliche Angewohnheit: Sie „halluzinieren" manchmal.

Stellen Sie sich eine Halluzination wie einen selbstbewussten Lügner vor. Die KI könnte sagen: „Ich sehe eine Nierenzyste", obwohl das Bild nichts als gesundes Gewebe zeigt. Der Satz klingt grammatikalisch perfekt, ist aber komplett erfunden. In einem Krankenhaus könnte dies dazu führen, dass ein Arzt aufgrund einer Lüge eine falsche Entscheidung trifft.

Die Arbeit stellt ein neues Werkzeug namens VIHD (Visual Intervention-based Hallucination Detection) vor, um diese Lügen aufzudecken, bevor sie Schaden anrichten. Hier ist die Funktionsweise, erklärt mit einfachen Analogien:

Das Problem: Der „Black-Box"-Detektiv

Frühere Methoden versuchten, diese Lügen aufzudecken, indem sie die KI immer wieder dieselbe Frage stellten oder die Frage leicht abänderten (wie etwa „Ist eine Zyste vorhanden?" im Vergleich zu „Ist ein Tumor vorhanden?").

Der Mangel: Dies ist, als würde man einen Zeugen fragen: „Haben Sie das rote Auto gesehen?" und dann „Haben Sie das blaue Auto gesehen?", um zu sehen, ob sie verwirrt werden. Es ist ein gewisses Raten. Es schaut nicht wirklich in das Gehirn der KI hinein, um zu sehen, ob sie tatsächlich das Bild betrachtet oder einfach nur Dinge basierend auf dem, was sie zuvor gehört hat, erfindet.

Die Lösung: VIHD (Die „Scheinwerfer"-Methode)

VIHD ist anders. Anstatt nur Fragen zu stellen, führt es eine „Operation" am Denkprozess der KI durch, um zu sehen, wie stark es sich tatsächlich auf das Bild verlässt. Es funktioniert in drei Schritten:

1. Die „Augen" finden (Visuelle Abhängigkeitsanalyse)

Stellen Sie sich vor, die KI hat ein Gehirn mit vielen Schichten von Neuronen, wie ein mehrstöckiges Gebäude. Wenn sie eine Frage beantwortet, betrachtet sie das Bild in einigen Räumen und ignoriert es in anderen.

Was VIHD tut: Es geht durch das Gebäude und findet die spezifischen Etagen (Decoder-Schichten), in denen die KI tatsächlich das Bild betrachtet. Es ist, als würde man den spezifischen Raum finden, in dem der Detektiv das Foto des Tatorts betrachtet, anstatt den Raum, in dem er nur tagträumt.

2. Der „Blinden"-Test (Visuelle Interventions-Decodierung)

Sobald VIHD den richtigen Raum gefunden hat, führt es ein gezieltes Experiment durch. Es identifiziert die spezifischen Teile des Bildes, auf die sich die KI konzentriert (wie etwa einen bestimmten dunklen Fleck auf einem Röntgenbild), und „blendet" die KI vorübergehend für diese Teile aus.

Die Analogie: Stellen Sie sich vor, Sie beschreiben ein Bild einer Katze. Wenn Sie die Ohren der Katze bedecken und fragen: „Welches Tier ist das?", und Sie trotzdem selbstbewusst „Katze" sagen, ist das in Ordnung. Aber wenn Sie das Gesicht der Katze bedecken und die KI plötzlich anfängt zu raten: „Es ist ein Hund!" oder „Es ist ein Toaster!", ist das eine riesige rote Flagge.
Das Ziel: VIHD maskiert (versteckt) die wichtigsten visuellen Hinweise, die die KI verwendete. Wenn sich die Antwort der KI drastisch ändert oder verwirrt wird, beweist dies, dass die KI tatsächlich das Bild betrachtete. Wenn die KI weiterhin die gleiche selbstbewusste Antwort gibt, obwohl das Bild versteckt ist, bedeutet dies, dass die KI nur aus dem Gedächtnis riet (halluzinierte).

3. Messung der „Verwirrung" (Kalibrierte semantische Entropie)

Schließlich vergleicht VIHD die ursprüngliche Antwort der KI mit der Antwort, die sie gab, während sie „blind" war.

Die Metrik: Es berechnet etwas, das „Kalibrierte semantische Entropie" genannt wird. Stellen Sie sich dies als einen Verwirrungs-Score vor.
- Niedrige Verwirrung: Die KI gibt dieselbe Antwort, egal ob das Bild vorhanden ist oder versteckt. Dies ist für die Erkennung eigentlich gut, da es bedeutet, dass die KI konsistent ist, aber wenn die Antwort von Anfang an falsch war, markiert das System dies.
- Hohe Verwirrung: Die Antwort der KI schwankt stark, wenn das Bild versteckt ist. Diese hohe „Schwankung" oder „Dispersion" ist das Signal, dass die KI sich auf wackelige visuelle Beweise verließ. VIHD verwendet diesen hohen Score, um zu sagen: „Warnung: Diese Antwort ist wahrscheinlich eine Halluzination."

Warum es besser ist

Die Arbeit testete dies an drei verschiedenen medizinischen Datensätzen (die CT-Scans, MRTs und Röntgenbilder abdecken) und zwei verschiedenen KI-Modellen.

Das Ergebnis: VIHD war viel besser darin, Lügen aufzudecken als frühere Methoden. Es musste nicht mit neuen Daten nachtrainiert werden (es ist „training-free") und es musste keine zweite KI hinzugezogen werden, um die Arbeit zu überprüfen.
Die Analogie: Frühere Methoden waren wie ein Sicherheitsbeamter, der den Ausweis eines Besuchers überprüft. VIHD ist wie ein Lügendetektortest, der prüft, ob der Herzschlag des Besuchers in die Höhe schnellt, wenn er die Beweise betrachtet.

Zusammenfassung

Kurz gesagt ist VIHD ein Werkzeug, das medizinische KI-Halluzinationen aufdeckt, indem es vorübergehend die wichtigsten Teile eines Bildes versteckt und prüft, ob die Antwort der KI zusammenbricht. Wenn die KI das Bild wirklich betrachtete, wird das Verstecken von Teilen davon ihre Meinung ändern. Wenn die KI nur Dinge erfand, wird sie den Unterschied nicht bemerken, und VIHD wird sie als potenziellen Fehler markieren. Dies stellt sicher, dass, wenn eine KI medizinische Ratschläge gibt, sie tatsächlich den Scan des Patienten betrachtet und nicht nur rät.

Technischer Überblick: VIHD – Visionsbasierte Halluzinationserkennung

Problemstellung

Medizinische multimodale Large Language Models (MLLMs) haben ein erhebliches Potenzial zur Unterstützung klinischer Diagnosen durch Visual Question Answering (VQA) und automatische Berichtsgenerierung gezeigt. Eine kritische Einschränkung bleibt jedoch bestehen: Diese Modelle erzeugen häufig halluzinierte Antworten – Ausgaben, die sprachlich kohärent sind, aber den bereitgestellten visuellen Beweisen widersprechen. Solche Fehler bergen erhebliche Risiken für klinische Entscheidungsprozesse.

Bestehende Methoden zur Halluzinationserkennung lassen sich im Allgemeinen in drei Kategorien einteilen:

Überwachte Erkennung: Erfordert aufwendig annotierte Datensätze und hat Schwierigkeiten, sich auf neue Domänen oder Architekturen zu verallgemeinern.
Externe Verifikation: Verlässt sich auf Hilfsmodelle oder Wissensdatenbanken, was zu erheblichem Rechenaufwand und Abhängigkeit von externen Werkzeugen führt.
Introspektive Erkennung: Selbstständige Methoden, die Unsicherheit oder logische Konsistenz ohne zusätzliches Training schätzen. Obwohl effizient, verlassen sich aktuelle introspektive Ansätze oft auf heuristische und kontextunabhängige externe Störungen. Sie behandeln MLLMs als Blackboxen und untersuchen nicht die internen kausalen Abhängigkeiten zwischen generierten Tokens und spezifischen visuellen Beweisen während des Dekodierungsprozesses.

Methodik: VIHD-Rahmenwerk

Die Autoren schlagen VIHD (Visual Intervention-based Hallucination Detection) vor, ein trainingsfreies Rahmenwerk, das die Genauigkeit der cross-modalen Schlussfolgerung durch gezielte, feinabgestufte visuelle Interventionen untersucht. Die Methode arbeitet in drei distincten Stufen:

1. Visuelle Abhängigkeitsanalyse (Visual Dependency Probing, VDP)

Um zu identifizieren, wo das Modell am stärksten auf visuelle Beweise angewiesen ist, analysiert VIHD die Aufmerksamkeitsmechanismen innerhalb des LLM-Decoders.

Mechanismus: Es werden die Aufmerksamkeitsgewichte zwischen generierten Tokens und Eingabe-Visuellen-Tokens über alle Decoder-Schichten und Aufmerksamkeitsköpfe hinweg berechnet.
Lokalisierung: Diese Gewichte werden aggregiert, um die schichtspezifische visuelle Abhängigkeit ( $s^{(l)}$ ) zu quantifizieren. Die Methode identifiziert anschließend ein zusammenhängendes Fenster von $w$ Schichten $[l^*, l^*+w-1]$ , das die stärkste kumulative visuelle Abhängigkeit aufweist. Dies stellt sicher, dass Interventionen dort angewendet werden, wo die cross-modale Aufmerksamkeit am ausgeprägtesten ist.

2. Visuelle Interventionsdekodierung (Visual Intervention Decoding, VID)

Sobald die visuell dominanten Schichten identifiziert sind, führt VIHD eine gezielte Intervention durch, um zu beobachten, wie sich die Ausgabe des Modells ändert, wenn spezifische visuelle Beweise unterdrückt werden.

Mechanismus: Während des Dekodierungsprozesses innerhalb des identifizierten Fensters maskiert der Algorithmus den Top- $\rho$ -Anteil der visuellen Tokens, die im Verhältnis zum aktuellen generierten Token die höchsten Aufmerksamkeitsgewichte aufweisen.
Ergebnis: Dies erzeugt eine „intervenierte Antwort" ( $r'$ ), die auf einer gestörten visuellen Darstellung basiert. Durch den Vergleich der ursprünglichen Antwort ( $r$ ) mit der intervenierten Antwort ( $r'$ ) offenbart die Methode die Abhängigkeit des Modells von spezifischen visuellen Tokens.

3. Kalibrierte Semantische Entropie (Calibrated Semantic Entropy, CSE)

Um die Schwere von Halluzinationen zu quantifizieren, berechnet VIHD eine Metrik basierend auf der semantischen Verteilung der Antworten.

Sampling: Das Modell führt $M$ unabhängige Sampling-Läufe durch, um zwei Antwortmengen zu generieren: normale Antworten $\{r^{(i)}\}$ und visuell intervenierte Antworten $\{r'^{(i)}\}$ .
Clustering: Diese Antworten werden unter Verwendung eines vortrainierten Modells (DeBERTa-Large-MNLI) in semantische Äquivalenzklassen gruppiert, wodurch eine normale semantische Verteilung $P(s)$ und eine intervenierte Verteilung $P(s')$ entstehen.
Adaptive Fusion: Unter Berücksichtigung, dass die Auswirkungen von Interventionen je nach Granularität der Abfrage variieren, setzt VIHD eine adaptive Fusionsstrategie ein:
- Wenn die Verteilungen eng übereinstimmen (Kosinussimilarität $\ge \tau$ ), wird eine komplementäre Fusion verwendet, um gemeinsame Semantiken zu verstärken.
- Wenn sie divergieren, wird eine kontrastive Fusion verwendet, um maskierungsinduzierte Halluzinationen zu unterdrücken.
Metrik: Die finale Kalibrierte Semantische Entropie (CSE) wird aus dieser fusionierten Verteilung berechnet. Eine höhere CSE deutet auf eine signifikante semantische Streuung zwischen den ursprünglichen und den intervenierten Ausgaben hin und dient als robuster Indikator für Halluzinationen.

Hauptbeiträge

VIHD-Rahmenwerk: Einführung einer trainingsfreien Methode, die feinabgestufte visuelle Interventionen nutzt, um interne kausale Abhängigkeiten zu untersuchen und sich über blackbox-heuristische Störungen hinaus bewegt.
Adaptiver Ablauf: Entwicklung eines dreistufigen Ablaufs bestehend aus Visuelle Abhängigkeitsanalyse (zur Lokalisierung kritischer Schichten), Visuelle Interventionsdekodierung (zum Maskieren von Tokens mit hoher Aufmerksamkeit) und Kalibrierte Semantische Entropie (zur Quantifizierung der Schwere durch adaptive Verteilungsfusion).
Empirische Überlegenheit: Umfassende Validierung, die zeigt, dass VIHD konsistent fortschrittliche introspektive Methoden über diverse medizinische VQA-Benchmarks und Modellarchitekturen hinweg übertrifft.

Experimentelle Ergebnisse

Die Autoren evaluierten VIHD an drei medizinischen VQA-Benchmarks (VQA-RAD, SLAKE und VQA-Med-2019) unter Verwendung zweier medizinischer MLLMs (Hulu-4B und Lingshu-7B). Halluzinations-Labels wurden mit dem GREEN-Modell generiert, und die Leistung wurde mittels AUC (Area Under the ROC Curve) und AUG (Area under the GREEN Curve) gemessen.

Leistungssteigerungen: VIHD übertraf konsistent sieben konkurrierende Methoden (einschließlich Token-Unsicherheit, konsistenzbasierte und semantische Unsicherheits-Baselines).
- Auf Hulu-4B verbesserte VIHD die durchschnittliche AUC um 8,57 % über alle Fragen hinweg und erzielte eine erhebliche AUC-Steigerung von 12 % auf dem VQA-RAD-Datensatz.
- Auf Lingshu-7B behielt es einen Vorteil mit einer durchschnittlichen AUC-Verbesserung von 3,22 % insgesamt.
Effizienz: Die Inferenzzeit für VIHD betrug ungefähr 11,59 Sekunden pro Stichprobe, vergleichbar mit der führenden Baseline VASE (11,55 s/Stichprobe), was darauf hindeutet, dass Leistungssteigerungen ohne zusätzliche Rechenkosten erreicht wurden.
Ablationsstudien:
- Das Entfernen einer beliebigen Komponente (VDP, VID oder CSE) führte zu einer Leistungsverschlechterung und validierte die Notwendigkeit des gesamten Ablaufs.
- Maskierung mit hoher Aufmerksamkeit erwies sich als überlegen gegenüber zufälliger oder maskierung mit niedriger Aufmerksamkeit, was bestätigt, dass die gezielte Behandlung auffälliger visueller Tokens für eine effektive Kalibrierung entscheidend ist.
- Eine gleitende Fensterbreite von $w = L/2$ und ein Maskierungsverhältnis von $\rho = 10\%$ wurden als optimale Hyperparameter identifiziert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass VIHD die Bedeutung feinabgestufter visueller Abhängigkeiten für die Halluzinationserkennung unterstreicht. Durch den Wechsel von externen, heuristischen Störungen zu internen, gezielten Interventionen basierend auf den eigenen Aufmerksamkeitsmechanismen des Modells bietet VIHD ein zuverlässigeres Signal zur Erkennung von Halluzinationen.

Die Autoren positionieren VIHD als einsatzfreundliche, trainingsfreie Lösung, die keine annotierten Halluzinationsdatensätze oder externen Verifikationswerkzeuge erfordert. Die konsistenten Verbesserungen über verschiedene Modellkapazitäten und Datensatzmerkmale hinweg deuten darauf hin, dass die Methode das Kernproblem von MLLMs effektiv angeht, linguistisch plausible, aber visuell nicht gestützte medizinische Behauptungen zu generieren. Der Code wurde zur Verfügung gestellt, um weitere Forschung in diesem Bereich zu erleichtern.