Technisches Resümee: Hearsay: Visuelle-sprachliche medizinische Diagnosen ohne Bild

Problemstellung

Diese Arbeit untersucht einen kritischen Fehlermodus in klinischen Pipelines bei Frontier-Vision-Language-Modellen (VLMs): den „Mirage-Effekt“ (Täuschungseffekt). Dieses Phänomen tritt auf, wenn ein VLM visuelle Beschreibungen und medizinische Diagnosen generiert, obwohl kein zugehöriges Bild vorhanden ist. Während vorangegangene Arbeiten (Asadi et al. [1]) etablierten, dass VLMs in diesen Situationen oft nicht in der Lage sind, eine Verweigerung anzuzeigen, adressiert diese Studie eine Lücke im Verständnis der Struktur dieser Halluzinationen. Konkret stellt die Arbeit die Frage, ob die fabrizierten Diagnosen zufällig sind oder systematisch durch die im Prompt bereitgestellten demografischen Deskriptoren (z. B. Alter, Geschlecht, ethnische Zugehörigkeit) beeinflusst werden, wenn kein Bild vorhanden ist. Die Autoren postulieren, dass klinische Pipelines auf Szenarien stoßen können, in denen Bilder nicht abgerufen werden können oder Agenten lediglich Patientendeskriptoren übergeben, was ein Hochrisiko-Umfeld für demografische Verzerrungen in den fabrizierten Outputs schafft.

Methodik

Die Studie verwendet ein kontrolliertes experimentelles Design über drei Frontier-VLMs: Claude Opus 4.7, GPT-5.4 und Gemini 3.1 Pro.

• Prompt-Design: Die Autoren nutzen ein modifiziertes Mirage-Mode-Prompt-Template, das von Asadi et-al. [1] abgeleitet ist. Der Prompt enthält eine demografische Einleitung in der Ich-Perspektive (z. B. „Ich bin ein {Alter}-jähriger {ethnische Zugehörigkeit} {Geschlecht}“) gefolgt von einer Aufforderung, ein Bild zu beschreiben und eine Diagnose zu stellen. Die getesteten Modalitäten sind Thorax-Röntgenaufnahmen (Chest X-ray), Hirn-MRT und Dermatologie (speziell „Hautmal“).
• Experimentelle Bedingungen: Es wurde ein $2 \times 2 \times 3$ faktorielles Design verwendet, wobei Alter (32, 65), Geschlecht (Mann, Frau) und ethnische Zugehörigkeit (weiß, Schwarz, braun) variiert wurden, was zu 12 demografischen Zellen plus einer neutralen Baseline (D0) ohne demografischen Text führte.
• Output-Schema: Die Antworten wurden in ein striktes JSON-Schema gezwungen, das Felder für Bildpräsenz, diagnostische Fähigkeit, Primärdiagnose, Differenzialdiagnosen, Konfidenz und Begründung enthält. Dies ermöglichte die Trennung von „Prosa“ (Begründung) und „strukturierten“ (Diagnosefeld) Outputs.
• Metriken: Die primäre Metrik ist die Jensen-Shannon-Divergenz (JSD) zwischen der Verteilung der Diagnosen in den demografischen Zellen gegenüber der neutralen Baseline. Sekundäre Analysen umfassten die Erkennung des „Hedged Mirage“ (wo die Prosa das Fehlen von Bildern anerkennt, aber das strukturierte Feld ausgefüllt ist) sowie die Robustheit gegenüber Probe-Nomen (Ersetzen von „Hautmal“ durch „Hautläsion“).
• Skalierung: Das Primärexperiment (E1) umfasste 11.700 API-Aufrufe ($3 \text{ Modelle} \times 3 \text{ Domänen} \times 13 \text{ Bedingungen} \times 100 \text{ Seeds}$).

Zentrale Beiträge

Das Paper präsentiert vier primäre Beiträge:

1. Strukturierte demografische Verzerrung: Belege dafür, dass Mirage-Mode-Outputs nicht zufällig sind, sondern systematisch durch demografischen Text strukturiert werden. Die pro-Zelle JSDs erreichten bis zu 0,83, wobei die Top-Diagnosen mit dokumentierten klinischen Bias-Mustern übereinstimmten (z. B. Sarkoidose bei schwarzen Patienten, Melanom bei älteren weißen Männern).
2. Das „Hedged Mirage“-Regime: Die Identifizierung einer Dissoziation, bei der die Prosa des Modells das fehlende Bild anerkennt (was auf eine Verweigerung hindeutet), während das strukturierte Diagnosefeld dennoch mit einer spezifischen Krankheit gefüllt wird. Dieser „Hedged“-Zustand macht 66 % der Fabrikationen von Claude in High-JSD-Zellen aus und bleibt für reine Prosa-Audits unsichtbar.
3. Diverse Fehlermodi: Eine Analyse der Robustheit gegenüber Probe-Nomen zeigt, dass Mirage ein Familienzug von unterschiedlichen Fehlermodi ist. Claudes Dermatologie-Effekt war wort-getriggert (das Ersetzen von „Hautmal“ durch „Hautläsion“ führte zu einem Rückgang der Melanom-Diagnosen von 94 % auf 100 % Verweigerung), während der Effekt von GPT-5.4 kategorie-erhaltend war (die Diagnosen blieben trotz des Nomen-Tauschs stabil).
4. Dual-Channel-Messung: Eine Pipeline, die native JSON-Schemas neben der Prosa-Analyse extrahiert, wodurch das „Hedged-Regime“ direkt beobachtbar und quantifizierbar wird.

Ergebnisse

• Demografische Strukturierung: Alle drei Modelle zeigten demografische Verzerrungen, jedoch mit unterschiedlichen Ausmaßen.
  • GPT-5.4 fabrikierte Diagnosen in 36/36 faktoriellen Zellen. Seine Verzerrung war breit gefächert, mit einer starken Verschiebung hin zu Sarkoidose bei jungen schwarzen Patienten bei Thorax-Röntgenaufnahmen und spezifischen Verschiebungen der Diagnosen bei MRT basierend auf Alter und Geschlecht (z. B. Meningiom für ältere Frauen, Gliom für ältere Männer).
  • Claude Opus 4.7 zeigte einen „Refusal-to-Fabrication“-Übergang (Verweigerung-zu-Fabrikation). Es verweigerte die meisten neutralen Prompts, fabrikierte jedoch stark in spezifischen Zellen (z. B. 94 % Melanom für einen 65-jährigen weißen Mann mit einem „Hautmal“). Die JSD wurde fast vollständig durch diesen Übergang von Verweigerung zu Fabrikation getrieben.
  • Gemini 3.1 Pro zeigte die geringsten Ausmaße (medianer JSD 0,010), wobei die meisten Zellen 0 % Fabrikation aufwiesen.
• Das „Hedged“-Regime: Im „Hedged“-Zustand schrieben die Modelle Begründungen wie „vermutet, basierend auf Demografie und klassischem Muster“, während sie dennoch das strukturierte Diagnosefeld befüllten. Ein reines Prosa-Audit würde diese als Verweigerungen oder „sicher“ einstufen, während eine strukturierte Daten-Pipeline eine verzerrte Diagnose erhalten würde.
• Robustheit: Der Austausch von „Hautmal“ gegen „Hautläsion“ demonstrierte, dass Claudes Bias fragil war und von spezifischen Trigger-Wörtern abhing, während der Bias von GPT-5.4 gegenüber Änderungen der Formulierung robust blieb.
• Signal vs. Rauschen: Das demografische Signal (JSD) überstieg das Paraphrasierungs-Rauschniveau (Verhältnisse von 10,5x bis 13,9x) signifikant, was bestätigt, dass die Verzerrung durch demografische Deskriptoren und nicht durch oberflächliche Variationen der Formulierung getrieben wird.

Bedeutung und Behauptungen

Das Paper argumentiert, dass ein vertrauenswürdiger Einsatz von VLMs in klinischen Settings einen grundlegenden Wandel in der Auditierungspraxis erfordert.

• Audit-Limitierungen: Das Vertrauen auf rein natürliche Sprache (Prosa)-Audits ist unzureichend, da es das „Hedged-Regime“ übersieht, in dem strukturierte Felder trotz textlicher Einschränkungen gefüllt werden.
• Evaluationsdimensionen: Die Sensitivität gegenüber Probe-Wörtern muss als eine „First-Class-Evaluationsdimension“ behandelt werden. Modelle können bei Tests mit einem einzelnen Probe-Wort robust erscheinen, während sie bei leichten Variationen katastrophal versagen (wie bei Claude gesehen), oder umgekehrt.
• Art des Fehlers: Die Autoren unterscheiden zwischen zwei Fehlern: (1) Epistemische Fehlkalibrierung (Abgabe einer Diagnose ohne Evidenz) und (2) Demografische Verschiebung (die spezifische emittierte Diagnose basierend auf Demografie). Während das Paper nicht explizit trennt, ob diese Verschiebungen aus Pretraining-Bias oder kalibrierten Prävalenz-Priors (z. B. höhere Melanom-Inzidenz bei älteren weißen Männern) resultieren, behauptet es, dass die Dissoziation zwischen Prosa und strukturiertem Output ein kritischer Fehlermodus ist, unabhängig vom Ursprung des Priors.

Die Studie kommt zu dem Schluss, dass die Milderung dieser Risiken Schema-Ebene-Beschränkungen (z. B. Erzwingen von Null-Diagnosen, wenn image_present=false), Inference-Time-Probing und ein Fine-Tuning zur Verweigerung bei fehlenden Bildern erfordert. Die Ergebnisse legen nahe, dass Mirage kein monolithisches Phänomen ist, sondern eine Familie von Fehlermodi, die unterschiedliche Minderungsstrategien erfordern.