🤖 AI

Auditing Frontier Vision-Language Models for Trustworthy Medical VQA: Grounding Failures, Format Collapse, and Domain Adaptation

Diese Arbeit prüft fünf fortschrittliche Vision-Language-Modelle im Kontext medizinischer VQA und zeigt auf, dass eine unzureichende anatomische Verankerung sowie Formatkonformitätsfehler in Self-Grounding-Pipelines die klinische Vertrauenswürdigkeit erheblich untergraben, während überwachtes Fine-Tuning demonstriert, dass Leistungslücken auf VQA-Ebene durch Domänenadaptation effektiv behoben werden können.

Ursprüngliche Autoren: Xupeng Chen, Binbin Shi, Chenqian Le, Qifu Yin, Lang Lin, Haowei Ni, Ran Gong, Panfeng Li

Veröffentlicht 2026-05-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xupeng Chen, Binbin Shi, Chenqian Le, Qifu Yin, Lang Lin, Haowei Ni, Ran Gong, Panfeng Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen ein Team hochintelligenter, superschlauer Assistenten ein, um Ärzten beim Lesen medizinischer Röntgenbilder und CT-Scans zu helfen. Diese Assistenten sind „Vision-Language Models" (VLMs) – KI-Systeme, die Bilder sehen und darüber sprechen können. Die große Frage, die diese Arbeit stellt, lautet: Können wir diesen Assistenten vertrauen, dass sie genau zeigen, wo ein Problem liegt (wie ein Tumor), bevor sie versuchen, eine Diagnose zu stellen?

Die Forscher behandelten diese KI-Assistenten wie neue Mitarbeiter und unterzogen sie einem strengen „Audit" (einer Leistungsbeurteilung), um zu sehen, wo sie versagen. Hier ist das Ergebnis, einfach erklärt:

1. Das „Zeigen"-Problem (Wahrnehmung)

Stellen Sie sich vor, Sie bitten einen Schüler, auf einer riesigen Weltkarte einen bestimmten, winzigen Sommersprosse zu zeigen. Selbst die klügsten Schüler der Klasse lagen falsch.

Das Ergebnis: Wenn die KI-Modelle versuchten, um bestimmte Körperteile (wie eine Leber) oder Krankheiten (wie Lungenkrebs) auf medizinischen Bildern einen Kasten zu zeichnen, waren sie darin schrecklich.
Die Analogie: Es ist, als würde man jemanden bitten, ein bestimmtes Sandkorn am Strand zu finden, und dieser zeichnet einfach einen riesigen Kasten um den gesamten Strand.
Die Zahlen: Das beste Modell im Test schaffte es nur, etwa 19 % der Zeit den Kasten richtig zu setzen. Noch schlimmer: Sie verwechselten häufig „links" und „rechts" (z. B. auf die linke Lunge des Patienten zeigend, obwohl das Problem auf der rechten Seite lag). In der Medizin ist das Vertauschen von links und rechts ein gefährlicher Fehler.

2. Die „Zwei-Schritte"-Katastrophe (Pipeline-Zusammenbruch)

Die Forscher testeten einen spezifischen Arbeitsablauf: Zuerst die KI bitten, das Problem zu finden und einen Kasten zu zeichnen. Zweitens die KI bitten, nur innerhalb dieses Kastens zu schauen und eine Diagnose zu stellen.

Das Ergebnis: Dieser Zwei-Schritte-Prozess machte die KI schlechter, nicht besser.
Die Analogie: Stellen Sie sich vor, Sie bitten einen Koch, zuerst eine bestimmte Zutat in der Speisekammer zu finden und dann nur mit dieser Zutat eine Mahlzeit zu kochen. Wenn der Koch die falsche Zutat greift (oder die Tüte fallen lässt), ist die Mahlzeit ruiniert.
Was passierte: Da die KI im ersten Schritt (den Ort zu finden) schlecht war, wurde der zweite Schritt (die Diagnose) zur Katastrophe. Bei einigen Modellen sank die Genauigkeit auf fast Null.
Der „Format"-Fehler: Einige Modelle wurden durch die komplexen Anweisungen des Zwei-Schritte-Prozesses so verwirrt, dass sie aufhörten, korrekt zu antworten. Sie versagten darin, die Regeln für das Aufschreiben der Kastenkoordinaten zu befolgen, was zum Absturz des gesamten Systems führte.

3. Der „Magische Brillen"-Test (Oracle Grounding)

Um herauszufinden, ob die KI nur schlecht im Denken oder nur schlecht im Sehen war, führten die Forscher einen speziellen Test durch. Sie gaben der KI die perfekte Box (gezeichnet von einem menschlichen Experten) und baten sie, das Bild basierend auf dieser perfekten Box zu diagnostizieren.

Das Ergebnis: Als die KI den korrekten Ort erhielt, schossen ihre Diagnosefähigkeiten in die Höhe.
Die Analogie: Es ist, als würde man dem verwirrten Koch genau die richtige Zutat geben. Plötzlich kann er eine perfekte Mahlzeit kochen.
Die Schlussfolgerung: Das „Gehirn" der KI (das Schlussfolgern) ist eigentlich in Ordnung. Das Problem sind ihre „Augen" (die Wahrnehmung). Wenn wir den Teil beheben können, der den Ort findet, wird die Diagnose viel besser.

4. Die „Training"-Lösung (Fine-Tuning)

Schließlich versuchten die Forscher, die KI zu reparieren, indem sie ihr zusätzliche Hausaufgaben gaben. Sie nahmen eines der Modelle und trainierten es speziell mit Tausenden von medizinischen Fragen und Antworten.

Das Ergebnis: Dieses „spezialisierte Training" machte die KI viel besser im Beantworten medizinischer Fragen. Sie wurde zu einer der Besten beim Geben korrekter Antworten.
Der Haken: Obwohl die KI besser im Antworten wurde, testeten die Forscher nicht, ob sie auch besser im Zeigen wurde (das Wahrnehmungsproblem). Wir wissen also, dass Training bei den Antworten hilft, aber wir wissen noch nicht, ob es die gefährliche „Links/Rechts"-Verwechslung oder das schlechte Zeichnen von Kästen behebt.

Zusammenfassung

Die Arbeit kommt zu dem Schluss, dass diese KI-Modelle zwar beim Sprechen und Schlussfolgern schlau sind, aber derzeit unzuverlässig beim Zeigen sind.

Der Engpass: Man kann der KI nicht vertrauen, die Diagnose zu leiten, wenn sie das Problem nicht zuerst genau anzeigen kann.
Die Hoffnung: Wenn wir den „Zeigen"-Teil beheben können (vielleicht durch ein spezialisiertes Werkzeug nur zum Finden von Orten, das dann der KI zugeführt wird), könnte das System sehr vertrauenswürdig werden.
Der Realitätscheck: Im Moment ist es in einem echten Krankenhaus riskant, sich auf diese Modelle zu verlassen, um das Problem zu finden und dann eine Diagnose zu stellen, da sie ständig den Ort falsch bestimmen.

1. Problemstellung

Der Einsatz von Vision-Language-Modellen (VLMs) in klinischen Umgebungen erfordert mehr als nur übergeordnete Schlussfolgerungsfähigkeiten; er verlangt präzises visuelles Grounding (die Fähigkeit, anatomische Strukturen und Pathologien innerhalb eines Bildes zu lokalisieren). Während Frontier-VLMs bei Schlussfolgerungen glänzen, ist ihre Leistung bei spezialisierten medizinischen Eingaben hinsichtlich folgender Aspekte schlecht charakterisiert:

Wahrnehmung: Kann das Modell spezifische Regionen (z. B. einen Tumor oder ein Organ) in einem komplexen medizinischen Bild genau lokalisieren?
Pipeline-Integration: Verschlechtert eine „Self-Grounding"-Pipeline (bei der das Modell zuerst eine Region lokalisiert und dann eine Frage basierend auf diesem Ausschnitt beantwortet) die Leistung aufgrund von Lokalisierungsfehlern oder Fehlern bei der Formatkonformität?
Vertrauenswürdigkeit: Aktuelle Benchmarks verlassen sich oft auf aggregierte Scores und decken spezifische Fehlermodi wie „Laterality Confusion" (Verwechslung von links/rechts) nicht auf, was zu klinisch gefährlichen Fehlern führen kann.

2. Methodik

Die Autoren führten eine umfassende Prüfung von fünf Frontier-VLMs (Gemini 2.5 Pro, GPT-5, o3, GLM-4.5V und Qwen 2.5 VL) über drei Standard-Datensätze für medizinische VQA durch: VQA-RAD, SLAKE und PathVQA.

Experimentelles Setup

Die Evaluation folgte einer zweistufigen Pipeline (Abbildung 1 im Papier), um drei verschiedene Konfigurationen zu testen:

Direkte VQA: Das Modell beantwortet die Frage unter Verwendung des gesamten Bildes in einem einzigen Schritt.
Self-Grounding VQA: Das Modell wird aufgefordert, zuerst einen Begrenzungsrahmen (Bounding Box) für die relevante Region auszugeben und verwendet dann diesen zugeschnittenen Bereich, um die Frage zu beantworten.
Oracle GT-Grounding VQA: Das Modell erhält Ground-Truth-Begrenzungsrahmen (aus SLAKE-Annotationen), um das Bild vor der Beantwortung der Frage zuzuschneiden. Dies dient als Obergrenze, um zu bestimmen, ob das Pipeline-Konzept funktioniert, wenn die Wahrnehmung perfekt wäre.

Evaluationsmetriken

VQA-Leistung: Geschlossene Genauigkeit und offene Recall (unter Verwendung regelbasierter Abgleichung mit Synonym-Erweiterung und Laterality-Checks).
Grounding-Leistung: Mean Intersection over Union (IoU), Dice-Koeffizient und Accuracy@0.5 (Prozentsatz der Vorhersagen mit IoU $\ge$ 0,5).
Formatkonformität: Analyse von Parse-Fehlern (Unfähigkeit, die Koordinaten des Begrenzungsrahmens aus der Ausgabe des Modells zu extrahieren).

Nachfolgendes Fine-Tuning

Um zu testen, ob Domänenanpassung die Lücke schließen kann, führten die Autoren ein Supervised Fine-Tuning (SFT) an Qwen 2.5 VL (7B) durch, unter Verwendung kombinierter Trainingsdaten aus VQA-RAD, SLAKE und PathVQA.

3. Hauptbeiträge

Perceptions-Audit: Erstellung eines dedizierten Benchmarks für visuelles Grounding, abgeleitet von SLAKE, der zeigt, dass selbst die besten Frontier-Modelle bei der medizinischen Bildgebung eine schlechte Lokalisierung aufweisen.
Pipeline-Integrations-Audit: Nachweis, dass „Self-Grounding" (Lokalisieren und dann Antworten) die VQA-Genauigkeit bei allen Modellen konsistent verschlechtert, getrieben durch sowohl ungenaue Lokalisierung als auch schwerwiegende Fehler bei der Formatkonformität.
Oracle-Grounding-Diagnose: Beweis, dass das Ersetzen vorhergesagter Boxen durch Ground-Truth-Annotationen die VQA-Leistung wiederherstellt und verbessert, wodurch das Versagen auf das Wahrnehmungsmodul und nicht auf die Dekompositionsstrategie selbst zurückgeführt wird.
Zukunftsweisende Abhilfe: Nachweis, dass gezieltes SFT an einem starken Open-Source-Modell (Qwen 2.5 VL) die VQA-Ebene-Lücke signifikant schließt und State-of-the-Art-Recall auf SLAKE erreicht, obwohl die Wahrnehmungsengpass durch SFT allein nicht behoben wird.

4. Hauptergebnisse

A. Wahrnehmungslücke (Grounding)

Schlechte Lokalisierung: Alle Modelle schnitten bei der Grounding-Aufgabe schlecht ab. Das beste Modell, Qwen 2.5 VL, erreichte nur einen mittleren IoU von 0,23 und 19,1% Acc@0,5.
Systematische Fehler:
- Laterality Confusion: Modelle verwechselten häufig links und rechts bei Thorax-Röntgenaufnahmen.
- Skalen-Mismatch: Modelle wählten standardmäßig große Begrenzungsrahmen für kleine Läsionen (z. B. Lungenkrebs), oft unter Abdeckung des gesamten Organs oder Bildquadranten.
- Generalisierungsversagen: Selbst Modelle, die integriertes Grounding bewerben (GLM-4.5V), schnitten im Vergleich zu allgemeinen Schlussfolgerungsmodellen schlechter ab, was darauf hindeutet, dass Grounding-Funktionen nicht gut auf feinabgestimmte medizinische Aufgaben übertragen werden.

B. Pipeline-Verschlechterung (Self-Grounding)

Katastrophaler Zusammenbruch: Self-Grounding verschlechterte die Leistung bei jedem Modell.
- Gemini 2.5 Pro: Die Genauigkeit sank von 39,9% auf 0,0% (geschlossene Fragen). Dies wurde durch eine Parse-Fehlerrate von 98,9% beim zweistufigen Prompt getrieben.
- GPT-5: Die Genauigkeit sank von 67,6% auf 19,3%, mit einer Parse-Fehlerrate von 70,3%.
Korrelation: Die Schwere der Verschlechterung korrelierte mit der Grounding-Qualität (IoU), obwohl die Formatkonformität für einige Modelle ein dominierender Faktor war.

C. Oracle-Wiederherstellung

Bei Bereitstellung von Ground-Truth (GT)-Begrenzungsrahmen verbesserten alle Modelle ihre VQA-Leistung im Vergleich zu sowohl Direct- als auch Self-Grounding-Baselines.
Gemini 2.5 Pro erholte sich von nahezu Null auf eine Genauigkeit von 44,3% und übertraf damit seine direkte VQA-Baseline. Dies bestätigt, dass die Schlussfolgerungsfähigkeit intakt ist, aber die Wahrnehmung (Lokalisierung) der Engpass ist.

D. Auswirkung des Fine-Tunings

Qwen 2.5 VL (SFT) erreichte die höchste gemeldete SLAKE offene Recall (85,5%) unter vergleichbaren Methoden und übertraf LLaVA-Med und andere Baselines.
Dies beweist, dass die VQA-Ebene-Lücke durch Domänenanpassung lösbar ist. Da SFT jedoch nur an VQA-Metriken evaluiert wurde, bleibt unklar, ob diese Anpassung den zugrunde liegenden Wahrnehmungs-/Grounding-Engpass behoben hat.

5. Bedeutung und Schlussfolgerung

Grounding als Engpass: Die Studie identifiziert die Qualität des visuellen Groundings als primären Vertrauenswürdigkeits-Engpass für medizinische VQA im SLAKE-Begrenzungsrahmen-Kontext. Aktuelle VLMs verfügen nicht über die räumliche Präzision, die erforderlich ist, um Grounding als zuverlässigen Zwischenschritt zu nutzen.
Pipeline-Risiken: Das Vertrauen auf „Self-Grounding"-Pipelines mit aktuellen Frontier-Modellen ist gefährlich, da es ein hohes Risiko für Formatzusammenbrüche und Lokalisierungsfehler birgt, die die Gesamtleistung verschlechtern.
Zukünftige Richtungen: Die Autoren schlagen vor:
1. Hybride Architekturen: Entkopplung von Wahrnehmung und Schlussfolgerung durch die Verwendung spezialisierter, domänenangepasster Grounding-Module (z. B. feinabgestimmtes Grounding DINO oder SAM), um VLMs zuverlässige räumliche Eingaben zuzuführen.
2. Granulare Analyse: Stratifizierung der Fehleranalyse nach Organtyp, Läsionsgröße und Laterality.
3. Adaptation zur Inferenzzeit: Erforschung von Reinforcement Learning zur Laufzeit, um die Wahrnehmung ohne zusätzliche Trainingsdaten zu verbessern.

Zusammenfassend lässt sich sagen, dass Frontier-VLMs zwar über starke Schlussfolgerungsfähigkeiten verfügen, ihre Unfähigkeit, medizinische Strukturen präzise zu lokalisieren, „Self-Grounding"-Pipelines jedoch unzuverlässig macht. Vertrauenswürdige medizinische KI erfordert entweder spezialisierte Wahrnehmungsmodule oder signifikante Verbesserungen der räumlichen Schlussfolgerungsfähigkeiten der VLMs selbst.