An Automated, Contamination-Controlled VQA Benchmark for Evaluating Vision-Language Models on 3D Oncology Imaging

Technische Zusammenfassung: Ein automatisierter, kontaminationskontrollierter VQA-Benchmark zur Evaluierung von Vision-Language-Modellen auf 3D-Onkologie-Bildgebung

Problemstellung
Vision-Language-Modelle (VLMs) werden zunehmend in der medizinischen Bildgebung eingesetzt, doch ihre Zuverlässigkeit im klinischen Umfeld bleibt unzureichend charakterisiert. Bestehende öffentliche Benchmarks für das medizinische Visual Question Answering (VQA) leiden unter zwei kritischen Mängeln:

1. Datenkontamination: Groß angelegte Datensätze gelangen oft in die Vortraining-Korpora von VLMs, was bedeutet, dass hohe Scores eher eine Memorierung von Bild-Frage-Paaren widerspiegeln als echte visuelle Wahrnehmung.
2. Text-basierte Lösbarkeit: Viele Benchmark-Elemente können allein durch den Fragetext und sprachliche Prioritäten beantwortet werden, wodurch die Analyse des Bildes umgangen wird.

Darüber hinaus stellt die onkologische Bildgebung einzigartige Herausforderungen dar: Studien sind volumetrisch (3D) und erfordern die Interpretation über mehrere Schichten und Sequenzen hinweg, während die meisten aktuellen VLMs nur 2D-Inputs akzeptieren. Bestehende Benchmarks versäumen es, die bildabhängige Leistung von einer durch Datensatzvertrautheit oder Frage-Text-Hinweise getriebenen Leistung zu unterscheiden.

Methodik
Die Autoren präsentieren eine automatisierte, agentengesteuerte Pipeline, die darauf ausgelegt ist, kontaminationskontrollierte Multiple-Choice-VQA-Benchmarks direkt aus gepaarten, privaten Radiologieberichten und 3D-Onkologie-Bildgebung zu generieren.

• Datenquelle: Die Pipeline nutzt private, institutionseigene Radiologieberichte und 3D-Bildgebung (CT und MRT) aus vier onkologischen Kohorten: Leber-CT, Leber-MRT, Lungen-CT und Gehirn-MRT (2.509 Fälle insgesamt für den Hauptbenchmark). Eine fünfte, vollständig private, hausinterne Gehirn-MRT-Kohorte wurde identisch generiert, aber speziell für die öffentliche/private Kontaminations-Ablationsstudie reserviert (Tabelle 3) und vom Hauptbenchmark ausgeschlossen. Da diese Quellberichte privat sind und nicht Teil öffentlicher Vortrainingsdaten sind, sind die generierten Fragen garantiert frei von Instanz-Ebene-Kontamination.
• Fragen-Generierung: Das System erzeugt zwei komplementäre Fragetypen:
  1. Schema-gesteuert (RADS-Stil): Fragen werden deterministisch aus klinisch überprüften Schemata generiert, die auf etablierten Berichtsstrukturen basieren (LI-RADS, Lung-RADS und ein RANO-konformes Gehirn-Schema). Dies gewährleistet standardisierte, visuell beantwortbare Fragen.
  2. Bericht-abgeleitet: Fragen werden durch ein Sprachmodell basierend auf den Befunden und dem Eindruck des Radiologen generiert und anschließend durch einen „Bericht-basierten Check“ gefiltert, um sicherzustellen, dass die Antwort explizit durch den Quelltext gestützt wird.
• Bildverarbeitung: Für 2D-Input-Modelle werden 3D-Volumina als 12×12 Composite-Montagen aus 144 axialen Schichten (ca. 128×128 Pixel pro Schicht) gerendert.
• Evaluationsprotokoll: Fünf zeitgenössische VLMs wurden in einem Zero-Shot-Setting evaluiert: zwei Frontier-Closed-Models (Claude Opus 4.6, GPT-5.2), ein Open-Weights-Frontier-Modell (Qwen3-VL-30B) und zwei medizinische Spezialisten (MedGemma1.0-27B, MedGemma1.5-4B).
• Ablationsstudien: Um die visuelle Abhängigkeit zu isolieren, wurden die Modelle neu evaluiert, wobei das Bild durch einen leeren Input ersetzt wurde („Blind“-Bedingung). Zusätzlich wurde eine öffentliche Gehirn-Kohorte (PDGM) mit einer passenden privaten hausinternen Gehirn-Kohorte verglichen, um die Vertrautheit mit der Bildverteilung zu testen.
• Statistische Rigorosität: Die Studie verwendet Case-Clustered-Bootstrapping für Konfidenzintervalle und Multiplizitätskontrollierte Tests (Benjamini-Hochberg FDR-Korrektur und Two One-Sided Tests [TOST] für Äquivalenz), um echte Effekte von Rauschen zu unterscheiden.

Wichtigste Ergebnisse

• Variable Leistung: Kein einzelnes Modell war über alle Kohorten hinweg zuverlässig. Die Genauigkeiten reichten von nahezu zufälliger Baseline (0,28) bis zu 0,81. Die Modell-Rankings variierten signifikant je nach Kohorte und Fragetyp.
• Bildunabhängigkeit: Für mehrere leistungsstarke Konfigurationen hatte das Entfernen des Bildes kaum Auswirkungen auf die Genauigkeit.
  • Bei Gehirn-MRT (sowohl öffentlich als auch privat) und Lungen-CT zeigten Frontier-Modelle (z. B. Claude Opus 4.6) minimale Genauigkeitsverluste, wenn die Bilder entfernt wurden, was darauf hindeutet, dass ihre Leistung stark auf sprachlichen Prioritäten oder Frage-Text-Signalen basiert statt auf visuellen Beweisen.
  • Im Gegensatz dazu zeigte MedGemma1.0-27B signifikante Abfälle bei Leber-CT und -MRT, wenn es geblendet wurde, was auf eine stärkere visuelle Abhängigkeit in diesen spezifischen Kontexten hindeutet.
• Öffentliche vs. private Gehirn-Bildgebung: Bei RADS-Stil-Fragen schnitten Frontier-Modelle bei öffentlichen (PDGM) Gehirnbildern um 0,17–0,19 höher ab als bei passenden privaten Bildern, was auf eine potenzielle Vertrautheit mit öffentlichen Datensätzen hindeutet. Bei bericht-abgeleiteten Fragen war die Leistung zwischen öffentlichen und privaten Kohorten jedoch ununterscheidbar.
• Aufgabenkomplexität: Modelle hatten erhebliche Schwierigkeiten mit quantitativen oder abgestuften Beurteilungen (z. B. Läsionsgröße, Lung-RADS-Kategorie, Masseneffekt-Graduierung), bei denen die Genauigkeiten kaum über dem Zufallsniveau lagen. Im Gegensatz dazu wurden qualitative Erkennungsaufgaben (z. B. Vorhandensein/Abwesenheit von Befunden) mit deutlich höherer Genauigkeit durchgeführt.
• Statistische Befunde: Nach FDR-Korrektur lagen 37 von 40 Genauigkeitsmessungen über dem Zufallsniveau. Die Äquivalenzprüfung ergab jedoch, dass für viele hochperformante Modelle bei spezifischen Aufgaben (z. B. Gehirn-MRT bericht-abgeleitet) der Unterschied zwischen gesichteter und blinder Leistung innerhalb einer ±0,05-Marge statistisch äquivalent zu Null war.

Bedeutung und Ansprüche
Das Paper beansprucht nicht, ein definitives Modell-Leaderboard bereitzustellen, sondern demonstriert vielmehr, dass ein erneuerbarer, privat generierter Benchmark effektiv zwischen bildabhängiger Leistung und Frage-Text- sowie Datensatz-Vertrautheitseffekten unterscheiden kann.

• Klinische Implikationen: Aktuelle VLMs, einschließlich medizinischer Spezialisten, sind beim Lesen von volumetrischen onkologischen Studien in reduzierten 2D-Formaten noch nicht zuverlässig. Schlagzeilen-Genauigkeiten können die visuelle Kompetenz überbewerten, insbesondere bei Aufgaben, die über sprachliche Prioritäten lösbar sind (z. B. Lungen-CT, Gehirn-MRT).
• Aufgabenbeschränkungen: Die Unfähigkeit der Modelle, räumliche Messungen (Größe, Schweregrad-Einstufung) im Vergleich zu einfacher Erkennung zu handhaben, deutet darauf hin, dass aktuelle 2D-Input-Systeme für management-relevante Aufgaben, die auf präziser Quantifizierung beruhen, ungeeignet sind.
• Methodischer Beitrag: Die Autoren veröffentlichen die Pipeline als offene „Agent Skill“, was Institutionen ermöglicht, Kontaminationskontrollierte Benchmarks auf ihren eigenen privaten Daten zu regenerieren. Dies verschiebt die Evaluierung von statischen öffentlichen Artefakten hin zu privaten, erneuerbaren hausinternen Tests und adressiert das kritische Problem des Data Leakage in der medizinischen KI-Evaluierung.

Die Studie kommt zu dem Schluss, dass VLMs zwar vielversprechend sind, ihre visuelle Denkfähigkeit in komplexen, volumetrischen onkologischen Settings jedoch begrenzt bleibt und stark von der spezifischen Bildmodalität und dem Fragetyp abhängt. Der vorgeschlagene Benchmark bietet einen rigorosen Rahmen, um diese Einschränkungen zu identifizieren und den Einsatz von Modellen zu verhindern, die auf Memorierung statt auf Wahrnehmung beruhen.