Forensic Reproducibility Audit of a Radiology Vision-Language Model Benchmark: From Intended Protocol to Released Artifact

Stellen Sie sich eine Welt vor, in der Wissenschaftler digitale Detektive bauen, um Röntgenbilder zu lesen und Ärzten mitzuteilen, was nicht stimmt. Diese Detektive sind eine spezielle Art von Computerprogramm, ein „Vision-Language-Modell“. Denken Sie an sie als superintelligente Roboter, die in der Lage sind, ein Bild eines Brustkorbs anzusehen und dann einen Bericht zu schreiben, so wie es ein menschlicher Arzt tun würde. Um zu sehen, ob diese Roboter gut sind, erstellen Forscher „Benchmarks“. Eine Benchmark ist wie ein standardisierter Test: Man zeigt dem Roboter 30 Röntgenbilder, stellt ihm spezifische Fragen und überprüft seine Antworten gegen einen „Goldstandard“, um zu sehen, wie viele er richtig gemacht hat. Alle gehen davon aus, dass, wenn der Test in einer wissenschaftlichen Arbeit niedergeschrieben ist, der Computer tatsächlich genau das getan hat, was in der Arbeit steht. Aber was, wenn der Computer eine Abkürzung genommen hat? Was, wenn die Testfragen vertauscht wurden oder die Röntgenbilder auf den Kopf gestellt wurden und niemand es bemerkt hat, bis Jahre später? Dies ist die beängstigende Lücke zwischen dem, was wir sagen, dass wir getan haben, und dem, was der Computer tatsächlich getan hat.

Dieser Text ist eine forensische Detektivgeschichte über einen dieser digitalen Tests. Der Autor, Mateusz Kozłowski, beschloss, die Rolle eines digitalen Tatortermittlers zu übernehmen. Er führte den Test nicht erneut durch; stattdessen untersuchte er den „Tatort“ (die Computerdateien und den Code), der von einer vorangegangenen Studie zurückgelassen wurde. Er wollte sehen, ob die Geschichte, die im Abschlussbericht erzählt wird, mit der Realität der Dateien auf der Festplatte übereinstimmt. Er fand heraus, dass die Geschichte und die Realität sehr unterschiedlich waren. Die Studie behauptete, zwei verschiedene Arten, den Roboter zu fragen, miteinander zu vergleichen, aber der Code zeigte, dass der Roboter tatsächlich exakt dieselbe Frage zweimal gestellt bekam. Die Untersuchung des Code-Ablaufs und der Import- sowie Aufrufpfade stützte die Annahme, dass die Bindung der Prompts fehlerhaft war. Die Studie behauptete, 30 verschiedene Patienten zu verwenden, aber die Dateien zeigten nur 28. Sie behauptete, perfekte Röntgenbilder zu verwenden, aber vier davon waren falsch herum gedreht, wie ein Spiegelbild eines Brustkorbs. Aufgrund dieser Verwechslungen waren die endgültigen Ergebnisse und Ranglisten im ursprünglichen Bericht falsch. Der Autor kommt zu dem Schluss, dass die Ergebnisse des ursprünglichen Tests nicht darauf vertrauen lassen, wie gut die Roboter tatsächlich arbeiten, und er schlägt ein neues Set an „Maschinenregeln“ vor, um sicherzustellen, dass zukünftige Tests nicht diese verborgenen Fehler aufweisen.

Der Bericht des digitalen Detektivs

Das Setup: Ein Test, der kein Test war
Stellen Sie sich vor, Sie sind eine Lehrerin, die einen Mathetest schreibt. Sie sagen der Klasse: „Ich werde euch zwei verschiedene Versionen des Tests geben, Version A und Version B, um zu sehen, welche schwieriger ist.“ Sie verteilen die Blätter, sammeln sie ein und bewerten sie. Aber wenn Sie später auf Ihren Lösungsschlüssel schauen, stellen Sie fest, dass Sie versehentlich jeder einzelnen Schülerin exakt das Papier der Version C gegeben haben. Sie dachten, Sie würden den Unterschied zwischen A und B testen, aber Sie haben eigentlich nur zweimal getestert, wie die Schüler bei C abgeschnitten haben.

Genau das ist in dieser Studie passiert. Die Forscher wollten sehen, ob das Stellen einer anderen medizinischen KI-Frage (Prompt A und Prompt B) die Antworten verändern würde. Als der Autor jedoch in den Computercode eintauchte, fand er einen „Fehler“ im System. Die Untersuchung der Import- und Aufrufpfade im Code ergab, dass die ursprüngliche Annahme über die unterschiedlichen Prompts nicht haltbar war: Aufgrund eines Programmierfehlers wurden beide Gruppen von Fragen tatsächlich als Prompt C verarbeitet. Die Studie behauptete, einen Unterschied zwischen A und B gefunden zu haben, aber da die Pfade zur korrekten Zuweisung der Fragen fehlerhaft waren, war dieser Unterschied ein Gespenst.

Die Röntgenbild-Verwechslung
Stellen Sie sich nun vor, Sie betrachten ein Schwarz-Weiß-Foto. Wenn das Foto als „Negativ“ gedruckt ist (wo Schwarz Weiß und Weiß Schwarz ist), könnten Sie denken, dass ein dunkler Fleck eigentlich ein heller Fleck ist. In der Welt der medizinischen Bildgebung gibt es zwei Arten von Schwarz-Weiß-Einstellungen: eine, bei der Dunkel „Knochen“ bedeutet, und eine, bei der Dunkel „Luft“ bedeutet. Die Studie behauptete, Standard-Röntgenbilder zu verwenden. Doch der Autor fand heraus, dass vier der Bilder in der „Luft“-Einstellung waren und der Computercode vergessen hatte, sie in die „Knochen“-Einstellung umzukippen, bevor er sie der KI zeigte.

Es ist, als würde man einem Kunden einen Burger servieren, bei dem das Brötchen unten und das Fleisch oben ist, und dann behaupten, man habe einen „Standard-Burger“ serviert. Die KI sah ein gedretes Bild, nicht das echte Bild. Das bedeutete, dass die KI Entscheidungen darauf basierend traf, eine verzerrte Realität zu sehen, und nicht das tatsächliche Röntgenbild.

Die Patientenzahl und die fehlenden Dateien
Die Studie besagte, dass sie 30 verschiedene Patienten verwendete. Doch als der Autor die Dateien zählte, fand er heraus, dass zwei Patienten tatsächlich zweimal aufgetaucht waren, was bedeutete, dass es nur 28 einzigartige Personen gab. Es ist wie bei einer Klassenaufstellung, bei der sich zwei Schüler doppelt eingetragen haben, sodass es aussieht, als wären es 30 Kinder, obwohl es nur 28 sind. Dies ist wichtig, weil, wenn dieselbe Person zweimal im Test ist, dies die Ergebnisse verzerrt.

Darüber hinaus plante die Studie 300 Antworten (30 Röntgenbilder × 10 verschiedene KI-Modelle). Doch als der Autor die Dateien überprüfte, fand er drei davon fehlend oder leer. Zwei Dateien waren komplett leer (null Bytes) und eine war einfach verschwunden. Der ursprüngliche Bericht gab vor, dass dies erfolgreiche Antworten waren, aber sie waren in Wirklichkeit Fehlschläge. Es ist, als wäre eine Lehrerin eine Prüfung bewerten und einer Schülerin eine Note geben, obwohl die Schülerin das Blatt leer gelassen hat.

Die „magische“ Mathematik
Aufgrund dieser Fehler war die Mathematik in der ursprünglichen Arbeit falsch. Die Autoren hatten eine Kennzahl namens „Cochran-Statistik“ berechnet, um zu sehen, ob die Modelle sich unterschieden. Als der Autor die Mathematik korrigierte, indem er die korrekten, vollständigen Daten verwendete (369 Informationsblöcke statt der unordentlichen, unvollständigen Version), sprang der Wert auf 182,29.

Die ursprüngliche Arbeit behauptete auch, dass 26 von 45 Vergleichen einen „signifikanten“ Unterschied zeigten. Hier ist die Korrektur komplexer: Während die Analyse der festen Kohorte (fixed-cohort analysis) 27 von 45 unbereinigte und 20 von 45 nach der Holm-Methode bereinigte Vergleiche ergab, wurde das ursprüngliche Ergebnis von 28/45 tatsächlich in einer separaten Paarvergleichs-Analyse mit verfügbaren Fällen (pairwise available-case analysis) reproduziert, bei der jeder Vergleich seinen eigenen Nenner verwendete. Trotz dieser Ähnlichkeiten ist die Bedeutung völlig anders, da die Daten, auf denen sie basierten, fehlerhaft waren. Die ursprüngliche Behauptung, dass „Modell A besser als Modell B ist“, basierte auf einem Test, der nie wirklich stattgefunden hat.

Das „veraltete“ Release
Hier ist der frustrierende Teil. Als die Forscher ihren Fehler bemerkten und die Zahlen in ihrer schriftlichen Arbeit korrigierten, vergaßen sie, die digitalen Dateien, die sie der Welt zur Verfügung stellten, zu aktualisieren. Sie luden eine „überarbeitete“ Arbeit hoch, aber die angehängte ZIP-Datei enthielt immer noch die alten, falschen Zahlen und die alten, falschen Namen für die Modelle. Es ist, als würde ein Koch das Rezept in einem Kochbuch korrigieren, aber vergessen, die Zutatenliste auf der Website zu ändern. Jeder, der die Datei herunterlud, erhielt die alte, fehlerhafte Version.

Die Lösung: Ein neues Regelwerk
Der Autor weist nicht nur auf die Fehler hin; er baut ein neues Regelwerk auf, um dies in Zukunft zu verhindern. Er nennt dies den „Benchmark-Vertrag“. Stellen Sie sich einen Vertrag vor, der einen Computer dazu zwingt, zu beweisen, dass er das Richtige getan hat, bevor er einen Score veröffentlichen darf.

Dieser Vertrag besteht aus acht Regeln:

1. Kohorten-Vertrag: Beweise, dass du die richtige Anzahl an einzigartigen Patienten hast.
2. Pixel-Vertrag: Beweise, dass die Röntgenbilder nicht gedreht oder defekt sind.
3. Prompt-Vertrag: Beweise, dass die KI tatsächlich die spezifische Frage erhalten hat, die du ihr gestellt hast, und nicht eine andere.
4. Modell-Vertrag: Beweise, dass du exakt die Version der KI verwendet hast, die du angegeben hast.
5. Output-Vertrag: Beweise, dass die Antwortdatei nicht leer ist.
6. Annotation-Vertrag: Beweise, dass die Labels (wie „krank“ oder „gesund“) korrekt zugewiesen wurden.
7. Analyse-Vertrag: Beweise, dass die Mathematik an den richtigen Datengruppen durchgeführt wurde.
8. Release-Vertrag: Beweise, dass die Dateien, die du teilst, zu der Arbeit passen, die du geschrieben hast.

Der Autor entwickelte eine Reihe von 36 automatisierten Tests (wie einen Roboter-Inspektor), die diese Regeln prüfen. Wenn ein Test fehlschlägt, stoppt das System und sagt: „Nö, du kannst das noch nicht veröffentlichen.“

Das Fazit
Die wichtigste Erkenntnis ist, dass die Ansprüche der ursprünglichen Studie darüber, wie gut diese KI-Modelle funktionieren, zurückgezogen werden. Der Autor ist sich sehr sicher: Die ursprünglichen Ergebnisse sind ungültig. Man kann den Rankings oder dem „besseren“ Modell nicht trauen, weil der Test fehlerhaft war. Das Einzige, was gerettet werden kann, ist die Geschichte darüber, wie er fehlerhaft war.

Der Autor schlägt vor, dass wir in Zukunft diese maschinell überprüfbaren Verträge benötigen. Wir können nicht einfach darauf vertrauen, dass der Computer das tut, was wir ihm sagen; wir brauchen den Computer, der es beweist. Dieser Text liefert uns kein neues, besseres KI-Modell; stattdessen liefert er uns einen besseren Weg, um sicherzustellen, dass die Tests, mit denen wir KI beurteilen, tatsächlich fair und echt sind. Er ist eine Erinnerung daran, dass wir im digitalen Zeitalter, wenn wir den Code nicht prüfen, vielleicht einen Test bewerten, der nie stattgefunden hat. Die ursprüngliche Studie behauptete, eine verbesserte Leistung bei der automatisierten Erkennung von Unstimmigkeiten zwischen Bericht und Label zu erzielen, doch die Ergebnisse sind aufgrund der fehlerhaften Daten unbrauchbar.