Demographic shortcuts as marker-free backdoors: silent subgroup underdiagnosis that only operating-point audits detect

In modernen Krankenhäusern wird künstliche Intelligenz zunehmend eingesetzt, um medizinische Bilder zu analysieren und als zweites Paar Augen zu fungieren, um Krankheiten wie Lungenentzündungen oder Flüssigkeit in der Lunge zu erkennen. Diese Computerprogramme lernen, indem sie tausende vergangene Scans studieren, bei denen menschliche Experten bereits markiert haben, was krank und was gesund ist. Seit Jahren sorgen sich Forscher darüber, dass diese Programme die falschen Lehren ziehen könnten, indem sie beispielsweise auf subtile Hinweise im Bild zurückgreifen, die nichts mit der Krankheit zu tun haben, wie etwa den Typ der Maschine, die das Bild aufgenommen hat, oder das Krankenhaus, in dem der Patient behandelt wurde. Dies ist als „Shortcut“ (Abkürzung) bekannt – ein bekanntes Problem, das dazu führen kann, dass die KI für bestimmte Personengruppen versagt. Eine neue Studie zeigt jedoch eine noch beunruhigendere Möglichkeit auf: Diese Abkürzungen können absichtlich ausgenutzt werden, um eine KI dazu zu bringen, eine bestimmte Patientengruppe zu ignorieren, während sie für alle anderen scheinbar perfekt funktioniert.

Die Forscher, die über mehrere Datensätze für medizinische Bildgebung hinweg arbeiteten, demonstrierten, wie ein Modell durch die Manipulation der Labels (Beschriftungen) der Trainingsdaten heimlich sabotiert werden kann. Stellen Sie sich ein Szenario vor, in dem eine Person mit Zugriff auf die Trainingsdaten die Diagnose für eine bestimmte Gruppe von Patienten ändert. Sie nehmen Bilder, die eindeutig eine Krankheit zeigen, wie etwa Flüssigkeit um die Lungen, und sagen dem Computer schlichtweg, dass diese Bilder gesund seien. Dies tun sie für zwei Drittel der positiven Fälle einer bestimmten demografischen Gruppe, während die Bilder selbst völlig unberührt bleiben. Es werden keine Pixel verändert, keine versteckten Markierungen hinzugefügt und der Rest der Trainingsdaten bleibt unangetastet. Das Ergebnis ist ein Modell, das lernt, die visuellen Merkmale dieser spezifischen Gruppe mit dem Fehlen einer Krankheit zu assoziieren. Da der Computer aus den Labels lernt, beginnt er, die Krankheit in dieser Gruppe zu ignorieren, was effektiv eine „Backdoor“ (Hintertür) schafft, die zu einer stillen Unterdiagnose führt.

Was diese Entdeckung besonders gefährlich macht, ist, wie unsichtbar der Schaden für Standardprüfungen ist. Als die Forscher das korrumpierte Modell testeten, sahen die allgemeinen Leistungsbewertungen fast identisch mit denen eines sauberen, gesunden Modells aus. Der Computer ordnete kranke Patienten immer noch korrekt im Vergleich zu gesunden Patienten ein, und die Erkennungsraten für andere Gruppen blieben unverändert. Selbst das allgemeine Maß dafür, wie gut das Modell zwischen krank und gesund unterschied, verschob sich nur um einen winzigen, kaum wahrnehmbaren Betrag. Standard-Sicherheitstools, die darauf ausgelegt sind, versteckte Tricks in der KI zu finden – welche normalerweise nach seltsamen Mustern oder eingefügten Markern in den Bildern suchen –, fanden nichts. Das Modell bestand jede routinemäßige Prüfung, die ein Krankenhaus vor dem Einsatz durchführen könnte, und doch versagte es bei einer bestimmten Patientengruppe in einer Weise, die klinisch verheerend sein könnte.

Die Studie fand heraus, dass dieses Versagen erst sichtbar wurde, als die Forscher die Leistung des Modells an dem spezifischen Punkt untersuchten, an dem es in der realen Welt tatsächlich eine Entscheidung trifft. Die meisten Fairness-Checks untersuchen, wie gut das Modell Patienten rankt (einstuft), aber diese Art von Sabotage verbirgt sich perfekt in diesen Rankings. Erst wenn man die tatsächliche Anzahl der verpassten Diagnosen an dem Schwellenwert überprüft, den Ärzte anwenden, tritt das Problem massiv zutage. In den Experimenten übersah das korrumpierte Modell etwa einunddreißig Fälle von Flüssigkeit um die Lungen pro tausend Patienten in der Zielgruppe – eine signifikante Zunahme des Schadens, die von den üblichen Sicherheitsnetzen unentdeckt blieb. Dieses Versagen beschränkte sich nicht nur auf die Gruppe, deren Datensätze geändert wurden; es betraf auch Patienten, deren ethnische Zugehörigkeit nie in deren Akten erfasst war. Da das Modell lernte, demografische Informationen direkt aus den Pixeln des Bildes zu lesen, wandte es denselben Fehler auf jeden an, der der Zielgruppe ähnlich sah, unabhängig davon, was in der medizinischen Akte stand.

Die Forscher testeten auch, ob gängige Korrekturen, wie etwa die Balanceierung der Anzahl kranker und gesunder Patienten über verschiedene Gruppen hinweg, diesen Angriff stoppen würden. Sie stellten fest, dass dies nicht der Fall war. Selbst wenn die Daten angepasst wurden, um eine natürliche Verbindung zwischen dem Hintergrund eines Patienten und der Wahrscheinlichkeit einer Erkrankung zu entfernen, lernte das Modell die Abkürzung dennoch und versagte bei der Zielgruppe. Der Angriff erforderte ein erhebliches Maß an Kontrolle über die Daten – etwa zwei Drittel der positiven Labels für einen Befund in einer Gruppe –, aber dies ist ein realistisches Szenario in der realen Welt, in der Daten oft an verschiedene Anbieter ausgelagert oder von vielen verschiedenen Krankenhäusern gesammelt werden. Die Studie zeigte, dass diese Schwachstelle über verschiedene Arten von medizinischen Bildern hinweg existiert, einschließlich Thorax-Röntgenaufnahmen, Hautveränderungsfotos und Gewebeschnitten, und dass sie auf neue Krankenhäuser übertragen werden kann, in denen das Modell nie trainiert wurde.

Vielleicht ist die kritischste Erkenntnis, dass die üblichen Werkzeuge zur Erkennung solcher Probleme blind für diese spezifische Art von Versagen sind. Fünf verschiedene Sicherheitsdetektoren, die darauf ausgeft entwickelt wurden, Backdoors in KI-Modellen zu finden, konnten die Sabotage nicht entdecken. Die einzige Methode, die funktionierte, war eine spezielle Art von Audit, die die Rate der verpassten Diagnosen für verschiedene Gruppen genau an dem Schwellenwert prüft, den das Modell in der Praxis anwendet. Dieses Audit entdeckte fast alle installierten Fehler, während die Standardprüfungen die meisten von ihnen übersahen. Die Forscher kamen zu dem Schluss, dass der einzige Weg, Patienten vor dieser stillen Unterdiagnose zu schützen, darin besteht, sich nicht mehr auf allgemeine Leistungsbewertungen zu verlassen, sondern die Fehlerraten für spezifische Untergruppen exakt an dem Punkt zu überprüfen, an dem die Entscheidung getroffen wird. Sie merkten auch an, dass unvollständige demografische Datensätze in Krankenhäusern einen blinden Fleck erzeugen, der einen großen Teil der Patienten ungeschützt lässt, da das Audit sie nicht sehen kann, wenn ihre Hintergrundinformationen fehlen.

Diese Arbeit impliziert nicht, dass die gesamte medizinische KI defekt ist oder dass diese Angriffe mit minimalem Aufwand leicht durchzuführen sind. Die Forscher betonten, dass der Angriff einen hohen Grad an Zugriff auf die Trainings-Labels erfordert und dass die Kosten des Versagens je nach verwendetem Computernetzwerk variieren. Dennoch beweist die Studie, dass der Pfad zur Sabotage existiert und dass die derzeitigen Abwehrmechanismen unzureichend sind. Der durch diese Methode verursachte Schaden ist von der Art des Bias (Voreingenommenheit), der bereits im Gesundheitswesen existiert, kaum zu unterscheiden, was es leicht macht, ihn auf schlechte Daten zu schieben, statt ihn als bewusste oder unabsichtliche Korruption des Trainingsprozesses zu erkennen. Die Forscher argumentieren, dass die Lösung nicht darin liegt, nach einem versteckten Marker im Bild zu suchen, sondern die Labels selbst zu prüfen und sicherzustellen, dass die Leistung des Modells für jede Gruppe exakt an dem Punkt verifiziert wird, an dem eine Diagnose gestellt wird. Indem sie den Fokus von allgemeinen Rankings auf spezifische Fehlerraten am eingesetzten Schwellenwert verlagern, können Krankenhäuser endlich die Fehler erkennen, die bisher unbemerkt geblieben sind.