Subgroup performance analysis of adaptation strategies for chest X-ray foundation models

In der Welt der medizinischen Bildgebung ist die künstliche Intelligenz mittlerweile mächtig genug geworden, um sich eine Thorax-Röntgenaufnahme anzusehen und Anzeichen von Krankheiten mit bemerkenswerter Geschwindigkeit zu erkennen. Diese Systeme, die oft als Foundation Models bezeichnet werden, sind wie riesige Bibliotheken visuellen Wissens, die auf Millionen von Bildern trainiert wurden. Sie lernen, Muster im menschlichen Körper zu erkennen, die selbst erfahrenen Ärzten entgehen könnten. Doch über diesem Fortschritt schwebt ein Schatten: Diese Modelle können unbeabsichtigt lernen, sich auf Abkürzungen zu verlassen. Anstatt sich strikt auf die medizinischen Belege zu konzentrieren, könnte ein Computer lernen, das Geschlecht oder die ethnische Zugehörigkeit eines Patienten anhand subtiler Hinweise im Bild zu erraten, wie etwa der Art der verwendeten Krankenhausausrüstung oder der Art und Weise, wie die Röntgenaufnahme gemacht wurde. Wenn das Modell diese Abkürzungen nutzt, um seine Diagnose zu stellen, kann es unfair werden, indem es bei einigen Personengruppen gut funktioniert, während es bei anderen versagt. Dies ist ein kritisches Anliegen, da medizinische KI zunehmend eingesetzt wird, um reale Entscheidungen über die Patientenversorgung zu treffen, und Fairness ebenso wichtig ist wie Genauigkeit.

Forscher des Imperial College London machten sich daran zu verstehen, wie die spezifischen Methoden, mit denen diese leistungsstarken Modelle für den Einsatz im Krankenhaus angepasst werden, diese Fairness beeinflussen. Sie konzentrierten sich auf ein populäres Thorax-Röntgen-Modell namens Rad-DINO, das als gefrorenes, vorab trainiertes „Gehirn“ fungiert, das sich während der Studie nicht verändert. Um dieses Gehirn nützlich zu machen, um spezifische Krankheiten wie Pneumonie oder Lungenläsionen zu erkennen, musste das Team eine neue, kleinere Entscheidungsebene oben aufsetzen. Sie testeten drei verschiedene Wege, um diese Ebene aufzubauen. Der erste war eine einfache, direkte Verbindung. Der zweite fügte eine kleine, mehrschichtige Verarbeitungseinheit hinzu. Die dritte, komplexere Methode agierte wie ein ausgeklügelter Filter, der Informationen aus vielen verschiedenen Tiefen der internen Schichten des Modells sammelte und diese kombinierte, um eine Entscheidung zu treffen. Das Team wollte sehen, ob die komplexere, ausdrucksstärkere Methode nicht nur die Fähigkeit des Modells verbessert, Krankheiten zu finden, sondern auch die unfairen Leistungsunterschiede zwischen verschiedenen Patientengruppen, wie etwa Männern und Frauen oder Menschen unterschiedlicher ethnischer Herkunft, verringert.

Die Forscher evaluierten diese Methoden anhand eines massiven Datensatzes von Thorax-Röntgenaufnahmen aus einem Krankenhaus in den Vereinigten Staaten und stellten sicher, dass die Testgruppe repräsentativ und ausgewogen für verschiedene Demografien war. Sie untersuchten acht verschiedene Arten von Lungenerkrankungen. Die Ergebnisse zeigten, dass die komplexeste Methode, die Informationen aus mehreren Schichten zusammenführte, tatsächlich die beste Gesamtgenauigkeit beim Auffinden von Krankheiten lieferte. Sie war am fähigsten darin, zwischen kranken und gesunden Lungen zu unterscheiden. Dennoch fanden die Forscher eine überraschende und kontraintuitive Wahrheit: Besser in der Hauptaufgabe zu sein, machte das System nicht automatisch fairer. Tatsächlich variierte der Einfluss des komplexen Modells auf die Fairness je nach spezifischer Krankheit und Untergruppe; für einige Zustände verringerte es die Leistungsunterschiede im Vergleich zu einfacheren Modellen, während es bei anderen größere Disparitäten einführte. Es gab keinen konsistenten Trend, dass eine Methode universell fairer war als die anderen über alle Aufgaben hinweg.

Die vielleicht aufschlussreichste Entdeckung betraf die Art und Weise, wie das Modell über geschützte Merkmale wie die ethnische Zugehörigkeit „dachte“. Die Forscher maßen, wie stark die internen Signale des Modells das Geschlecht, die ethnische Zugehörigkeit oder den Winkel der Röntgenaufnahme vorhersagen konnten. Sie fanden heraus, dass das komplexe Modell die ethnische Zugehörigkeit viel stärker kodierte als die einfachen Modelle, was bedeutete, dass es ein sehr klares internes Signal für den ethnischen Hintergrund eines Patienten besaß. Eine natürliche Annahme wäre, dass ein Modell, das das Wissen über die ethnische Zugehörigkeit so gut besitzt, dieses Wissen nutzen würde, um Voreingenommenheit zu erzeugen oder zu verstärken. Doch die Daten zeigten keinen solchen Zusammenhang. Das Modell, das die ethnische Zugehörigkeit am schwächsten kodierte, produzierte tatsächlich die größten Leistungsunterschiede zwischen den ethnischen Gruppen. Umgekehrt führte das Modell, das die ethnische Zugehörigkeit am stärksten kodierte, nicht zwangsläufig zu der größten Ungerechtigkeit. Dies deutet darauf hin, dass die bloße Messung dessen, wie viel ein Modell über die Identität einer Person weiß, nicht ausreicht, um vorherzusagen, ob es sie fair behandelt.

Die Studie untersuchte auch, ob die Änderung der Schichten, die in der komplexen Methode kombiniert wurden, helfen würde. Sie versuchten, frühe Schichten, die grundlegende Formen erfassen, mit späteren Schichten zu mischen, die komplexe Konzepte verstehen. Sie fanden heraus, dass die Wahl der Schichten zwar die Gesamtgenauigkeit für einige Krankheiten veränderte, aber kein konsistentes Muster für die Fairness erzeugte. Manchmal half eine bestimmte Kombination einer Gruppe, während sie einer anderen schadete, ohne dass es eine klare Regel gab, der man folgen konnte. Die Forscher kamen zu dem Schluss, dass es keinen einzelnen „magischen Schalter“ oder Standardeinstellung gibt, die sowohl hohe Genauigkeit als auch Fairness garantieren. Eine Methode, die für eine Krankheit gut funktioniert, könnte für eine andere versagen, und eine Methode, die für eine Gruppe fair ist, muss es für eine andere nicht sein.

Letztendlich zeigt die Arbeit, dass die Verbesserung der Leistungsfähigkeit medizinischer KI das Problem der Voreingenommenheit nicht von selbst löst. Die Beziehung zwischen der Leistungsfähigkeit eines Modells und der Fairness, mit der es verschiedene Menschen behandelt, ist unvorhersehbar und hängt vollständig von der jeweiligen Aufgabe ab. Die Autoren argumentieren, dass wir nicht davon ausgehen können, dass ein klügeres Modell automatisch ein faireres Modell ist, noch können wir davon ausgehen, dass ein Modell, das Identitätsinformationen verbirgt, sicher ist. Stattdessen muss Fairness für jede einzelne Anwendung direkt überprüft werden, indem man sich die tatsächlichen Ergebnisse für jede Gruppe von Menschen ansieht, anstatt Fairness aus der internen Komplexität oder dem Gesamtergebnis des Modells abzuleiten. Der Weg zu vertrauenswürdiger medizinischer KI erfordert diese direkte, fallweise Untersuchung, um sicherzustellen, dass die Vorteile fortschrittlicher Technologie allen Patienten gleichermaßen zugutekommen.