Discrimination Transfers but Thresholds Do Not: External Validation of Convolutional and Transformer Pneumonia Classifiers on Adult and Paediatric Chest Radiographs

Wenn ein Arzt den Verdacht auf eine Lungenentzündung hat, ist der erste Schritt oft eine Röntgenaufnahme des Brustkorbs, ein einfaches Bild, das die verborgene Landschaft der Lungen offenbart. Jahrzehntelang hing die Interpretation dieser Bilder von menschlichen Augen ab – einer Fähigkeit, die selbst unter Spezialisten variiert. In den letzten Jahren haben Computerprogramme, die auf riesigen Bibliotheken medizinischer Bilder trainiert wurden, versprochen, diese Aufgabe zu automatisieren, indem sie als ein zweites Paar Augen fungieren, das niemals ermüdet. Diese Systeme der künstlichen Intelligenz lernen, Muster zu erkennen, die mit Infektionen assoziiert sind, mit dem Ziel, schnelle und konsistente Diagnosen zu liefern. Doch eine kritische Frage schwebte jedoch im Hintergrund dieses technologischen Vorstoßes mit: Wenn ein Computer lernt, eine Lungenentzündung auf Röntgenbildern aus einem Krankenhaus zu erkennen, kann er die Krankheit wirklich verstehen, wenn er Röntgenbilder aus einem völlig anderen Krankenhaus oder von einem Kind statt eines Erwachsenen sieht? Die Fähigkeit dieser Programme, zwischen einer kranken und einer gesunden Lunge zu unterscheiden, ist nur ein Teil der Geschichte; der wahre Test liegt darin, ob die spezifischen Regeln, die sie für eine Diagnose verwenden, und das Vertrauen, das sie in ihren Antworten ausdrücken, standhalten, wenn sich die Welt um sie herum verändert.

Ein Forschungsteam machte sich daran, diese Frage zu beantworten, indem es eine Vielzahl dieser Computermodelle entwickelte und testete. Sie begannen mit einer massiven Sammlung von über 18.000 Röntgenaufnahmen des Brustkorbs von Erwachsenen und teilten die Daten sorgfältig auf, sodass die Modelle an einigen Bildern lernen und an anderen, die sie noch nie zuvor gesehen hatten, getestet werden konnten. Sie trainierten fünfzehn verschiedene Arten von neuronalen Netzen – den digitalen Gehirnen hinter den Systemen – mit verschiedenen Methoden, um zu sehen, welche am besten abschnitten. Einige dieser Netzwerke wurden von Grund auf neu erstellt, während andere von Systemen adaptiert wurden, die bereits gelernt hatten, Objekte auf Alltagsfotos zu erkennen. Die Forscher waren besonders an einem neueren Typ von Netzwerk namens „Transformer“ interessiert, der Bilder auf eine Weise verarbeitet, die der Art und Weise nachempfunden ist, wie Menschen eine Szene scannen: indem er das Gesamtbild und seine Teile gleichzeitig betrachtet. Nach dem Training wählten sie das leistungsstärkste Einzelmodell aus und erstellten zudem ein Team aus fünf Top-Modellen, die gemeinsam abstimmten, in der Hoffnung, dass eine Gruppenentscheidung zuverlässiger als eine Einzelmeinung sei.

Der wahre Test kam, als diese „eingefrorenen“ Modelle, die nicht mehr lernen oder sich verändern konnten, Röntgenaufnahmen von zwei völlig unterschiedlichen Personengruppen gezeigt wurden. Die erste Gruppe bestand aus tausenden Bildern von Kindern, einer Population mit kleineren Lungen und anderen Krankheitsmustern. Die zweite Gruppe war eine Sammlung von Röntgenaufnahmen von Erwachsenen aus einem anderen Land, die eine allgemeine Krankenhauspopulation repräsentierte, in der die Rate der Lungenentzündungen weitaus niedriger war als in den ursprünglichen Trainingsdaten. Die Ergebnisse zeigten eine faszinierende Spaltung im Verhalten der Technologie. Die Modelle erwiesen sich als bemerkenswert gut darin, schlichtweg den Unterschied zwischen einer gesunden und einer kranken Lunge zu erkennen, unabhängig davon, ob es sich um ein Kind oder einen Erwachsenen handelte. In der Kindergruppe erreichten die Modelle einen AUC-Wert von 0,925, und in der Erwachsenengruppe erreichten sie einen AUC-Wert von 0,888. Diese Fähigkeit, zwischen Klassen zu unterscheiden – bekannt als Diskriminierung –, übertrug sich gut auf verschiedene Populationen.

Die Geschichte änderte sich jedoch dramatisch, als die Forscher untersuchten, wie die Modelle tatsächlich ihre Entscheidungen trafen. Ein Computermodell sagt nicht einfach nur „krank“ oder „gesund“; es berechnet eine Wahrscheinlichkeit, eine Zahl, die angibt, wie wahrscheinlich es hält, dass der Patient krank ist. Um diese Zahl in eine Diagnose zu verwandeln, muss ein Mensch einen Schwellenwert festlegen – einen Grenzwert, bei dem alles darüber als Lungenentzündung bezeichnet wird. Die Forscher fanden heraus, dass der Schwellenwert, der für die ursprünglichen Erwachsenendaten perfekt funktionierte, bei der Anwendung auf die neuen Gruppen kläglich versagte. Dieselbe Regel, die 84 % der Lungenentzigungsfälle in der ursprünglichen Gruppe erfasste, erfasste nur 59 % der Fälle bei Kindern und lediglich 39 % in der neuen Erwachsenengruppe. Die Modelle sahen die Krankheit zwar immer noch, aber sie waren zu vorsichtig, um sie als solche zu benennen. Als die Forscher eine kleine Stichprobe der neuen Daten nahmen, um den Grenzwert neu festzusetzen, wurden die Modelle sofort wieder genau und erreichten einen AUC-Wert von 0,83 bei Kindern und 0,79 bei Erwachsenen. Dies zeigte, dass die interne Logik der Modelle fundiert war, ihre Entscheidungsregeln jedoch starr und an das spezifische Umfeld gebunden waren, in dem sie zuerst trainiert worden waren.

Eine weitere Ebene der Komplexität entstand, als die Forscher untersuchten, welches Vertrauen die Modelle in ihren Antworten ausdrückten. In den ursprünglichen Trainingsdaten waren die Modelle so kalibriert, dass sie Wahrscheinlichkeitswerte lieferten, die der tatsächlichen Häufigkeit der Krankheit in der realen Welt entsprachen. Doch als sie mit den neuen Gruppen konfrontiert wurden, brach diese Kalibrierung zusammen. In der Gruppe der Kinder, in der Lungenentzündungen extrem häufig vorkamen, unterschätzten die Modelle das Risiko drastisch und sagten eine viel geringere Krankheitswahrscheinlichkeit voraus, als tatsächlich vorhanden war. In der neuen Erwachsenengruppe, in der die Krankheit selten war, blieben die Wahrscheinlichkeitsschätzungen der Modelle überraschend genau. Dies deutet darauf darauf hin, dass die Modelle zwar die visuellen Merkmale einer Lungenentzündung erlernen können, ihr Verständnis dafür, wie verbreitet die Krankheit in einem bestimmten Umfeld ist, jedoch fragil ist und durch Veränderungen der Patientenpopulation leicht gestört werden kann.

Die Studie deckte auch auf, dass die Modelle empfindlich darauf reagierten, wie die Röntgenaufnahmen gemacht wurden. In den ursprünglichen Daten waren Bilder, die mit der Röntgenmaschine vor dem Patienten aufgenommen wurden – bekannt als anteroposteriore Ansichten –, wesentlich wahrscheinlicher mit einer Lungenentzündung assoziiert als Bilder, die von hinten aufgenommen wurden – bekannt als posteroassistore Ansichten. Die Modelle lernten, diesen Hinweis zu nutzen; sie schnitten bei den frontalen Aufnahmen schlechter ab, weil diese schwieriger zu lesen waren, nicht weil die Modelle verwirrt waren. Als die Forscher versuchten, die Modelle während des Trainings dazu zu zwingen, diesen Hinweis zu ignorieren, wurden die Modelle in ihrer Leistung tatsächlich schlechter, was darauf hindeutete, dass die Schwierigkeit real und der Bildart inhärent war und nicht bloß eine Methode darstellte, die die Modelle ausnutzten. Darüber hinaus fanden die Forscher heraus, dass das beste Modell für Erwachsene nicht zwangsläufig das beste für Kinder war. Die Rangfolge, welches digitale Gehirn überlegen war, änderte sich je nach Alter des Patienten, was bedeutet, dass ein Modell, das für Erwachsenenkrankenhäuser ausgewählt wurde, nicht unbedingt die richtige Wahl für eine pädiatrische Station ist.

Letztendlich zeigt die Forschung, dass künstliche Intelligenz zwar in der Lage ist, eine Lungenentzündung mit einem hohen Maß an Geschick zu erkennen, das über verschiedene Populationen hinweg Bestand hat, die praktischen Werkzeuge, die man benötigt, um dieses Geschick in einem Krankenhaus anzuwenden, jedoch nicht so leicht übertragen werden können. Die Fähigkeit, eine Krankheit zu unterscheiden, ist robust, aber die spezifischen Regeln für die Stellung einer Diagnose und die Art und Weise, wie das System sein Vertrauen ausdrückt, sind tief mit dem lokalen Kontext verwoben. Damit diese Systeme in der realen Welt nützlich sein können, können sie nicht einfach heruntergeladen und eins zu eins verwendet werden. Sie erfordern einen lokalen Abstimmungsprozess, bei dem die Entscheidungsregeln angepasst werden, um dem spezifischen Patientenmix und der Häufigkeit der Krankheit in jedem neuen Krankenhaus gerecht zu werden. Die Studie kommt zu dem Schluss, dass für das Vertrauen in diese Technologien zukünftige Berichte über den bloßen Standpunkt hinausgehen müssen, wie gut ein Modell zwischen gesund und krank unterscheiden kann; sie müssen auch zeigen, wie gut das Modell an den in der Praxis verwendeten spezifischen Entscheidungspunkten abschneidet und wie standhaft sein Vertrauen ist, wenn sich die Welt verändert.