Discrimination Transfers but Thresholds Do Not: External Validation of Convolutional and Transformer Pneumonia Classifiers on Adult and Paediatric Chest Radiographs

Wanneer een arts een vermoeden heeft van pneumonie, is de eerste stap vaak een röntgenfoto van de borstkas, een eenvoudig beeld dat het verborgen landschap van de longen onthult. Decennialang heeft de interpretatie van deze beelden vertrouwd op het menselijk oog, een vaardigheid die zelfs onder specialisten varieert. In de afgelopen jaren hebben computerprogramma's, getraind op enorme bibliotheken van medische beelden, beloofd deze taak te automatiseren door te fungeren als een tweede paar ogen dat nooit moe wordt. Deze kunstmatige intelligentiesystemen leren patronen te herkennen die geassocieerd worden met infectie, met als doel snelle, consistente diagnoses te leveren. Echter, een kritische vraag bleef op de achtergrond van deze technologische race hangen: als een computer leert om pneumonie te herkennen op röntgenfoto's van het ene ziekenhuis, kan hij de ziekte dan werkelijk begrijpen wanneer hij röntgenfoto's ziet van een totaal ander ziekenhuis, of van een kind in plaats van een volwassene? Het vermogen van deze programma's om onderscheid te maken tussen een gezonde en een zieke long is slechts één deel van het verhaal; de echte test ligt in de vraag of de specifieke regels die zij gebruiken om een diagnose te stellen en het vertrouwen dat zij uitdrukken in hun antwoorden, standhouden wanneer de wereld om hen heen verandert.

Een team van onderzoekers zette zich in om deze vraag te beantwoorden door een grote verscheidenheid aan deze computermodellen te bouwen en te testen. Ze begonnen met een enorme collectie van meer dan 18.000 röntgenfoto's van de borstkas van volwassenen, waarbij ze de gegevens zorgvuldig verdeelden zodat de modellen konden leren van sommige beelden en getest konden worden op andere die ze nog nooit eerder hadden gezien. Ze trainden vijftien verschillende soorten neurale netwerken, wat de digitale hersenen achter de systemen zijn, met behulp van diverse methoden om te zien welke het best presteerden. Sommige van deze netwerken werden vanaf nul opgebouwd, terwijl andere werden aangepast van systemen die al hadden geleerd objecten in alledaagse foto's te herkennen. De onderzoekers waren bijzonder geïnteresseerd in een nieuwer type netwerk, een zogenaamde 'transformer', die afbeeldingen verwerkt op een manier die nabootst hoe mensen een scène scannen: door tegelijkertijd naar het hele plaatje en de onderdelen ervan te kijken. Na de training selecteerden ze het best presterende model en creëerden ze ook een team van vijf topmodellen die gezamenlijk stemden, in de hoop dat een groepsbesluit betrouwbaarder zou zijn dan een enkelvoudige mening.

De echte test kwam toen deze bevroren modellen, die niet langer konden leren of veranderen, werden getoond aan röntgenfoto's van twee totaal verschillende groepen mensen. De eerste groep bestond uit duizenden afbeeldingen van kinderen, een populatie met kleinere longen en andere ziektepatronen. De tweede groep was een collectie röntgenfoto's van volwassenen uit een ander land, die een algemene ziekenhuispopulatie vertegenwoordigde met een veel lager percentage pneumonie dan de oorspronkelijke trainingsdata. De resultaten onthulden een fascinerende splitsing in hoe de technologie zich gedraagt. De modellen bleken opmerkelijk goed in het simpelweg onderscheiden van een gezonde long van een zieke long, ongeacht of de patiënt een kind of een volwassene was. In de groep kinderen bereikten de modellen een AUC van 0,925, en in de groep volwassenen bereikten ze een AUC van 0,888. Dit vermogen om tussen klassen te onderscheiden, bekend als discriminatie, vertaalde zich goed naar verschillende populaties.

Echter, het verhaal veranderde drastisch toen de onderzoekers keken naar hoe de modellen daadwerkelijk hun beslissingen namen. Een computermodel zegt niet alleen "ziek" of "gezond"; het berekent een waarschijnlijkheid, een getal dat vertegenwoordigt hoe groot de kans is dat de patiënt ziek is. Om dit getal om te zetten in een diagnose, moet een mens een drempelwaarde instellen, een afkappunt waar alles daarboven als pneumonie wordt beschouwd. De onderzoekers ontdekten dat de drempelwaarde die perfect werkte voor de oorspronkelijke gegevens van volwassenen, rampzalig faalde wanneer deze op de nieuwe groepen werd toegepast. Dezelfde regel die 84% van de gevallen van pneumonie in de oorspronkelijke groep oppakte, ving slechts 59% van de gevallen bij kinderen en slechts 39% in de nieuwe groep volwassenen. De modellen zagen de ziekte nog steeds, maar ze waren te voorzichtig om het aan te merken. Wanneer de onderzoekers een kleine steekproef van de nieuwe gegevens namen om het afkappunt opnieuw in te stellen, werden de modellen onmiddellijk weer accuraat, met een AUC van 0,83 bij kinderen en 0,79 bij volwassenen. Dit toonde aan dat de interne logica van de modellen solide was, maar dat hun besluitvormingsregels rigide en gebonden waren aan de specifieke omgeving waar zij voor het eerst op getraind waren.

Nog een laag van complexiteit kwam aan het licht toen de onderzoekers onderzochten hoe het vertrouwen was dat de modellen uitdrukten in hun antwoorden. In de oorspronkelijke trainingsdata waren de modellen gekalibreerd om waarschijnlijkheidsscores te geven die overeenkwamen met de werkelijke frequentie van de ziekte. Maar wanneer ze geconfronteerd werden met de nieuwe groepen, stortte deze kalibratie in. In de groep kinderen, waar pneumonie extreem veel voorkomt, onderschatten de modellen het risico drastisch, waarbij ze een veel lagere kans op ziekte voorspelden dan er in werkelijkheid aanwezig was. In de nieuwe groep volwassenen, waar de ziekte zeldzaam was, bleven de waarschijnlijkheidsschattingen van de modellen verrassend accuraat. Dit suggereert dat hoewel de modellen de visuele kenmerken van pneumonie kunnen leren, hun begrip van hoe algemeen de ziekte is in een specifieke setting fragiel is en gemakkelijk wordt verstoord door veranderingen in de patiëntenpopulatie.

De studie onthulde ook dat de modellen gevoelig waren voor de manier waarop de röntgenfoto's werden gemaakt. In de oorspronkelijke data waren afbeeldingen die met de röntgenmachine aan de voorkant van de patiënt werden genomen, bekend als anteroposterieure weergaven, veel vaker geassocieerd met pneumonie dan afbeeldingen die van achteren werden genomen, bekend als postero-anterieure weergaven. De modellen leerden deze aanwijzing te gebruiken; ze presteerden slechter op de voorwaartse beelden omdat deze moeilijker te lezen waren, niet omdat de modellen in de war waren. Toen de onderzoekers probeerden de modellen tijdens de training te dwingen deze aanwijzing te negeren, werden de modellen feitelijk slechter in hun taak, wat suggereert dat de moeilijkheid echt en inherent was aan het type afbeelding, en niet slechts een methode was die de modellen exploiteerden. Bovendien ontdekten de onderzoekers dat het beste model voor volwassenen niet noodzakelijkerwijs het beste was voor kinderen. De rangorde van welk 'digitaal brein' superieur was, veranderde afhankelijk van de leeftijd van de patiënt, wat betekent dat een model dat gekozen is voor volwassen ziekenhuizen, niet de juiste keuze kan zijn voor een pediatrische afdeling.

Uiteindelijk laat het onderzoek zien dat hoewel kunstmatige intelligentie met een hoog niveau van vaardigheid kan leren om pneumonie te zien — een vaardigheid die overdraagbaar is naar verschillende populaties — de praktische instrumenten die nodig zijn om die vaardigheid in een ziekenhuis te gebruiken, minder gemakkelijk reizen. Het vermogen om onderscheid te maken tussen ziekte en gezondheid is robuust, maar de specifieke regels voor het stellen van een diagnose en de manier waarop het systeem zijn vertrouwen uitdrukt, zijn diep geworteld in de lokale context. Om deze systemen bruikbaar te maken in de echte wereld, kunnen ze niet simpelweg worden gedownload en zo worden gebruikt als zijnde. Ze vereisen een lokaal afstemmingsproces, waarbij de beslissingsregels worden aangepast aan de specifieke mix van patiënten en de prevalentie van de ziekte in elk nieuw ziekenhuis. De studie concludeert dat voor deze technologieën om vertrouwd te worden, toekomstige rapportages verder moeten gaan dan enkel te vermelden hoe goed een model het verschil kan zien tussen ziek en gezond; ze moeten ook laten zien hoe goed een model presteert op de specifieke beslispunten die in de praktijk worden gebruikt, en hoe het vertrouwen standhoudt wanneer de wereld verandert.