Subgroup performance analysis of adaptation strategies for chest X-ray foundation models

In de wereld van medische beeldvorming is kunstmatige intelligentie krachtig genoeg geworden om naar een borstfoto te kijken en met opmerkelijke snelheid tekenen van ziekte te ontdekken. Deze systemen, vaak foundation models genoemd, zijn als enorme bibliotheken van visuele kennis die zijn getraind op miljoenen afbeeldingen. Ze leren patronen in het menselijk lichaam te herkennen die zelfs ervaren artsen zouden kunnen missen. Echter, een schaduw hangt boven deze vooruitgang: deze modellen kunnen onbedoeld leren om te vertrouwen op sluiproutes. In plaats van strikt naar het medische bewijs te kijken, kan een computer leren om de etniciteit of het geslacht van een patiënt te raden op basis van subtiele aanwijzingen in de afbeelding, zoals het type ziekenhuisapparatuur dat wordt gebruikt of de manier waarop de röntgenfoto is genomen. Als het model deze sluiproutes gebruikt om zijn diagnose te stellen, kan het onrechtvaardig worden, waarbij het goed presteert voor sommige groepen mensen terwijl het voor anderen faalt. Dit is een kritiek punt van zorg omdat medische AI steeds vaker wordt gebruikt om echte beslissingen te nemen over de patiëntenzorg, en rechtvaardigheid is even belangrijk als nauwkeurigheid.

Onderzoekers aan het Imperial College London zetten zich in om te begrijpen hoe de specifieke methoden die worden gebruikt om deze krachtige modellen aan te passen voor gebruik in het ziekenhuis, invloed hebben op deze rechtvaardigheid. Ze richtten zich op een populair borstfoto-model genaamd Rad-DINO, dat fungeert als een bevroren, vooraf getraind brein dat tijdens de studie niet verandert. Om dit brein nuttig te maken voor het opsporen van specifieke ziekten zoals pneumonie of longlaesies, moest het team een nieuwe, kleinere besluitvormingslaag erbovenop plaatsen. Ze testten drie verschillende manieren om deze laag te bouwen. De eerste was een eenvoudige, directe verbinding. De tweede voegde een kleine, meerlaagse verwerkingseenheid toe. De derde, complexere methode, fungeerde als een geavanceerd filter dat informatie verzamelde uit veel verschillende diepten van de interne lagen van het model en deze combineerde om een beslissing te nemen. Het team wilde zien of de complexere, expressievere methode niet alleen het vermogen van het model zou verbeteren om ziekten te vinden, maar ook de onrechtvaardige verschillen in prestaties tussen verschillende patiëntengroepen, zoals mannen en vrouwen, of mensen van verschillende rassen, zou verkleinen.

De onderzoekers evalueerden deze methoden met behulp van een enorme dataset van borstfoto's van een ziekenhuis in de Verenigde Staten, waarbij ze ervoor zorgden dat de testgroep gebalanceerd was om verschillende demografieën eerlijk te vertegenwoordigen. Ze keken naar acht verschillende soorten longziekten. De resultaten lieten zien dat de meest complexe methode, die informatie uit meerdere lagen verzamelde, inderdaad de beste algehele nauwkeurigheid produceerde voor het vinden van ziekten. Het was het meest in staat om onderscheid te maken tussen zieke en gezonde longen. Echter, het team kwam tot een verrassende en contra-intuïtieve waarheid: beter zijn in de hoofdtaken maakte een systeem niet automatisch rechtvaardiger. Sterker nog, de impact van het complexe model op de rechtvaardigheid varieerde afhankelijk van de specifieke ziekte en subgroep; voor sommige aandoeningen verminderde het de prestatiekloof vergeleken met eenvoudigere modellen, terwijl het voor andere juist grotere ongelijkheden introduceerde. Er was geen consistente trend waarbij één methode universeel rechtvaardiger was dan de andere over alle taken heen.

Misschien wel de meest onthullende ontdekking ging over hoe het model "dacht" over beschermde kenmerken zoals ras. De onderzoekers maten hoe sterk de interne signalen van het model in staat waren om de etniciteit, het geslacht of de hoek van de röntgenfoto van een patiënt te voorspellen. Ze ontdekten dat het complexe model etniciteit veel sterker codeerde dan de eenvoudige modellen, wat betekende dat het een zeer duidelijke interne signaal had voor de raciale achtergrond van een patiënt. Een natuurlijke aanname zou zijn dat een model dat ras zo goed "kent", die kennis zou gebruiken om vooroordelen te creëren of te versterken. Toch toonden de gegevens geen dergelijke link aan. Het model dat etniciteit het zwakst codeerde, vertoonde de grootste prestatiekloven tussen raciale groepen. Omgekeerd creëerde het model dat etniciteit het sterkst codeerde niet noodzakelijkerwijs de grootste onrechtvaardigheid. Dit suggereğert dat het simpelweg meten hoeveel een model weet over de identiteit van een persoon, niet voldoende is om te voorspellen of het die persoon rechtvaardig zal behandelen.

De studie onderzocht ook of het veranderen van de lagen die in de complexe methode werden gecombineerd, zou helpen. Ze probeerden vroege lagen, die basisvormen vastleggen, te mengen met latere lagen, die complexe concepten begrijpen. Ze ontdekten dat hoewel de keuze van de lagen de algehele nauwkeurigheid voor sommige ziekten veranderde, dit geen consistent patroon voor rechtvaardigheid creëerde. Soms hielp een specifieke combinatie één groep, terwijl het een andere benadeelde, zonder dat er een duidelijke regel te volgen was. De onderzoekers concludeerden dat er geen enkele "magische schakelaar" of standaardinstelling is die zowel hoge nauwkeurigheid als rechtvaardigheid garandeert. Een methode die goed werkt voor de ene ziekte, kan falen voor een andere, en een methode die rechtvaardig is voor de ene groep, is dat misschien niet voor een andere.

Uiteindelijk laat het werk zien dat het verbeteren van de kracht van medische AI het probleem van bias niet uit zichzelf oplost. De relatie tussen hoe goed een model presteert en hoe rechtvaardig het verschillende mensen behandelt, is onvoorspelbaar en hangt volledig af van de specifieke taak. De auteurs betogen dat we er niet vanuit kunnen gaan dat een slimmer model een rechtvaardiger model is, noch kunnen we aannemen dat een model dat identiteitsinformatie verbergt, veilig is. In plaats daarvan moet rechtvaardigheid direct worden gecontroleerd voor elke individuele toepassing, waarbij gekeken wordt naar de werkelijke resultaten voor elke groep mensen, in plaats van rechtvaardigheid af te leiden uit de interne complexiteit van het model of de algemene score. Het pad naar betrouwbare medische AI vereist deze directe, gevalideerde controle per geval, om ervoor te zorgen dat de voordelen van geavanceerde technologie gelijkelijk worden gedeeld door alle patiënten.