ShortKit-ML: an open toolkit for measuring shortcut potential in medical imaging embeddings
ShortKit-ML is een open toolkit die een gekalibreerde conditionele probe introduceert om het potentieel voor shortcuts te meten in bevroren medische beeldvormingsembeddings, waarbij wordt aangetoond dat hoewel de scores correleren met de afhankelijkheid van geconfundeerde classifiers van gevoelige attributen zoals geslacht, het hulpmiddel alleen dit vertrouwen niet kan bevestigen of elimineren zonder ook de classifier head zelf te testen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Medische beeldvorming heeft een punt bereikt waarop kunstmatige intelligentie vaak menselijke experts kan evenaren bij het opsporen van ziekten op röntgenfoto's. Deze systemen werken door eerst een afbeelding om te zetten in een wiskundige samenvatting, een compacte lijst met getallen die de essentiële kenmerken van de foto vastlegt. Deze samenvatting wordt een 'embedding' genoemd. Eenmaal gecreëerd, kan deze samenvatting worden ingevoerd in een eenvoudiger computerprogramma om een diagnose te stellen. Een hoge score garandeert echter niet dat het systeem naar het juiste ding kijkt. Soms leren deze systemen vertrouwen op "shortcuts" (afkortingen). Een shortcut is een signaal dat toevallig het juiste antwoord voorspelt in de trainingsdata, maar geen deel uitmaakt van de werkelijke ziekte. Bijvoorbeeld, een model kan leren om een gebroken heup te voorspellen, niet door naar het bot te kijken, maar door het type scanner te herkennen dat is gebruikt of het ziekenhuis waar de foto is gemaakt. Als de data verandert, falen deze shortcuts en maakt het model gevaarlijke fouten.
Het kernprobleid is dat deze shortcuts vaak binnen de wiskundige samenvatting zelf verborgen zitten. Zelfs voordat een diagnose wordt gesteld, kan de samenvatting al aanwijzingen bevatten over de leeftijd, het geslacht of de etniciteit van een patiënt. Als een model deze aanwijzingen gebruikt om een beslissing te nemen, kan dit onrechtvaardige of onnauwkeurige resultaten opleveren voor bepaalde groepen mensen. De vraag waar onderzoekers zich al lang over buigen, is of ze alleen naar de wiskundige samenvatting kunnen kijken en kunnen zeggen of deze verborgen aanwijzingen bevat, zonder de originele afbeelding of de uiteindelijke diagnose nodig te hebben. Als ze dit "shortcut-potentieel" vroegtijdig kunnen meten, kunnen ze slechte modellen stoppen voordat ze ooit op patiënten worden gebruikt.
Een team van onderzoekers heeft een nieuwe open-source tool gebouwd genaamd ShortKit-ML om deze vraag te beantwoorden. Hun werk richt zich op een specifiek type test: kunnen zij naar een bevroren wiskundige samenvatting kijken en bepalen of deze informatie bevat over een gevoelig kenmerk, zoals het geslacht of de etniciteit van een patiënt, die de diagnose van de ziekte zelf niet verklaart? Om dit te doen, hebben ze een methode ontwikkeld die werkt als een zeer zorgvuldig filter. Ze nemen de samenvatting en het bekende ziektelabel, en vragen een eenvoudig computerprogramma om het gevoelige kenmerk van de patiënt te raden. Als het programma het kenmerk beter kan raden dan op basis van toeval, zelfs terwijl het de ziekte kent, betekent dit dat de samenvatting extra, ongewenste informatie bevat. Om te voorkomen dat deze test wordt misleid door willekeurige ruis, husselen de onderzoekers de gevoelige kenmerken rond binnen groepen patiënten die dezelfde ziektestatus hebben. Dit creëert een baseline van wat een willekeurige gok is, waardoor ze precies kunnen meten hoeveel echte informatie er in de samenvatting verborgen zit.
De onderzoekers zetten deze tool op de proef op twee grote collecties borst-röntgenfoto's, één uit de Verenigde Staten en een andere uit een ander ziekenhuissysteem. Ze onderzochten zeven verschillende soorten vooraf getrainde wiskundige samenvattingen, die als het ware verschillende "ogen" zijn die getraind zijn om medische beelden te zien. Ze controleerden deze samenvattingen op aanwijzingen over geslacht, leeftijd en etniciteit. De resultaten waren duidelijk en consistent: elke samenvatting die ze testten, bevatte informatie over deze kenmerken. Voor geslacht was de verborgen informatie zeer sterk; de tool kon het geslacht van een patiënt bijna perfect identificeren door enkel naar de samenvatting te kijken, zelfs wanneer het ziektelabel bekend was. De resultaten voor leeftijd waren ook sterk, maar iets minder zo. Etniciteit was moeilijker te detecteren, en de sterkte van het signaal varieerde afhankelijk van de specifieke collectie beelden en het type samenvatting gebruikt, maar de tool vond nog steeds sporen ervan in de meeste gevallen.
Om te begrijpen of het vinden van deze verborgen aanwijzingen er daadwerkelijk toe deed, voerden de onderzoekers een tweede experiment uit. Ze namen deze zelfde samenvattingen en trainden een nieuw, eenvoudig computerprogramma om een diagnose te stellen, maar gaven het doelbewust trainingsdata waarbij de ziekte en het gevoelige kenmerk door elkaar waren gehusseld. In deze rommelige data was het geslacht of de leeftijd van een patiënt sterk gekoppeld aan het feit of ze de ziekte hadden, wat een perfecte valstrik vormde voor een shortcut. Ze ontdekten dat de samenvattingen die in de eerste test de sterkste verborgen aanwijzingen vertoonden, ook de samenvattingen waren die leidden tot het zwaarste vertrouwen in die shortcuts door het nieuwe programma. Wanneer de trainingsdata rommelig was, maakten de programma's die gebouwd waren op de "lekke" samenvattingen grote fouten, waarbij ze de ziekte voorspelden op basis van het geslacht van de patiënt in plaats van op de röntgenfoto zelf. Dit bevestigde dat de score van de tool een nuttig waarschuwingssignaal is: een hoge score op de samenvatting suggereert dat een model dat erop gebouwd is, waarschijnlijk onrechtvaardig zal zijn als de trainingsdata niet perfect is.
Het team probeerde het probleem ook op te lossen door vier verschillende methoden te gebruiken om de samenvattingen te "reinigen" voordat het diagnoseprogramma werd getraind. Ze probeerden technieken die proberen de verborgen aanwijzingen te verwijderen, zoals adversarial training, wat probeert het systeem te misleiden zodat het het gevoelige kenmerk vergeet. Verrassend genoeg werkten deze methoden niet goed. Zelfs nadat de samenvattingen door deze tools waren "gereinigd", vonden de diagnoseprogramma's de shortcuts nog steeds en gebruikten ze deze. De enige methode die het oneerlijke gedrag succesvol stopte, was simpelweg het hertrainen van het uiteindelijke diagnoseprogramma op een perfect gebalanceerde dataset, waarbij elke groep patiënten gelijk werd vertegenwoordigd. Dit werkte, maar het veranderde de samenvatting zelf niet; het veranderde alleen hoe het uiteindelijke programma werd onderwezen. Dit suggereert dat de beslissing om een shortcut te gebruiken bij veel van deze systemen wordt genomen door het uiteindelijke programma, en niet door de samenvatting, en dat het reinigen van de samenvatting alleen vaak niet genoeg is.
De onderzoekers testten hun tool ook op een nep-shortcut die ze zelf hadden gecreëerd. Ze namen een set röntgenfoto's en plaatsten een klein wit vierkantje op de afbeeldingen van patiënten met een specifieke ziekte. Vervolgens voerden ze deze beelden in het systeem in en vroegen of de samenvatting het vierkantje kon detecteren. De tool vond het onmiddellijk en correct in elke enkele test, wat bewees dat het in staat is om echte, fysieke shortcuts te detecteren wanneer deze aanwezig zijn. De studie onthulde echter ook een beperking: de tool is erg goed in het vinden van shortcuts die het gemiddelde uiterlijk van een groep verschuiven, maar mist subtielere patronen waarbij de groepen er gemiddeld hetzelfde uitzien maar op andere manieren verschillen. Dit betekent dat een schone score niet garandeert dat een model veilig is, maar een vuile score is een definitieve waarschuwing.
Uiteindelijk biedt dit werk een praktische manier om de verborgen vooroordelen in medische AI te auditeren voordat ze schade aanrichten. Het laat zien dat de meeste standaard medische beeld-samenvattingen inderdaad informatie dragen over de demografische kenmerken van een patiënt, en dat deze informatie gemakkelijk kan leiden tot onrechtvaardige voorspellingen als de trainingsdata gebrekkig is. De studie concludeert dat hoewel we dit potentieel voor shortcuts kunnen meten, het oplossen ervan niet zo simpel is als het opschonen van de data. Het uiteindelijke diagnoseprogramma moet ook zorgvuldig getest en getraind worden. De tool is nu beschikbaar voor anderen om te gebruiken, als een manier om het fundament van medische AI-systemen te controleren en ervoor te zorgen dat ze gebouwd zijn op bewijs in plaats van op verborgen vooroordelen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.