Calibration and Threshold Selection of Machine Learning Classifiers for Breast Tumour Diagnosis: A Decision-Support Study for Al-Driven Clinical Screening
Deze studie evalueert de prestaties, kalibratie en drempelwaarde selectie van vier machine learning-classificatoren op de Wisconsin Diagnostic Breast Cancer-dataset, waarbij wordt onthuld dat hoewel modellen een hoge nauwkeurigheid en AUC bereiken, hun waarschijnlijkheidskalibratie varieert per algoritme en dat het bereiken van doelgestelde sensitiviteitsdrempels onzeker blijft vanwege beperkte steekproefomvang, wat kritieke overwegingen voor AI-gestuurde klinische besluitvormingsondersteuning benadrukt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van medische screening is het doel vaak simpelweg het krijgen van het juiste antwoord: is een knobbeltje in de borst een onschuldige groei of een gevaarlijke kanker? Decennialang hebben wetenschappers computerprogramma's gebouwd om artsen te helpen dit onderscheid te maken door afbeeldingen van cellen te analyseren die zijn genomen tijdens een biopsie. Deze programma's, bekend als machine learning-classificaties, kijken naar tientallen kleine metingen—zoals de grootte van de celkern of de textuur van het oppervlak—om een voorspelling te doen. Echter, voor een computer om een werkelijk nuttige partner in de spreekkamer van een arts te zijn, moet het meer doen dan alleen meestal gelijk hebben. Het moet ook eerlijk zijn over de eigen zekerheid. Wanneer een computer zegt dat er een kans van negentig procent op kanker is, moet dat getal de werkelijkheid weerspiegelen, en niet slechts een gok zijn. Bovendien moet het punt waarop de computer een alarm slaat zorgvuldig worden gekozen. In de geneeskunde is het missen van een kanker veel kostbaarder dan het geven van een vals alarm, dus heeft het systeem een regel nodig die prioriteit geeft aan het vangen van elk mogelijk geval, zelfs als dat betekent dat een paar gezonde mensen nauwer gecontroleerd moeten worden.
Een recente studie door Kartik Phopase aan de Sanjivani University in India onderzoekt precies deze twee cruciale vragen met behulp van een bekende collectie medische gegevens genaamd de Wisconsin Diagnostic Breast Cancer dataset. Deze dataset bevat informatie over 569 patiënten, met metingen genomen van gedigitaliseerde afbeeldingen van hun cellen. De onderzoekers wilden zien of verschillende soorten computerleermodellen betrouwbare waarschijnlijkheidsgetallen produceerden en of de regels die zij gebruikten om te beslissen wanneer een patiënt als "risicovol" werd aangemerkt, stand zouden houden wanneer ze werden getest op nieuwe, onbekende mensen. Ze vergeleken vier verschillende soorten leeralgoritmen, variërend van eenvoudige statistische methoden tot complexe systemen die honderden beslissingsbomen bouwen, waarbij ze testten onder twee condities: één waarbij alleen de tien gemiddelde metingen van de cellen werden gebruikt, en een andere waarbij alle dertig beschikbare metingen werden gebruikt.
De studie begon met het trainen van deze computermodellen op een groot deel van de data en vervolgens het testen ervan op een aparte groep patiënten die ze nog nooit eerder hadden gezien. De resultaten toonden aan dat alle modellen ongelooflijk bekwaam waren in het onderscheiden van kankercellen van niet-kankercellen. Sterker nog, ze waren zo goed dat de verschillen tussen hen te klein waren om statistisch relevant te zijn. Of de computer nu slechts de tien gemiddelde metingen gebruikte of alle dertig beschikbare details, de beste presteerders waren bijna identiek in hun vermogen om de twee groepen te scheiden. Deze bevinding suggereert dat, voor dit specifieke type data, de keuze van welk complex algoritme te gebruiken minder belangrijk is dan het waarborgen dat het systeem correct is ingesteld. De onderzoekers ontdekten dat het toevoegen van meer gedetailleerde metingen de scores licht verbeterde, maar de verbetering was zo klein dat het de algemene conclusie niet veranderde: de technologie zit voor deze specifieke taak al bijna aan haar limiet.
De meer verrassende en praktische ontdekking betrof hoe goed deze computers hun vertrouwen communiceerden. Een algemene aanname in het vakgebied is dat je de ruwe output van een computer altijd kunt aanpassen met een wiskundige formule om de waarschijnlijkheden nauwkeuriger te maken. De onderzoekers testten dit door de voorspellingen van hun modellen te nemen en twee verschillende aanpassingsmethoden toe te passen. Ze ontdekten dat voor sommige modellen, specifiek de eenvoudigere statistische modellen, de ruwe getallen al betrouwbaar waren. Het proberen aan te passen van deze getallen maakte de voorspellingen juist slechter en introduceerde meer fouten. Voor de complexere modellen die veel beslissingsbomen bouwen, hielp een ander type aanpassing enigszins, maar de verbetering was bescheiden. De belangrijkste les is dat er geen universele oplossing bestaat. Een systeem dat al goed gekalibreerd is, hoeft niet te worden "bijgesteld", en het toepassen van een standaard aanpassing op elk systeem kan soms meer kwaad dan goed doen.
Misschien wel de belangrijkste les uit de studie heeft betrekking op de beslissingsdrempel, het specifieke punt waarop de computer overschakelt van "waarschijnlijk goedaardig" naar "waarschijnlijk kwaadaardig". De onderzoekers probeerden een regel in te stellen die ten minste vijfennegentig procent van alle kankergevallen zou vangen, een zeer hoge veiligheidsstandaard. Ze stemden deze regel af met behulp van de trainingsdata, waar de computer de antwoorden al kende. Toen ze dezezelfde regel toepasten op de nieuwe, onbekende groep patiënten, slaagde deze er niet in om de doelstelling te halen. In plaats van vijfennegentig procent van de kankers te vangen, ving het er ongeveer drieënnegentig procent. Deze kloof ontstond omdat het kleine aantal kankergevallen in de testgroep betekende dat één gemist geval het percentage aanzienlijk veranderde. De studie demonstreert dat een regel die perfect lijkt op de trainingsdata, niet gegarandeerd op dezelfde manier werkt in de echte wereld. De onzekerheid die inherent is aan kleine steekproeven betekent dat artsen niet kunnen vertrouwen op één enkel getal om veiligheid te garanderen.
Uiteindelijk dient dit onderzoek als een waarschuwende gids voor het bouwen van kunstmatige intelligentietools voor de gezondheidszorg. Het laat zien dat hoewel computers uitstekend kunnen zijn in het herkennen van patronen, de reis van een hoge score naar een betrouwbaar medisch hulpmiddel vol subtiele vallen zit. De studie bevestigt dat de modellen voor deze specifieke dataset al zeer accuraat zijn, maar dat hun werkelijke waarde afhangt van hoe hun waarschijnlijkheden worden gerapporteerd en hoe hun alarmdrempels worden ingesteld. De auteur suggereert dat toekomstige systemen niet alleen een enkel risiconummer moeten rapporteren, maar ook moeten tonen hoe onzeker dat nummer is. Zij betogen dat het instellen van een veiligheidsdoel op basis van een kleine groep trainingsdata riskant is, en dat elke regel die wordt gebruikt om een medisch alarm te triggeren, getest moet worden op onafhankelijke data met een duidelijk begrip dat deze zich misschien niet precies zoals verwacht zal gedragen. De weg vooruit houdt niet alleen in dat men het slimste algoritme vindt, maar ook dat men rigoureus test hoe dat algoritme zich gedraagt wanneer de belangen echt zijn en de data nieuw zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.