Data leakage inflates reported accuracy of deep learning for kidney stone detection on CT: a leakage-free, calibrated and uncertainty-aware reassessment across three centers
Deze studie toont aan dat het op beeldniveau splitsen van data in deep learning-modellen voor de detectie van nierstenen op CT-scans de gerapporteerde nauwkeurigheid kunstmatig met ongeveer negen procentpunten opblaast door middel van datalekken, en pleit voor patiënt-gebaseerde, gekalibreerde en onzekerheidsbewuste evaluatieprotocollen om betrouwbare klinische prestaties te waarborgen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van medische beeldvorming wordt er steeds vaker van computers gevraagd om taken uit te voeren die voorheen een menselijk oog vereisten. Een dergelijke taak is het opsporen van nierstenen, kleine en pijnlijke minerale afzettingen die de urinevloed kunnen blokkeren. Om deze stenen te vinden, vertrouwen artsen op computertomografie, of CT-scans, die honderden dwarsdoorsneden van het lichaam maken. Een radioloog moet door deze plakjes kijken om de kleine, heldere vlekjes te vinden die op een steen wijzen, een proces dat tijdrovend is en gevoelig voor menselijke fouten. Vanwege deze reden hebben onderzoekers jarenlang geprobeerd kunstmatige intelligentie te leren om het opsporen automatisch te doen. Het doel is om een digitale assistent te creëren die stenen direct kan signaleren, waardoor artsen sneller en nauwkeuriger kunnen werken. Om deze technologie echter te kunnen vertrouwen, moet de computer bewijzen dat hij een steen kan herkennen die hij nog nooit eerder heeft gezien, en niet alleen een plaatje dat hij al eerder heeft bestudeerd kan onthouden.
Een nieuwe studie van onderzoekers in Nigeria heeft een kritiek gebrek aan het licht gebracht in de manier waarop veel van deze computerprogramma's zijn getest. Jarenlang beweerden rapporten dat kunstmatige intelligentie-modellen nierstenen met bijna perfecte nauwkeurigheid kunnen detecteren, waarbij vaak succespercentages van boven de 98 procent worden aangehaald. Deze cijfers suggereerden dat de technologie bijna klaar was voor de klinische praktijk. De onderzoekers ontdekten echter dat deze hoge scores grotendeels een illusie waren, veroorzaakt door een fout in het testproces. Wanneer dezelfde computermodellen opnieuw werden getest met een strengere, eerlijkere methode, daalde hun prestatie aanzienlijk. De studie onthult dat de vorige hoge scores geen teken waren van superieure intelligentie, maar het resultaat waren van de computer die informatie uit de testset gebruikte tijdens de trainingsfase.
Het probleem ligt in de manier waarop de data wordt voorbereid voor training. Om een computer te leren nierstenen te herkennen, nemen onderzoekers een beperkt aantal echte CT-scans en maken daarvan veel licht gewijzigde kopieën. Ze kunnen een afbeelding zijwaarts spiegelen, iets draaien of de helderheid aanpassen. Deze gewijzigde kopieën, bekend als geaugmenteerde afbeeldingen, helpen de computer de kenmerken van een steen te leren zonder dat er duizenden unieke patiënten nodig zijn. De fout treedt op wanneer deze originele afbeeldingen en hun gewijzigde kopieën bij elkaar worden gemengd en vervolgens worden opgesplitst in trainings- en testgroepen. Als de computer tijdens de trainingsfase een originele afbeelding ziet, en vervolgens tijdens de testfase een bijna identieke gewijzigde kopie van diezelfde afbeelding ziet, hoeft hij niet te leren hoe een steen eruitziet. Hij herkent simpelweg het patroon dat hij al heeft onthouden. Het is als een student die de antwoorden op een oefentoets uit het hoofd leert en vervolgens de eindtoets maakt met bijna dezelfde vragen die net iets anders zijn geformuleerd; hij zal een perfect cijfer halen, maar hij heeft het onderwerp niet echt geleerd.
De onderzoekers in deze studie gebruikten een dataset met afbeeldingen van 201 patiënten uit drie verschillende ziekenhuizen. Eerst reproduceerden zij de testmethode die in eerdere studies werd gebruikt, waarbij de originele en de gewijzigde afbeeldingen samen werden gemengd voordat ze werden opgesplitst. Onder deze omstandigheden behaalde het computermodel een nauwkeurigheid van 99,1 procent en een score van 1,000 op een schaal waarbij 1,000 perfecte prestaties vertegenwoordigt. Dit resultaat kwam overeen met de lovende rapporten in eerdere wetenschappelijke artikelen. De onderzoekers veranderden echter de regels. Zij zorgden ervoor dat de computer nooit een afbeelding van een patiënt mocht zien tijdens de testfase als hij tijdens de trainingsfase al een afbeelding van diezelfde patiënt had gezien. Dit betekende dat elke afbeelding in de testset afkomstig was van een patiënt die de computer nog nooit eerder was tegengekomen.
Toen het model werd gedwongen deze striktere uitdaging aan te gaan, veranderden de resultaten drastisch. De nauwkeurigheid daalde naar 90,5 procent en de prestatiescore zakte naar 0,946. Hoewel dit nog steeds een sterk resultaat is, is het verre van de bijna perfecte cijfers die eerder werden gevierd. Het verschil van bijna negen procentpunten vertegenwoordigt een enorme kloof tussen wat er gerapporteerd werd en wat de werkelijkheid is. De studie toonde aan dat de vorige hoge scores geen reflectie waren van het vermogen van de computer om een ziekte te diagnosticeren, maar een reflectie van een testprotocol dat de computer toestond om informatie uit de testset te gebruiken tijdens de training. Deze bevinding suggereert dat veel van de indrukwekkende statistieken in het veld van de medische kunstmatige intelligentie worden opgeblazen door dezelfde fout.
De onderzoekers onderzochten ook of complexere computerconstructies nodig waren om dit probleem op te lossen. Ze vergeleken hun hoofdmodel, dat twee verschillende soorten geavanceerde computertructuren combineerde, met een eenvoudiger, standaard model. Ze ontdekten dat het complexe model geen echt voordeel bood ten opzichte van het eenvoudigere model wanneer het eerlijk werd getest. Sterker nog, een model dat alleen op de complexere structuur vertrouwde zonder de standaard basis, presteerde bijna niet beter dan willekeurig gokken. Dit geeft aan dat de sleutel tot succes niet de nieuwheid van het ontwerp was, maar de eerlijkheid van de testmethode. De studie keek ook naar hoe de computer omging met onzekerheid. Ze ontdekten dat het model vaak overmoedig was, waarbij het claimde zeker te zijn terwijl het eigenlijk ongelijk had. Door het model te leren toe te geven wanneer het onzeker was en om moeilijke gevallen voor te leggen aan een menselijke arts, steeg de nauwkeurigheid van de gevallen die het wel beantwoordde naar 95,2 procent. Dit suggereert dat de meest nuttige rol voor een dergelijk hulpmiddel niet het vervangen van de arts is, maar het fungeren als een tweede paar ogen dat weet wanneer het hulp moet vragen.
De implicaties van dit werk reiken verder dan nierstenen. De studie dient als een waarschuwing voor het hele vakgebied van de medische kunstmatige intelligentie. Het demonstreert dat een model briljant kan lijken in een wetenschappelijk artikel, terwijl het faalt om te generaliseren naar echte patiënten in de praktijk als de testmethode gebrekkig is. De onderzoekers benadrukten dat voor deze hulpmiddelen om veilig en effectief te zijn in ziekenhuizen, ze getest moeten worden op data die werkelijk nieuwe, ongeziene patiënten vertegenwoordigt. Ze merkten ook op dat de dataset die zij gebruikten beperkingen had, zoals een gebrek aan gedetailleerde patiëntinformatie en het feit dat de afbeeldingen op een manier waren verwerkt die sommige van de ruwe gegevens die artsen gebruiken om beslissingen te nemen, verwijderde. Ondanks deze beperkingen is de kernboodschap duidelijk: de weg naar betrouwbare medische AI vereist rigoureuze, lekvrije tests. Totdat het vakgebied deze strengere standaarden adopteert, zullen de gerapporteerde succespercentages van deze technologieën een overschatting blijven, wat potentieel leidt tot een vals gevoel van vertrouwen in hulpmiddelen die nog niet klaar zijn voor de klinische praktijk.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.