Performance uncertainty in medical image analysis: a large-scale investigation of confidence intervals
Deze studie voert een grootschalige empirische analyse uit over 24 medische beeldvormingstaken om de betrouwbaarheid en precisie van diverse betrouwbaarheidsintervalmethoden te evalueren, waarbij wordt onthuld hoe factoren zoals steekproefomvang, metrieken en aggregatiestrategieën de onzekerheidskwantificering beïnvloeden en een praktische beslisboom wordt geboden om toekomstige rapportage-standaarden te begeleiden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de snel evoluerende wereld van medische beeldvorming leert kunstmatige intelligentie te zien wat het menselijk oog misschien over het hoofd ziet. Deze computerprogramma's kunnen röntgenfoto's, MRI's en CT-scans scannen om tumoren te detecteren, breuken te identificeren of cellen te tellen met een snelheid en consistentie die die van deskundige radiologen evenaren. Echter, om deze tools in een ziekenhuis te kunnen vertrouwen, hebben artsen meer nodig dan alleen een enkel getal dat aangeeft hoe goed het systeem werkt. Ze moeten weten hoeveel dat getal zou kunnen veranderen als het systeem op een andere groep patiënten zou worden getest. Omdat elke testset slechts een kleine steekproef is van de enorme, complexe realiteit van menselijke ziekten, gaat elk prestatiescore gepaard met een foutenmarge. Om deze onzekerheid te communiceren, gebruiken wetenschappers een hulpmiddel dat een betrouwbaarheidsinterval wordt genoemd. Beschouw dit als een vangnet dat rond een prestatiescore is gespannen; het is een reeks waarden die waarschijnlijk de werkelijke, reële capaciteit van de AI bevat. Als het net te breed is, vertelt het de arts dat het systeem onbetrouwbaar is; als het te smal is, kan het een vals gevoel van veiligheid geven. De vraag hoe men dit net correct tekent, is al lang een bron van verwarring en potentiële fouten in het vakgebied.
Een groot team van onderzoekers van instellingen uit heel Europa begon deze verwarring op te lossen door een grootschalig, systematisch onderzoek uit te voeren naar hoe deze betrouwbaarheidsintervallen zich daadwerkelijk gedragen in de medische beeldvorming. Ze vertrouwden niet op theoretische gissingen of kleine, geïsoleerde voorbeelden. In plaats daarvan bouwden ze een virtueel laboratorium met honderden realistische scenario's. Ze namen twaalf verschillende medische taken, variërend van het identificeren van hersentumoren in MRI-scans tot het classificeren van huidlaesies op foto's, en pasten negentien verschillende AI-modellen toe op elk van deze taken. Dit creëerde een enorme collectie testgevallen die zowel de taak van het vinden van specifieke vormen binnen een afbeelding, bekend als segmentatie, als de taak van het sorteren van afbeeldingen in categorieën, bekend als classificatie, besloeg. Voor elke enkele combinatie van model en taak simuleerden ze duizenden verschillende testsets om te zien hoe de betrouwbaarheidsintervallen standhielden onder druk. Ze testten een grote verscheidenheid aan methoden voor het berekenen van deze intervallen, inclusief standaard statistische formules en computerintensieve resamplingtechnieken, terwijl ze ook de grootte van de testsets en de specifieke metrieken waarmee succes werd gemeten, varieerden.
Het onderzoek onthulde dat er geen enkele, universele methode is voor het berekenen van deze intervallen die in elke situatie goed werkt. De onderzoekers ontdekten dat de keuze van de methode sterk afhangt van de specifieke details van de studie. Bijvoorbeeld, het type taak is van groot belang. Wanneer de AI wordt gevraagd een afbeelding in een categorie in te delen, zoals "ziekte" of "geen ziekte", vereisen de betrouwbaarheidsintervallen veel grotere testsets om betrouwbaar te zijn vergeleken met wanneer de AI wordt gevraagd een precieze omtrek van een orgaan te tekenen. Bij de classificatietaken ontdekten de onderzoekers dat de intervallen vaak honderden gevallen nodig hadden om betrouwbaar te zijn, terwijl segmentatietaken soms veel minder vereisten. Voorts speelt de manier waarop resultaten worden gecombineerd uit meerdere categorieën een cruciale rol. Als een arts wil weten hoe goed de AI presteert op zeldzame ziekten, moet hij de prestaties van elke ziekte afzonderlijk bekijken en vervolgens de resultaten middelen. De studie toonde aan dat deze aanpak, bekend als macro-averaging, aanzienlijk meer data vereist om een betrouwbaar vangnet te produceren dan het simpelweg samenvoegen van alle data, bekend als micro-averaging.
De specifieke metriek die wordt gebruikt om prestaties te meten, verandert ook drastisch het gedrag van de betrouwbaarheidsintervallen. Sommige metrieken, die meten hoe goed de AI overlapt met een referentievorm, hebben de neiging stabiele en voorspelbare intervallen te produceren. Andere, die de afstand meten tussen de omtrek van de AI en de werkelijke grens, zijn veel grilliger en vereisen grotere steekproeven om te stabiliseren. De onderzoekers ontdekten dat de vorm van de datadistributie, specifelijk hoe scheef of asymmetrisch deze is, een belangrijke drijfveer is voor deze instabiliteit. Wanneer de data sterk scheef is, falen standaardmethoden vaak in het vastleggen van de werkelijke prestaties, wat leidt tot intervallen die ofwel te smal en misleidend zijn, ofwel te breed om nuttig te zijn.
Misschien wel het belangrijkste is dat de studie de gangbare praktijk uitdaagde om blindelings de standaardinstellingen van software te volgen. Veel populaire computerprogramma's voor data-analyse hebben een "standaardinstelling" voor het berekenen van betrouwbaarheidsintervallen, waarbij vaak de voorkeur wordt gegeven aan een specifieke complexe methode. De onderzoekers ontdekten dat deze standaardinstelling in veel gevallen de verkeerde keuze is voor medische beeldvorming. In veel gevallen presteerde een eenvoudigere methode beter, terwijl in andere gevallen de standaardmethode catastrofaal faalde, vooral wanneer de data uitschieters bevatten of wanneer de samenvattende statistiek de mediaan in plaats van het gemiddelde was. Ze ontdekten ook dat sommige veelgebruikte methoden intervallen produceerden die zo breed waren dat ze praktisch nutteloos waren, terwijl andere zo smal waren dat ze de werkelijke waarde volledig misten.
Om de medische gemeenschap te helpen navigeren door deze complexiteiten, vertaalden de onderzoekers hun bevindingen naar een praktische beslisboom. Deze gids stelt een onderzoeker in staat om naar hun specifieke situatie te kijken — of ze nu segmentatie of classificatie doen, welke metriek ze gebruiken en hoeveel patiënten ze hebben — en direct te zien welke methode voor het berekenen van het betrouwbaarheidsinterval waarschijnlijk betrouwbaar zal zijn. De studie concludeert dat hoewel het berekenen van de onzekerheid in prestaties essentieel is voor het veilige klinische gebruik van kunstmatige intelligentie, het geen probleem is dat voor iedereen hetzelfde is. De betrouwbaarheid van het vangnet hangt volledig af van de context, en het kiezen van de juiste methode vereist begrip van de specifieke kenmerken van de data die voorhanden zijn. Door deze afhankelijkheden in kaart te brengen, biedt dit werk een duidelijk pad voor onderzoekers om hun resultaten te rapporteren met de eerlijkheid en precisie die de klinische praktijk vereist.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.