Accelerating Machine Learning in Healthcare: Addressing the Labelling Bottleneck
Deze studie toont aan dat een gefaseerde, zelf-bootstrapping labelingspijplijn die gebruikmaakt van door experts gelabelde zaadsets en active learning, de zeldzame pediatrische junctional ectopic tachycardia-gevallen met ongeveer 15 keer kan verrijken in vergelijking met willekeurige steekproeven, waardoor het gebruik van schaarse klinische annotatieresources voor machine learning in de gezondheidszorg aanzienlijk wordt geoptimaliseerd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de hooggespannen omgeving van een pediatrische intensive care afdeling, waar kinderen herstellen van complexe hartoperaties, is tijd de meest kritische hulpbron. Het ritme van het hart kan plotseling veranderen, en wanneer dat gebeurt, kunnen de gevolgen ernstig zijn. Artsen vertrouwen op continue monitoring om deze gevaarlijke veranderingen vroegtijdig op te merken, maar de enorme hoeveelheid gegevens die door bedmonitoren wordt gegenereerd, is overweldigend. Decennialang hebben onderzoekers geprobeerd computers te leren om deze onregelmatige hartslagen automatisch te herkennen, in de hoop artsen een tweede paar ogen te geven dat nooit knippert. Echter, een grote hindernis heeft altijd in de weg gestaan: om een computer iets te leren, moet je haar eerst voorbeelden laten zien, en het vinden van die voorbeelden is ontzettend moeilijk. De meeste bestaande computerprogramma's werden getraind op gegevens van volwassenen, wat niet overeenkomt met de unieke hartritmes van kinderen, en ze vertrouwen op complexe, twaalf-afleiding hartopnames die zelang niet worden gebruikt bij de continue, real-time monitoring van een ziek kind. De gevaarlijkste hartritmes zijn ook de zeldzaamste, wat betekent dat als een arts willekeurig door duizenden uren aan hartmonitoropnames zou scannen, hij dagenlang zou kunnen zoeken naar slechts een paar minuten van het specifieke probleem dat hij wil bestuderen.
Een team van onderzoekers van The Hospital for Sick Children in Toronto, werkend samen met collega's uit Seattle, Michigan en Israël, zette zich in om dit probleem van het zoeken naar de naald in de hooiberg op te lossen. Ze verzamelden niet simpelweg meer gegevens; in plaats daarvan bouwden ze een slimmere manier om de specifieke hartritmes te vinden die ze nodig hadden om te bestuderen. Ze begonnen met een enorm digitaal archief met meer dan 1,6 miljoen uur aan hartmonitoropnames van meer dan 9.000 kinderen. Dit archief, bekend als AtriumDB, bevatte een schat aan informatie, maar bijna alles ervan was ongelabeld, wat betekent dat niemand de computer nog had verteld wat elke hartslag vertegenwoordigde. De onderzoekers stonden voor een keuze: ze konden drukke artsen vragen om willekeurig door deze gegevens te scannen, een traag en inefficiënt proces, of ze konden een systeem creëren dat artsen hielp de zeldzame, gevaarlijke ritmes veel sneller te vinden. Ze kozen het laatste en ontwikkelden een stapsgewijs proces dat begon met menselijke experts en geleidelijk een computerassistent introduceerde om de zoektocht te begeleiden.
Het proces begon met de meest traditionele methode: het terugkijken in oude medische dossiers. Het team vond gevallen waarin een kind een formele, twaalf-afleiding harttest had ondergaan in een ziekenhuislaboratorium, wat een bevestigde diagnose opleverde. Ze koppelden deze bekende diagnoses aan de continue hartmonitoropnames van diezelfde periode. Dit gaf hen een kleine, betrouwbare beginset van voorbeelden. Deze methode had echter een gebrek; de ziekenhuisarchieven werden vaak gedomineerd door normale, gezonde hartslagen, en de timing tussen de labtest en de continue monitoring was niet altijd perfect, waardoor artsen veel tijd moesten besteden aan het verifiëren of corrigeren van de labels. Om dit te verbeteren, voegde het team een tweede stap toe waarbij artsen en verpleegkundigen op de intensive care hartritmeproblemen konden rapporteren op het moment dat ze deze in real time zagen gebeuren. Dit leverde verse, relevante voorbeelden op, maar het was nog steeds beperkt door hoe vaak een arts een probleem toevallig opmerkte en rapporteerde.
Zodra het team genoeg voorbeelden uit deze eerste twee stappen had om een basis computermodel te trainen, introduceerden ze de derde en vierde stappen, die erop vertrouwden dat de computer het zware werk zou doen. Ze leerden de computer om naar de ongelabelde gegevens te kijken en de delen te identificeren waarover de computer onzeker was. Dit staat bekend als 'uncertainty sampling' (onzekerheidsbemonstering). In plaats van te gokken, markeerde de computer de hartslagen die verwarrend voor haar waren, en stuurde die specifieke segmenten naar de artsen voor beoordeling. Dit was veel efficiënter dan willekeurig zoeken, omdat de computer in feite zei: "Ik weet niet wat dit is, vertel het me alsjeblieft." Terwijl de artsen deze verwarrende voorbeelden labelden, werd de computer slimmer. Ten slotte gebruikte het team een techniek genaamd 'embedding search'. Dit stelde de computer in staat om te zoeken naar hartslagen die morfologisch vergelijkbaar waren met de zeldzame, gevaarlijke ritmes die zij al had geleerd, zelfs als deze van verschillende kinderen kwamen. Het was also려 de computer te vragen om alle hartslagen te vinden die er "zo uitzagen als" de gevaarlijke ritmes die zij zojuist had geleerd, waarbij het hele archief werd afgescand op nieuwe variaties van hetzelfde probleem.
De resultaten van deze stapsgewijze aanpak waren opmerkelijk. Wanneer de onderzoekers testten hoeveel zeldzame, gevaarlijke hartslagen ze konden vinden door simpelweg willekeurige segmenten uit het archief te kiezen, vonden ze slechts twee gevallen in elke 200 segmenten, een percentage van slechts één procent. In tegenstelling hiermee vond hun nieuwe, meerstaps pijplijn de zeldzame hartslagen in 14,7 procent van de totale tijd die zij labelden, en in 24,7 procent van de unieke patiënten die zij beoordeelden. Dit betekent dat de pijplijn ongeveer vijftien keer efficiënter was in het vinden van de zeldzame hartslagen per uur, en vijfentwintig keer efficiënter per aantal patiënten, vergeleken met willekeurig zoeken. De efficiëntie groeide met elke stap van het proces. De initiële, handmatige stappen legden de basis, maar de computergestuurde stappen, met name de laatste zoektocht naar vergelijkbaar uitziende hartslagen, leverden de hoogste rendementen op. In de laatste fase, toen de computer zocht naar hartslagen die leken op het zeldzame ritme, werd meer dan zestig procent van de door haar geselecteerde segmenten bevestigd als het doelritme zodra een arts ze beoordeelde.
De studie beweerde niet dat het computermodel klaar was om patiënten zelfstandig te diagnosticeren; dat is een aparte uitdaging. In plaats daarvan bewees het werk dat een slimme, collaboratieve workflow de flessenhals van het labelen van gegevens kon overwinnen. Door de computer de artsen naar de meest interessante en zeldzame delen van de gegevens te laten leiden, creëerde het team een hoogwaardige dataset van bijna 190 uur aan deskundig gelabelde hartritmes van 1.447 kinderen. Deze dataset is nu rijk aan de zeldzame, gevaarlijke ritmes die essentieel zijn voor het trainen van toekomstige medische instrumenten. De onderzoekers ontdekten dat deze methode hen in staat stelde om een diverse collectie hartslagen te bouwen van kinderen van alle leeftijden, van pasgeborenen tot tieners, zonder dat daarvoor een onmogelijke hoeveelheid tijd van druk medisch personeel nodig was. De aanpak toont aan dat in het veld van medische kunstmatige intelligentie de sleutel tot vooruitgang niet alleen het hebben van meer gegevens is, maar het hebben van een betere manier om de juiste gegevens daarin te vinden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.