Comparing label-free quality-control scores for automated angle-of-progression measurement in intrapartum ultra- sound: a retrospective benchmark study
Deze retrospectieve benchmarkstudie toont aan dat hoewel de onenigheid tussen ensembles van geautomatiseerde landmark-detectoren effectief grove fouten in de progressiehoek identificeert bij een lage review-werkdruk, het niet in staat is om fouten te detecteren die door alle modellen worden gedeeld en geen significant voordeel biedt tussen metrieken in de hoekruimte en coördinatieruimte, wat lokale kalibratie noodzakelijk maakt voor klinische implementatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de laatste stadia van de bevalling is het precies weten hoe ver de kop van een baby is gedaald van cruciaal belang voor artsen. Een van de meest betrouwbare manieren om deze voortgang te meten, is door een speciale echografieprobe tussen de benen van de moeder te plaatsen om een beeld van de kop van de baby en het bekken van de moeder vast te leggen. Op dit beeld trekt een arts een lijn langs het bot en een andere lijn die de schedel van de baby raakt; de hoek waar deze twee lijnen elkaar ontmoeten, vertelt het medische team hoeveel de baby nog moet afleggen. Deze meting, bekend als de progressiehoek, helpt te beslissen of een moeder natuurlijk kan blijven persen of dat er een chirurgische interventie nodig is. Hoewel artsen getraind zijn om deze metingen handmatig uit te voeren, is het proces traag en hangt het sterk af van de vaardigheid van de individuele operator. Dit heeft ertoe geleid dat onderzoekers computerprogramma's hebben gebouwd die automatisch de belangrijkste punten op de echografiebeelden kunnen vinden en de hoek voor hen kunnen berekenen, in de hoop de zorg te versnellen en menselijke fouten te verminderen.
Een computerprogramma dat gewoonlijk nauwkeurig is, kan echter nog steeds een enorme fout maken zonder ooit een alarm te laten afgaan. In een recente studie onderzochten onderzoekers hoe ze een vangnet konden bouannen voor deze geautomatiseerde systemen. Ze wilden weten of de computer het verschil kon zien tussen een meting waar hij zeker van was en een meting waarbij hij waarschijnlijk fout zat, zonder dat daar eerst een mens aan te pas kwam om het antwoord te controleren. Het team nam een publieke collectie echografiebeelden en haalde deze door zes verschillende computermodellen die ontworpen zijn om de noodzakelijke kenmerken te vinden. In plaats van simpelweg te vertrouwen op het gemiddelde van wat deze zes modellen zeiden, keken ze naar de mate waarin de modellen van elkaar verschilden. Als alle zes de modellen op iets andere plekken wezen, zou het systeem die afbeelding als verdacht markeren en doorsturen naar een menselijke arts voor een tweede controle. Als de modellen het allemaal met elkaar eens waren, werd de meting van de computer als zodanig geaccepteerd.
De onderzoekers testten dit idee op honderden testafbeeldingen om te zien hoe goed verschillende manieren om onenigheid te meten werkten. Ze vergeleken het kijken naar de mate waarin de modellen verschilden wat betreft de uiteindelijke hoek met de mate waarin ze verschilden wat betreft de specifieke punten op de afbeelding. Ze testten ook andere methoden, zoals controleren of een enkel model hetzelfde antwoord gaf wanneer de afbeelding licht werd aangepast, of kijken naar hoe "fel" de interne vertrouwenskaart van de computer was. De resultaten lieten zien dat wanneer de computer werd gevraagd om de tien procent van de afbeeldingen te beoordelen waarbij de modellen het meest van mening verschilden, het succesvol bijna alle ernstige fouten wist te vangen. Specifiek: van de zes gevallen waarin de computer meer dan twintig graden afweek — een enorme fout die tot een verkeerde klinische beslissing zou kunnen leiden — markeerde het systeem vijf van hen voor controle. Dit verminderde de incidentie van dergelijke enorme fouten in de geaccepteerde metingen van ongeveer één procent naar slechts twee tienden van een procent.
Interessant genoeg bleek uit de studie dat het er niet veel toe deed of de computer de onenigheid mat in termen van de uiteindelijke hoek of de specifieke punten op de afbeelding; beide methoden werkten ongeveer hetzelfde. Echter, het systeem had een blinde vlek. Het kon fouten niet ontdekken waarbij alle zes de modellen het met elkaar eens waren, maar ze allemaal op dezelfde manier fout zaten. In één specifiek geval onderschatten alle modellen de hoek aanzienlijk, en omdat ze allemaal met elkaar eens waren, markeerde het systeem de afbeelding niet als verdacht. Dit gebeurde het vaakst wanneer de kop van de baby zeer laag in het bekken zat, een situatie die eigenlijk zeer belangrijk is voor artsen om te weten. De onderzoekers ontdekten ook dat de regels die werden gebruikt om te beslissen wanneer een afbeelding gemarkeerd moest worden, niet perfect werkten wanneer ze werden toegepast op nieuwe gegevens in plaats van de trainingsgegevens. Een instelling die bedoeld was om vijf procent van de afbeeldingen te markeren, resulteerde uiteindelijk in het markeren van elf procent, wat de werklast voor artsen meer zou verhogen dan gepland.
De studie concludeert dat het controleren op onenigheid tussen meerdere computermodellen weliswaar een krachtig hulpmiddel is om de gevaarlijkste fouten te vangen, maar dat het op zichzelf geen volledige oplossing is. Het werkt goed voor het vinden van gevallen waarin de computer in de war is, maar het kan geen gevallen vinden waarin de computer met zelfvertrouwen fout zit. Voor dit systeem om veilig te zijn voor echt gebruik, zou het gecombineerd moeten worden met andere controles die deze gedeelde fouten kunnen opvangen, en zouden de regels voor het markeren van afbeeldingen zorgvuldig afgestemd moeten worden voor elk ziekenhuis. De bevindingen suggereren dat hoewel geautomatiseerde echografie steeds beter wordt, de beste aanpak voor nu is om deze computers te gebruiken als een eerste selectie die de lastige gevallen identificeert, waarbij de uiteindelijke, kritieke beslissingen worden overgelaten aan menselijke experts die de subtiele signalen van problemen kunnen herkennen die de machines missen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.