Comparing label-free quality-control scores for automated angle-of-progression measurement in intrapartum ultra- sound: a retrospective benchmark study
Diese retrospektive Benchmark-Studie zeigt, dass die Uneinigkeit des Ensembles unter automatisierten Landmarken-Detektoren zwar bei geringen Review-Arbeitsaufwänden effektiv grobe Fehler im Progressionswinkel identifiziert, jedoch Fehler nicht erfassen kann, die von allen Modellen geteilt werden, und keinen signifikanten Vorteil zwischen Metriken im Winkelraum und im Koordinatenraum bietet, was eine lokale Kalibrierung für den klinischen Einsatz erforderlich macht.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In den Endstadien der Geburt ist es für Ärzte von entscheidender Bedeutung, genau zu wissen, wie weit das Köpfchen eines Babys bereits abgesunken ist. Eine der zuverlässigsten Methoden, um diesen Fortschritt zu messen, ist die Verwendung einer speziellen Ultraschallsonde, die zwischen den Beinen der Mutter platziert wird, um ein Bild des Babykopfes und des Beckenknochens der Mutter zu erfassen. Auf diesem Bild zeichnet ein Arzt eine Linie entlang des Knochens und eine weitere Linie, die den Schädel des Babys berührt; der Winkel, in dem diese beiden Linien aufeinandertreffen, verrät dem medizinischen Team, wie weit das Baby noch vor sich hat. Diese Messung, bekannt als Progressionswinkel, hilft bei der Entscheidung, ob eine Mutter natürlich weiter pressen kann oder ob ein chirurgischer Eingriff erforderlich ist. Obwohl Ärzte geschult sind, diese Messungen von Hand vorzunehmen, ist der Prozess langsam und hängt stark vom Geschick des einzelnen Bedieners ab. Dies hat Forscher dazu veranlasst, Computerprogramme zu entwickeln, die die Schlüsselpunkte auf dem Ultraschallbild automatisch finden und den Winkel für sie berechnen können, in der Hoffnung, die Versorgung zu beschleunigen und menschliche Fehler zu reduzieren.
Ein Computerprogramm, das normalerweise genau arbeitet, kann jedoch dennoch einen massiven Fehler begehen, ohne jemals Alarm zu schlagen. In einer kürzlich durchgeführten Studie untersuchten Forscher, wie man ein Sicherheitsnetz für diese automatisierten Systeme aufbaut. Sie wollten wissen, ob der Computer zwischen einer Messung, bei der er sich sicher war, und einer, bei der er wahrscheinlich falsch lag, unterscheiden konnte, ohne dass zuerst ein Mensch das Ergebnis überprüfen musste. Das Team nahm eine öffentliche Sammlung von Ultraschallbildern und ließ sie durch sechs verschiedene Computermodelle laufen, die darauf ausgelegt waren, die notwendigen Orientierungspunkte zu finden. Anstatt einfach dem Durchschnitt dessen zu vertrauen, was diese sechs Modelle aussagten, betrachteten sie, wie sehr die Modelle untereinander uneinig waren. Wenn alle sechs Modelle auf leicht unterschiedliche Stellen zeigten, würde das System dieses Bild als verdächtig markieren und es einem menschlichen Arzt zur Zweitprüfung übermitteln. Wenn sich die Modelle alle einig waren, würde die Messung des Computers so akzeptiert, wie sie ist.
Die Forscher testeten diese Idee an hunderten von Testbildern, um zu sehen, wie gut verschiedene Arten der Messung von Uneinigkeit funktionierten. Sie verglichen die Betrachtung der Uneinigkeit hinsichtlich des endgültigen Winkels mit der Betrachtung der Uneinigkeit hinsichtlich der spezifischen Punkte auf dem Bild. Sie testeten auch andere Methoden, wie etwa die Prüfung, ob ein einzelnes Modell dasselbe Ergebnis lieferte, wenn das Bild leicht verändert wurde, oder die Untersuchung, wie „hell“ die interne Konfidenzkarte des Computers war. Die Ergebnisse zeigten, dass, wenn der Computer gebeten wurde, die zehn Prozent der Bilder zu überprüfen, bei denen die Modelle am uneinigsten waren, er fast alle schwerwiegenden Fehler erfolgreich entdeckte. Konkret wurden von sechs Fällen, in denen der Computer um mehr als zwanzig Grad daneilig lag – ein massiver Fehler, der zu einer falschen klinischen Entscheidung führen könnte – fünf Fälle zur Überprüfung markiert. Dies reduzierte die Rate solcher massiven Fehler in den akzeptierten Messungen von etwa einem Prozent auf nur noch zwei Zehntel Prozent.
Interessanterweise fanden die Forscher heraus, dass es nicht viel ausmachte, ob der Computer die Uneinigkeit in Bezug auf den endgültigen Winkel oder die spezifischen Punkte auf dem Bild maß; beide Methoden funktionierten etwa gleich gut. Das System hatte jedoch eine Schwachstelle. Es konnte keine Fehler erkennen, bei denen sich alle sechs Modelle einig waren, aber alle auf die gleiche Weise falsch lagen. In einem spezifischen Fall unterschätzten alle Modelle den Winkel erheblich, und da sie sich alle einig waren, markierte das System dies nicht als verdächtig. Dies geschah am häufigsten, wenn der Kopf des Babys sehr tief im Becken lag, eine Situation, die für Ärzte tatsächlich sehr wichtig zu wissen ist. Die Forscher entdeckten auch, dass die Regeln, die verwendet wurden, um zu entscheiden, wann ein Bild markiert werden sollte, nicht perfekt funktionierten, wenn sie von den Trainingsdaten auf neue Daten übertragen wurden. Eine Einstellung, die darauf abzielte, fünf Prozent der Bilder zu markieren, führte letztlich dazu, dass elf Prozent markiert wurden, was die Arbeitsbelastung der Ärzte stärker erhöhte als geplant.
Die Studie kommt zu dem Schluss, dass die Überprüfung der Uneinigkeit zwischen mehreren Computermodellen zwar ein leistungsstarkes Werkzeug ist, um die gefährlichsten Fehler abzufangen, aber keine vollständige Lösung darstellt. Es funktioniert gut beim Aufspüren von Fällen, in denen der Computer verwirrt ist, kann aber keine Fälle finden, in denen der Computer mit hoher Zuversicht falsch liegt. Damit dieses System für den praktischen Einsatz sicher ist, müsste es mit anderen Kontrollen kombiniert werden, die solche gemeinsamen Fehler erkennen können, und die Regeln für die Markierung von Bildern müssten für jedes Krankenhaus sorgfältig abgestimmt werden. Die Ergebnisse legen nahe, dass die automatisierte Ultraschalluntersuchung zwar immer besser wird, der beste Ansatz derzeit jedoch darin besteht, diese Computer als erste Instanz einzusetzen, die die schwierigen Fälle identifiziert und die abschließenden, kritischen Entscheidungen den menschlichen Experten überlässt, die in der Lage sind, die subtilen Anzeichen von Problemen zu erkennen, die die Maschinen übersehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.