How reliable is deep learning segmentation of the infant brain? Variability and failure analysis of segmentation pipelines under a common protocol in 51 infants aged 1 to 9 months
Diese Studie zeigt, dass drei kompetent konfigurierte 3D-Deep-Learning-Pipelines zwar eine ähnlich hohe Genauigkeit bei der Segmentierung von Säuglingsgehirnen erreichen, wobei vernachlässigbare Unterschiede durch Retraining oder Kreuzvalidierung bedingt sind, ein einfacher Konsensansatz jedoch seltene Segmentierungsfehler effektiv eliminiert, was die kritische Notwendigkeit unterstreicht, Variabilität und Fehlerraten zu berichten, anstatt sich allein auf mittlere Dice-Scores zu verlassen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Das menschliche Gehirn wächst im ersten Lebensjahr schneller als zu jeder anderen Zeit. Während dieser Phase durchläuft das weiche Gewebe innerhalb des Schädels eine dramatische Transformation, während es sich verhärtet und organisiert. Für Ärzte und Forscher, die versuchen zu verstehen, wie sich ein Kind entwickelt oder frühe Anzeichen von Problemen zu erkennen, ist es unerlässlich, in diese sich verändernde Landschaft hineinzusehen. Sie verwenden die Magnetresonanztomographie, einen leistungsstarken Scanner, der detaillierte Bilder ohne den Einsatz von Strahlung erstellt. Es ist jedoch schwierig, diese Bilder in nützliche Daten umzuwandeln. Das Gehirn besteht aus vielen winzigen, gefalteten Teilen, und bei einem Säugling verschwindet der Kontrast zwischen diesen Teilen oft für einige Monate, wodurch sie wie eine einheitliche graue Masse erscheinen. Um das Wachstum zu untersuchen, müssen Wissenschaftler das Volumen spezifischer Regionen zählen, aber dies manuell zu tun ist langsam und anfällig für menschliche Fehler. Vor kurzem hat die künstliche Intelligenz eingesetzt, um das Zählen automatisch durchzuführen, indem sie Deep Learning nutzt, um Hirnstrukturen zu erkennen und Umrisse um sie herum zu zeichnen. Die Hoffnung ist, dass diese Computerprogramme eine zuverlässige, schnelle Methode bieten können, um das Gehirn eines Babys zu messen, doch die Frage bleibt: Können wir ihnen vertrauen, wenn die Bilder so schwierig sind?
Ein Team von Forschern setzte sich zum Ziel, die Zuverlässigkeit dieser automatischen Werkzeuge an einer Gruppe von einundfünfzig Säuglingen zu testen, die zwischen einem und neun Monate alt waren. Sie sammelten eine Sammlung von einundsiebzig Gehirnscans, die jeweils sowohl T1- als auch T2-gewichtete Bilder enthielten, was zwei verschiedene Arten sind, die Struktur des Gehirns zu erfassen. Um einen fairen Test zu gewährleisten, betrachteten sie nicht nur die Endergebnisse; sie untersuchten, wie sich die Werkzeuge verhielten, wenn sich die Daten leicht änderten oder wenn dasselbe Werkzeug mehrfach ausgeführt wurde. Sie verglichen vier verschiedene Systeme der künstlichen Intelligenz, die speziell auf Säuglingsdaten trainiert worden waren. Diese Systeme unterschieden sich in ihrem Design: Einige verwendeten standardmäßige dreidimensionale Blöcke, um das Bild zu verarbeiten, während andere verschiedene mathematische Ansätze kombinierten oder das Gehirn in Schichten betrachteten. Die Forscher erstellten auch eine „Konsens“-Version, bei der die vier Systeme über die endgültige Antwort für jeden Teil des Gehirns abstimmten, in der Hoffnung, dass die Kombination ihrer Meinungen individuelle Fehler glätten würde.
Die Ergebnisse zeigten, dass die drei fortschrittlichsten dreidimensionalen Systeme sehr gut abschnitten, mit einer durchschnittlichen Genauigkeitsbewertung von etwa 0,88 von 1,0. Das bedeutet, dass sie den Großteil des Gehirngewebes korrekt identifizierten. Das vierte System, das das Gehirn in Schichten betrachtete, schnitt merklich schlechter ab, mit einem Wert um 0,79. Die Unterschiede zwischen den drei Top-Performern waren jedoch so gering, dass sie kaum wahrnehmbar waren. Tatsächlich fanden die Forscher heraus, dass die Variation, die dadurch verursacht wurde, welche Babys in der Trainingsgruppe waren, größer war als der Unterschied zwischen dem besten und dem zweitbesten System. Dies deutet darauf hin, dass für diese gut konfigurierten Werkzeuge die spezifische Wahl des Algorithmus weniger wichtig ist als die Sicherstellung, dass die Daten korrekt verarbeitet werden. Ein System machte einen signifikanten Fehler bei zwei spezifischen Scans, wobei es mehrere tiefe Gehirnstrukturen gänzlich übersah, während die anderen dieselben Scans korrekt behandelten. Dies verdeutlichte, dass selbst leistungsstarke Werkzeuge seltene, katastrophale Fehler aufweisen können, die verborgen bleiben, wenn nur ein Durchschnittswert gemeldet wird.
Als die Forscher die Vorhersagen der vier Systeme zu einem einzigen Konsens kombinierten, war das Ergebnis noch robuster. Dieser kombinierte Ansatz eliminierte alle Totalausfälle, was bedeutete, dass keine Gehirnstrukturen vollständig übersehen wurden, und verbesserte die Gesamtgenauigkeit leicht. Die Studie untersuchte auch, ob das Alter des Babys oder die Qualität des Bildes die Ergebnisse beeinflusste. Sie fanden keine Hinweise darauf, dass die Werkzeuge besser oder schlechter funktionierten, je älter die Säuglinge wurden, selbst während der schwierigen Phase, in der das Hirngewebe am einheitlichsten aussieht. Ebenso schienen die Werkzeuge nicht mehr mit bestimmten Arten von Bildkontrasten zu kämpfen. Die Forscher kamen zu dem Schluss, dass diese Werkzeuge der künstlichen Intelligenz zwar nun in der Lage sind, Säuglingsgehirne mit hoher Genauigkeit zu segmentieren, die Art und Weise, wie ihre Leistung berichtet wird, sich jedoch ändern muss. Es reicht nicht aus, sich auf eine einzige Durchschnittszahl zu verlassen; Forscher müssen auch berichten, wie oft die Werkzeuge vollständig versagen, wie stark die Ergebnisse variieren, wenn sich die Trainingsdaten ändern, und ob die Werkzeuge sich im Einzelfall untereinander einig sind.
Die Studie dient als Erinnerung daran, dass im Bereich der medizinischen Bildgebung ein hoher Durchschnittswert keine Sicherheit oder Zuverlässigkeit für jeden einzelnen Patienten garantiert. Die Forscher fanden heraus, dass zwei spezifische Scans für die meisten der in der Studie beobachteten Fehler verantwortlich waren – eine Tatsache, die unentdeckt geblieben wäre, wenn man nur den Gruppendurchschnitt betrachtet hätte. Durch die Überprüfung dieser seltenen Fehler und das Verständnis dafür, wie diese Werkzeuge über verschiedene Datengruppen hinweg reagieren, können Wissenschaftler vertrauenswürdigere Systeme aufbauen. Die Konsensmethode, bei der einfach mehrere Werkzeuge über die Antwort abstimmen, erwies sich als ein einfacher und effektiver Weg, um die schlimmsten Fehler zu beseitigen, ohne ein neues, komplexes Modell trainieren zu müssen. Für pädiatrische Radiologen und Forscher besteht der Weg nach vorn nicht nur darin, das genaueste Werkzeug zu finden, sondern einen Standard für die Testung und Berichterstattung über sie zu etablieren, um sicherzustellen, dass die Werkzeuge, die die Entwicklung eines Kindes messen, ebenso zuverlässig sind wie die Wissenschaft, die sie unterstützen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.