Multicenter Evaluation of the Accuracy and Clinical Reliability of an Artificial Intelligence- Based System for Skeletal Maturity Indicators Staging

Wachsende Kinder werden nicht nur größer; ihre Körper durchlaufen eine komplexe interne Transformation, bei der Knochen härter werden, Gelenke verschmelzen und Wachstumsschübe beschleunigt und dann wieder langsamer werden. Für Kieferorthopäden ist das Timing der Behandlung alles entscheidend. Das Bewegen von Zähnen oder das Steuern des Kieferwachstums funktioniert am besten, wenn sich der Körper in einer spezifischen Phase dieser biologischen Entwicklung befindet – ein Zeitfenster der Gelegenheit, das wenig mit dem tatsächlichen Alter eines Kindes in Jahren zu tun hat und alles mit seinem skelettalen Alter. Um dieses Fenster zu finden, verlassen sich Ärzte seit langem auf Hand-Handgelenk-Röntgenaufnahmen, indem sie die winzigen Knochen in der Hand und im Handgelenk untersuchen, um zu sehen, wie weit ein Kind in seiner körperlichen Reifung fortgeschritten ist. Dieser Prozess erfordert jedoch einen menschlichen Experten, der das Bild sorgfältig untersucht, spezifische Knochenformen identifiziert und eine Stufe der Entwicklung dem Patienten zuordnet. Dies ist eine Fertigkeit, die es braucht, um sie über Jahre hinweg zu meistern, und wie jede menschliche Aufgabe kann sie von einem Arzt zum anderen variieren.

Da künstliche Intelligenz begonnen hat, in vielen Bereichen der Medizin zu unterstützen, haben Forscher gefragt, ob ein Computerprogramm lernen könnte, diese Röntgenbilder mit der gleichen Sorgfalt und Konsistenz wie ein menschlicher Spezialist zu lesen. Eine neue Studie, die von einem Team der Yonsei University in Südkorea veröffentlicht wurde, setzte sich zum Ziel, ein kommerzielles Softwaresystem zu testen, das genau dies tun soll. Die Forscher wollten wissen, ob diese künstliche Intelligenz in der Lage ist, das skelettale Reifestadium eines Kindes über verschiedene Krankenhäuser und für verschiedene Arten von Patienten hinweg zuverlässig zu bestimmen, oder ob sie nur in einer kontrollierten, einzelnen Umgebung gut funktionieren würde. Sie sammelte eine große Gruppe von Patienten aus zwei separaten Zahnkliniken, die ein breites Spektrum an Altersgruppen und Wachstumsmustern abdeckten, um zu sehen, ob der Computer dem Urteil erfahrener kieferorthopädischer Spezialisten entsprechen konnte.

Die Studie beinhaltete die Überprüfung der Krankenakten und Hand-Handgelenk-Röntgenaufnahmen von 595 Patienten im Alter von sechs bis achtzehn Jahren, die eines der zwei universitätsverbundenen Krankenhäuser in Südkorea besucht hatten. In diesen Krankenhäusern hatten die Patienten standardmäßige kieferorthopädische Untersuchungen durchlaufen, die Röntgenaufnahmen ihres Kopfes und ihrer Hände beinhalteten. Die Forscher etablierten zunächst einen „Goldstandard“ für jeden Patienten, indem sie erfahrene Kieferorthopäden baten, die Röntgenbilder zu überprüfen und sie mit den Krankenakten der Patienten abzugleichen. In Fällen, in denen sich die Spezialisten uneinig waren, wurde ein dritter Experte hinzugezogen, um die endgültige Entscheidung zu treffen. Diese durch Menschen abgeleitete Stufe diente als Referenzpunkt, gegen den die künstliche Intelligenz getestet wurde. Die Software des Computers, die diese spezifischen Röntgenbilder zuvor noch nie gesehen hatte, analysierte die Bilder daraufhin eigenständig, um dieselbe Reifestufe vorherzusagen.

Die Ergebnisse zeigten, dass das System der künstlichen Intelligenz mit einem hohen Grad an Konsistenz und Zuverlässigkeit arbeitete. Beim Vergleich der Vorhersagen des Computers mit den endgültigen Entscheidungen der menschlichen Experten stimmten die beiden in 73 Prozent aller Fälle exakt überein. Wenn die Forscher eine Fehlermarge von nur einer Stufe nach oben oder unten zuließen, stieg die Übereinstimmung auf 96 Prozent. Das bedeutet, dass der Computer in fast jedem Fall entweder punktgenau war oder nur um einen sehr geringen, klinisch unbedeutenden Betrag abwich. Das System erwies sich in beiden Krankenhäusern gleichermaßen effektiv, obwohl die beiden Standorte unterschiedliche Röntgengeräte verwendeten und über unterschiedliche Patientenpopulationen verfügten. Die statistische Analyse bestätigte, dass der Standort des Krankenhauses den Einfluss auf die Genauigkeit der Ergebnisse nicht beeinflusste, was darauf hindeutet, dass die Software robust genug ist, um in unterschiedlichen klinischen Umgebungen zu funktionieren, ohne für jeden neuen Einsatz neu trainiert werden zu müssen.

Die Studie ergab auch, dass die Genauigkeit des Systems nicht über alle Personengruppen hinweg einheitlich war. Der Computer war bei der Beurteilung weiblicher Patienten signifikant genauer als bei männlichen Patienten. Konkret stimmte er in 76 Prozent der Fälle bei Mädchen mit den menschlichen Experten überein, verglichen mit 69 Prozent bei Jungen. Weitere Untersuchungen zeigten, dass dieser Unterschied durch das Stadium der Pubertät getrieben wurde. Das System war am genauesten bei Mädchen, die bereits ihre Menstruation begonnen hatten, wobei es in 84 Prozent der Fälle mit den Experten übereinstimmte. Bei jenen, die diesen Meilenstein noch nicht erreicht hatten, sank die Genauigkeit auf das Niveau der Jungen. Dies deutet darauf hin, dass die skelettalen Veränderungen, die nach dem Einsetzen der Menstruation auftreten, vielleicht deutlicher oder leichter für den Algorithmus zu erkennen sind als die Veränderungen vor diesem Zeitpunkt. Interessanterweise hatte die Art der Kieferbeziehung eines Patienten – ob Ober- und Unterkiefer normal ausgerichtet, hervorstehend oder zurückweichend waren – keinen Einfluss auf die Fähigkeit des Computers, die Röntgenbilder zu lesen. Das System funktionierte unabhängig von diesen skelettalen Mustern gleichermaßen gut.

Bei der Betrachtung der spezifischen Entwicklungsstadien zeichnete sich der Computer besonders gut bei der Identifizierung des sehr Anfangs und des sehr Endes des Wachstumsprozesses aus. Er war nahezu perfekt darin, das früheste Stadium der Entwicklung und das letzte Stadium, in dem das Wachstum abgeschlossen ist, zu erkennen. Dies sind kritische Momente für die Behandlungsplanung, da das Wissen darüber, wann das Wachstum beendet ist, essenziell ist, um zu entscheiden, ob man mit einer Operation fortfährt oder mit einer Zahnspange weitermacht. In den mittleren Stadien war das System weniger präzise, insbesondere um den Höhepunkt des Wachstumsschubs herum, wo die exakte Übereinstimmungsrate niedriger war. Selbst in diesen schwierigen mittleren Stadien machte der Computer jedoch selten einen großen Fehler. Er traf fast immer die Annahme einer Stufe, die direkt neben der korrekten lag, anstatt weit voraus zu springen oder weit zurückzufallen. Dieses Muster kleiner, benachbarter Fehler ist in einem klinischen Umfeld weita viel weniger gefährlich als ein großer, zufälliger Fehler, da es den Behandlungsplan innerhalb eines sicheren und logischen Bereichs hält.

Die Forscher kamen zu dem Schluss, dass dieses System der künstlichen Intelligenz ein hochzuverlässiges Werkzeug ist, das Kieferorthopäden in ihrem täglichen Praxisbetrieb unterstützen kann. Durch die Bereitstellung einer konsistenten und schnellen Beurteilung der skelettalen Reife kann die Software Ärzten helfen, das optimale Timing für die Behandlung mit größerer Zuversicht zu bestimmen. Die Studie zeigte, dass das System gut in verschiedenen Krankenhäusern und für eine vielfältige Gruppe von Patienten funktioniert, mit der bemerkenswerten Ausnahme, dass es derzeit etwas besser bei Mädchen abschneidet, die die Menstruation bereits erreicht haben. Obwohl der Computer nicht perfekt ist, deutet seine Fähigkeit, große Fehler zu vermeiden, sowie seine hohe Übereinstimmungsrate mit menschlichen Experten darauf hin, dass er bereit ist, als wertvolle Hilfe in realen klinischen Settings eingesetzt zu werden, um sicherzustellen, dass die kieferorthopädische Behandlung zum effektivsten Zeitpunkt im Wachstum eines Kindes erfolgt.