Multicenter Evaluation of the Accuracy and Clinical Reliability of an Artificial Intelligence- Based System for Skeletal Maturity Indicators Staging

Groeiende kinderen worden niet alleen groter; hun lichamen ondergaan een complexe interne transformatie waarbij botten verharden, gewrichten samensmelten en groeispurtjes versnellen en vervolgens weer afnemen. Voor orthodontisten is de timing van de behandeling allesbepalend. Het bewegen van tanden of het sturen van de kaakgroei werkt het best wanneer het lichaam zich in een specifieke fase van deze biologische ontwikkeling bevindt, een venster van gelegenheid dat weinig te maken heeft met de werkelijke leeftijd van een kind in jaren en alles met de skeletale leeftijd. Om dit venster te vinden, vertrouwen artsen al lang op hand-pols röntgenfoto's, waarbij ze kijken naar de kleine botjes in de hand en pols om te zien hoe ver een kind gevorderd is in zijn fysieke rijping. Dit proces vereist echter een menselijke expert die de afbeelding zorgvuldig onderzoekt, specifieke botvormen identificeert en een stadium aan de ontwikkeling van de patiënt toewijst. Het is een vaardigheid die jaren van meesterschap vergt en, net als elke menselijke taak, kan het per arts verschillen.

Nu kunstmatige intelligentie is begonnen met het ondersteunen van veel gebieden in de geneeskunde, hebben onderzoekers zich afgevraagd of een computerprogramma deze röntgenfoto's met dezelfde zorg en consistentie kan lezen als een menselijke specialist. Een nieuwe studie gepubliceerd door een team van de Yonsei Universiteit in Zuid-Korea zette zich in om een commercieel softwaresysteem te testen dat precies hiervoor ontworpen is. De onderzoekers wilden weten of deze kunstmatige intelligentie betrouwbaar de skeletale rijpingsfase van een kind kon bepalen over verschillende ziekenhuizen en voor verschillende typen patiënten, of dat het alleen goed zou werken in een gecontroleerde, enkele locatie. Ze verzamelden een grote groep patiënten uit twee afzonderlijke tandheelkundige ziekenhuizen, die een breed scala aan leeftijden en groeipatronen besloegen, om te zien of de computer het oordeel van ervaren orthodontische specialisten kon evenaren.

De studie omvatte het beoordelen van de medische dossiers en hand-pols röntgenfoto's van 595 patiënten, variërend van zes tot achttien jaar oud, die een van de twee universiteitsgebonden ziekenhuizen in Zuid-Korea hadden bezocht. Op deze ziekenhuizen hadden de patiënten standaard orthodontische evaluaties ondergaan, waaronder het maken van röntgenfoto's van hun hoofd en hun handen. De onderzoekers stelden eerst een "gouden standaard" vast voor elke patiënt door ervaren orthodontische specialisten de röntgenfoto's te laten beoordelen en deze te controleren met de medische dossiers van de patiënten. In gevallen waarin de specialisten van mening verschilden, werd een derde expert ingeschakeld om de definitieve beslissing te nemen. Dit door mensen afgeleide stadium diende als het referentiepunt waartegen de kunstmatige intelligentie werd getest. De computersoftware, die deze specifieke röntgenfoto's nog nooit eerder had gezien, analyseerde de beelden vervolgens zelfstandig om hetzelfde rijpingsstadium te voorspellen.

De resultaten toonden aan dat het systeem van kunstmatige intelligentie met een hoge mate van consistentie en betrouwbaarheid presteerde. Wanneer de voorspellingen van de computer werden vergeleken met de uiteindelijke beslissingen van de menselijke experts, kwamen deze in 73 procent van alle gevallen exact overeen. Als de onderzoekers een foutmarge van slechts één stadium omhoog of omlaag toelieten, steeg de overeenkomst naar 96 procent. Dit betekent dat de computer in bijna alle gevallen ofwel exact juist was, ofwel slechts een zeer kleine, klinisch onbeduidende afwijking vertoonde. Het systeem bleek even effectief in beide ziekenhuizen, ondanks het feit dat de twee locaties verschillende röntgenapparaten gebruikten en verschillende populaties patiënten hadden. Statistische analyse bevestigde dat de locatie van het ziekenhuis de nauwkeurigheid van de resultaten zelf niet beïnvloedde, wat suggereert dat de software robuust genoeg is om in uiteenlopende klinische omgevingen te werken zonder dat deze voor elke nieuwe setting opnieuw getraind hoeft te worden.

De studie onthulde ook dat de nauwkeurigheid van het systeem niet uniform was over alle groepen mensen. De computer was aanzienlijk nauwkeuriger bij het beoordelen van vrouwelijke patiënten dan bij mannelijke patiënten. Specifiek kwam de computer in 76 procent van de gevallen bij meisjes exact overeen met de menselijke experts, vergeleken met 69 procent bij jongens. Verder onderzoek toonde aan dat dit verschil werd gedreven door de fase van de puberteit. Het systeem was het meest nauwkeurig bij meisjes die hun menstruatiecyclus al waren begonnen, waarbij het in 84 procent van de gevallen overeenkwam met de experts. Voor hen die die mijlpaal nog niet hadden bereikt, daalde de nauwkeurigheid naar het niveau van de jongens. Dit suggereert dat de skeletale veranderingen die optreden na de onset van de menstruatie wellicht duidelijker of gemakkelijker te herkennen zijn voor het algoritme dan de veranderingen die daarvóór plaatsvinden. Interessant genoeg had het type kaakrelatie van een patiënt — of de boven- en onderkaak normaal waren uitgelijnd, uitstekend of terugwijkend — geen invloed op het vermogen van de computer om de röntgenfoto's te lezen. Het systeem presteerde net zo goed, ongeacht deze skeletale patronen.

Bij het kijken naar de specifieke ontwikkelingsstadia blonk de computer uit in het identificeren van het begin en het einde van het groeiproces. Het was bijna perfect in het herkennen van het vroegste stadium van ontwikkeling en het laatste stadium waar de groei voltooid is. Het systeem was minder precies in de middelste stadia, met name rond de piek van de groeispurt, waar het exacte overeenstemmingspercentage lager lag. Echter, zelfs in deze moeilijke middelste stadia maakte de computer zelden een grote fout. Het raadde bijna altijd een stadium dat direct naast het juiste stadium lag, in plaats van ver vooruit te springen of ver achter te blijven. Dit patroon van kleine, aangrenzende fouten is in een klinische setting veel minder gevaarlijk dan een grote, willekeurige fout, omdat het het behandelplan binnen een veilige en logische marge houdt.

De onderzoekers concludeerden dat dit systeem van kunstmatige intelligentie een zeer betrouwbaar hulpmiddel is dat orthodontisten kan ondersteunen in hun dagelijkse praktijk. Door een consistente en snelle beoordeling van de skeletale rijpheid te bieden, kan de software artsen helpen om de optimale timing van de behandeling met meer vertrouwen te bepalen. De studie toonde aan dat het systeem goed werkt in verschillende ziekenhuizen en voor een diverse groep patiënten, met de opmerkelijke uitzondering dat het momenteel iets beter presteert voor meisjes die de onset van de menstruatie zijn gepasseerd. Hoewel de computer niet perfect is, suggereert het vermogen om grote fouten te vermijden en de hoge mate van overeenstemming met menselijke experts dat het klaar is om te worden gebruikt als een waardevolle hulp in de echte klinische praktijk, wat helpt om ervoor te zorgen dat orthodontische behandeling op het meest effectieve moment in de groei van een kind wordt geleverd.