Multicenter Evaluation of the Accuracy and Clinical Reliability of an Artificial Intelligence- Based System for Skeletal Maturity Indicators Staging

성장하는 아이들은 단순히 키만 커지는 것이 아니라, 뼈가 단단해지고 관절이 융합되며 성장 급등이 가속화되었다가 다시 느려지는 복잡한 내부적 변화를 겪습니다. 치과 교정 전문의들에게 있어 치료 시기는 매우 중요합니다. 치아를 이동시키거나 턱 성장을 유도하는 작업은 신체가 특정한 생물학적 발달 단계에 있을 때 가장 효과적인데, 이 기회의 창은 아이의 실제 연령과는 거의 관련이 없으며 오로지 골격 연령과 밀접한 관련이 있습니다. 이 기회의 창을 찾기 위해 의사들은 오랫동안 손목-손 X선 사진에 의존해 왔으며, 손과 손목의 작은 뼈들을 통해 아이가 신체적 성숙 과정에서 얼마나 진행되었는지를 확인해 왔습니다. 그러나 이 과정은 인간 전문가가 이미지를 주의 깊게 검토하고, 특정 뼈의 형태를 식별하며, 환자의 발달 단계를 할당해야 하는 과정을 필요로 합니다. 이는 숙련되는 데 수년이 걸리는 기술이며, 다른 인간의 과업과 마찬가지로 의사마다 결과가 다를 수 있습니다.

인공지능이 의료의 여러 분야에서 도움을 주기 시작함에 따라, 연구자들은 컴퓨터 프로그램이 인간 전문가와 동일한 주의력과 일관성을 가지고 이 X선 사진들을 읽을 수 있는지 질문을 던졌습니다. 한국 연세대학교 연구팀이 발표한 새로운 연구는 바로 이 작업을 수행하도록 설계된 상용 소프트웨어 시스템을 테스트하기 위해 설정되었습니다. 연구진은 이 인공지능이 서로 다른 병원과 서로 다른 유형의 환자들을 대상으로도 신뢰할 수 있게 아이의 골격 성숙 단계를 결정할 수 있는지, 아니면 통제된 단일 기관 환경에서만 잘 작동하는지를 알고 싶었습니다. 그들은 컴퓨터가 숙련된 교정 전문의의 판단과 일치할 수 있는지 확인하기 위해, 다양한 연령대와 성장 패턴을 가진 대규모 환자 집단을 두 곳의 별도 치과 병원에서 모집했습니다.

이 연구는 한국의 두 대학 부속 병원을 방문한 6세에서 18세 사이의 환자 595명의 의료 기록과 손목-손 X선 사진을 검토하는 방식으로 진행되었습니다. 이 병원들에서 환자들은 두부 및 수부 X선 촬영을 포함한 표준 교정 평가를 받았습니다. 연구진은 먼저 숙련된 교정 전문의들이 X선 사진을 검토하고 환자의 의료 차트와 교차 확인하는 과정을 통해 각 환자에 대한 '골드 스탠다드(표준)'를 확립했습니다. 전문의들 사이에 의견이 불일치하는 경우에는 제3의 전문가가 투입되어 최종 결정을 내렸습니다. 이렇게 인간에 의해 도출된 단계가 인공지능을 테스트하기 위한 기준점이 되었습니다. 이후 이 특정 X선 사진들을 한 번도 본 적이 없는 컴퓨터 소프트웨어가 스스로 이미지를 분석하여 동일한 성숙 단계를 예측하도록 했습니다.

결과에 따르면, 인공지능 시스템은 높은 수준의 일관성과 신뢰성을 보여주었습니다. 컴퓨터의 예측을 인간 전문가의 최종 결정과 비교했을 때, 두 결과는 전체 사례의 73%에서 정확히 일치했습니다. 만약 연구진이 단계를 위나 아래로 한 단계 정도의 오차 범위를 허용한다면, 일치율은 96%까지 올라갔습니다. 이는 거의 모든 경우에서 컴퓨터가 정확했거나, 혹은 임상적으로 무의ความ한 아주 미세한 차이만을 보였다는 것을 의미합니다. 이 시스템은 두 병원에서 사용된 X선 장비가 다르고 환자군 또한 달랐음에도 불구하고 양쪽 병원에서 모두 효과적임을 입증했습니다. 통계 분석 결과, 병원 위치 자체가 결과의 정확도에 영향을 미치지 않는 것으로 확인되었으며, 이는 소프트웨어가 새로운 환경에 맞춰 재학습할 필요 없이 다양한 임상 환경에서 작동할 수 있을 만큼 견고하다는 것을 시사합니다.

또한 이 연구는 시스템의 정확도가 모든 집단에서 균일하지 않다는 점을 밝혀냈습니다. 컴퓨터는 남성 환자보다 여성 환자를 평가할 때 유의미하게 더 높은 정확도를 보였습니다. 구체적으로, 여학생의 경우 전문가와 정확히 일치하는 비율이 7-6%였던 반면, 남학생은 69%였습니다. 추가 조사 결과, 이러한 차이는 사춘기 단계에 의해 발생했습니다. 시스템은 이미 초경을 시작한 여학생을 평가할 때 84%의 일치율을 보이며 가장 정확했습니다. 초경이라는 이정표에 도달하지 못한 여학생들의 경우, 정확도는 남학생의 수준으로 떨어졌습니다. 이는 초경 이후에 발생하는 골격 변화가 그 이전의 변화보다 아마도 더 뚜렷하거나 알고리즘이 인식하기 더 쉬운 특징을 가지고 있음을 시사합니다. 흥고롭게도, 환자의 턱 관계(상악과 하악이 정상적으로 정렬되었는지, 돌출되었는지, 혹은 후퇴했는지 여부)는 컴퓨터의 X선 판독 능력에 영향을 미치지 않았습니다. 시스템은 이러한 골격 패턴과 관계없이 동일하게 우수한 성능을 보였습니다.

성장 단계별로 살펴보았을 때, 컴퓨터는 성장 과정의 아주 초기 단계와 마지막 단계를 식별하는 데 탁월한 능력을 보였습니다. 시스템은 발달의 가장 초기 단계와 성장이 완료된 마지막 단계를 인식하는 데 거의 완벽했습니다. 이러한 시점들은 치료 계획을 세울 때 매우 중요한데, 성장이 끝나는 시점을 아는 것이 수술을 진행할지 혹은 교정기를 계속 착용할지를 결정하는 데 필수적이기 때문입니다. 시스템은 성장 급등이 일어나는 중간 단계, 특히 정확한 일치율이 낮아지는 구간에서는 정밀도가 다소 떨어졌습니다. 하지만 이러한 까다로운 중간 단계에서도 컴퓨터는 큰 실수를 저지르는 경우는 거의 없었습니다. 컴퓨터는 거의 항상 정답 바로 옆의 단계를 예측했으며, 단계를 크게 앞서가거나 뒤처지는 일은 드물었습니다. 이러한 '인접한 오류' 패턴은 임상 현장에서 매우 큰 무작위 오류보다 훨씬 덜 위험한 것인데, 이는 치료 계획을 안전하고 논리적인 범위 내에 머물게 하기 때문입니다.

연구진은 이 인공지능 시스템이 교정 전문의의 일상적인 진료를 지원할 수 있는 매우 신뢰할 수 있는 도구라고 결론지었습니다. 골격 성숙도를 일관되고 빠르게 평가함으로써, 이 소프트웨어는 의사들이 더 큰 확신을 가지고 최적의 치료 시기를 결정할 수 있도록 도울 수 있습니다. 이번 연구는 시스템이 서로 다른 병원과 다양한 환자 집단에서 잘 작동한다는 것을 입증하였으며, 다만 현재로서는 초경을 지난 여학생에 대해 약간 더 높은 성능을 보인다는 예외 사항이 있습니다. 컴퓨터가 완벽한 것은 아니지만, 큰 오류를 피하는 능력과 인간 전문가와의 높은 일치율은 이 시스템이 실제 임상 현장에서 가치 있는 보조 도구로 사용될 준비가 되었음을 시사하며, 이를 통해 아이의 성장 과정 중 가장 효과적인 순간에 교정 치료가 이루어질 수 있도록 도울 수 있습니다.