Prospective validation of an uncertainty-aware machine learning model for secondary progressive multiple sclerosis classification

다발성 경화증은 신체의 면역 체계가 신경 섬유의 보호막을 실수로 공격하여 뇌와 신체 나머지 부분 사이의 통신을 방해하는 질환입니다. 많은 사람에게 이 질병은 증상이 악화되었다가 다시 사라지는 재발-완화 패턴으로 시작됩니다. 그러나 시간이 흐르면서 이 질병은 뚜렷한 회복기 없이 장애가 꾸준히 악화되는 이차 진행 단계로 넘어갈 수 있습니다. 이 변화가 정확히 언제 발생하는지를 식별하는 것은 의사들에게 매우 어려운 일로 알려져 있습니다. 특정하고 측정 가능한 검사에 의존하는 초기 진단과 달리, 이 후기 단계를 인식하는 것은 종종 의사의 판단과 긴 환자 방문 기록에 의존하게 됩니다. 이러한 불확실성은 진행 단계에 특화된 치료법의 시작을 지연시켜, 환자들이 수년간 적절한 치료를 받지 못하게 만들 수 있습니다.

스웨덴의 한 연구팀은 이 전환기를 더 빠르고 안정적으로 포착하는 데 도움이 되는 새로운 방법을 개발했습니다. 그들은 수천 명의 환자 의료 기록으로부터 학습하여, 환자가 재발 단계에서 진행 단계로 이동하고 있는 미세한 징후를 인식하는 컴퓨터 모델을 구축했습니다. 이 작업이 차별화되는 점은 모델이 단순히 예측을 내놓는 것뿐만 아니라, 그 예측에 대해 자신이 얼마나 확신하는지를 의사에게 알려줄 수 있다는 것입니다. 최근 연구에서 연구진은 모델이 구축된 후 수집된 새로운 데이터를 통해 모델을 테스트했으며, 이를 통해 모델이 한 번도 본 적 없는 새로운 환자들에게도 작동한다는 것을 입증했습니다. 그들은 이 모델이 현재 의사들이 사용하는 표준 방식보다 훨씬 더 자주 진행 단계로의 전환을 식별할 수 있으며, 동시에 자신의 확신도를 명확한 척도로 제공한다는 것을 발견했습니다.

연구진은 먼저 스웨덴 다발성 경화증 등록부의 방대한 의료 기록 데이터베이스를 사용하여 컴퓨터 모델을 교육하기 시작했습니다. 이 데이터베이스에는 만 명 이상의 인원과 약 9만 건의 병원 방문 기록이 포함되어 있었습니다. 모델은 환자의 연령, 장애 점수, 복용 중인 약물의 종류, 뇌 스캔 결과와 같은 각 방문의 구체적인 세부 사항을 살펴보는 법을 배웠습니다. 또한 등록부에 기록된 의사들의 라벨링을 바탕으로, 환자가 여전히 재발 단계에 있는지 아니면 진행 단계로 넘어갔는지를 구분하는 법을 학습했습니다. 결정적으로, 모델은 불확실성을 계산하는 시스템을 포함하도록 설계되었습니다. 이는 모델이 추측을 할 때 단순히 답을 내는 것이 아니라 확신 점수를 함께 제공함으로써, 사용자가 해당 예측이 강력한 확신인지 혹은 데이터가 너무 모호하여 확신하기 어려운 상태인지를 알 수 있게 해줍니다.

이 모델이 실제 세상에서 작동할지 확인하기 위해, 연구팀은 모델을 가르치는 데 사용했던 동일한 데이터만을 사용하지 않았습니다. 대신, 그들은 새로운 데이터가 도착하기를 기다렸습니다. 그들은 모델에 완전히 새로운 데이터인 2025년의 기록(1만 5천 명 이상의 개인과 4만 5천 건의 병원 방문 포함)을 활용했습니다. 이러한 접근 방식은 '전향적 타당성 검증(prospective validation)'이라 불리며, 도구가 과거의 환자뿐만 아니라 미래의 환자에게도 작동하는지를 보장하는 엄격한 방법입니다. 새로운 데이터를 모델에 실행했을 때, 모델은 높은 정확도로 수행되었습니다. 개별 병원 방문 수준에서 모델은 재발 단계를 92%의 경우에 올바르게 식별했고, 진행 단계를 95%의 경우에 올바르게 식별했습니다. 더욱 중요한 점은 모델이 잘 보정(well-calibrated)되어 있었다는 것입니다. 즉, 모델의 확신 점수가 현실과 일치했다는 뜻으로, 모델이 93%의 확신을 가진다고 말했을 때 실제로 93%의 확률로 맞혔다는 것을 의미합니다.

그다음 연구진은 모델이 진행 단계로 전환된 개별 환자들을 얼마나 잘 식별하는지 살펴보았습니다. 그 결과, 모델은 실제로 전환된 환자의 98%를 성공적으로 식별해 냈는데, 이는 현재의 표준 방식이 겨우 71%만을 잡아내는 것보다 현저히 높은 수치였습니다. 로르셰이더 기준(Lorscheider criteria)으로 알려진 표준 방식은 최근의 재발 없이 장기간 동안 기능이 꾸준히 저하되는 것을 요구하는 엄격한 규칙에 의존합니다. 이 방식은 매우 구체적이어서 잘못된 경보를 거의 울리지 않지만, 변화를 확인하기 위해 오랜 기다림을 필요로 하기 때문에 많은 사례를 놓치게 됩니다. 반면, 새로운 모델은 전환을 훨씬 더 일찍 포착할 수 있으며, 종종 의사가 처음으로 변화를 인지한 바로 그 방문 시점, 또는 그 이전에도 포착할 수 있습니다.

이 연구의 매우 가치 있는 측면 중 하나는 모델이 단순히 예/아니오의 답변만을 주는 것이 아니라, 스스로를 설명한다는 점입니다. 어떤 요인이 결정에 영향을 미쳤는지 분석하는 기술을 사용함으로써, 연구진은 모델이 장애 점수나 연령과 같이 의사들이 실제로 살피는 임상적 징후들에 의존하고 있음을 보여주었습니다. 이러한 투명성은 모델이 의학적으로 말이 되지 않는 숨겨진 패턴을 찾아내는 것이 아니라, 의학적 근거를 따르고 있음을 보여줌으로써 신뢰를 구축하는 데 도움을 줍니다. 나아가, 모델이 "확신할 수 없다"라고 말할 수 있는 능력은 안전 장치 역할을 합니다. 데이터가 혼란스러운 경우, 모델은 위험한 추측을 하는 대신 불확실성을 표시하여 인간 의사가 해당 사례를 더 면밀히 검토할 수 있도록 합니다.

또한 이 연구는 두 방법이 전환기에 대응하는 방식의 핵심적인 차이를 강조했습니다. 모델은 전환 중인 환자의 90%를 식별해 낸 반면, 표준 기준은 57%만을 식별했습니다. 이는 표준 기준이 너무 엄격하여 많은 환자를 놓치고 있을 수 있음을 시사합니다. 최근 진행 단계만을 표적으로 하는 새로운 약물들이 승인되었음에도 불구하고, 이 환자들을 놓친다는 것은 그들이 필요한 치료를 받지 못하고 있음을 의미합니다. 모델은 이러한 사례를 더 빨리 포착하여, 의사들이 적절한 치료를 더 조기에 시작할 수 있도록 돕는 길을 제시합니다.

하지만 연구진은 자신들의 모델이 의사를 대체하는 것이 아님을 주의 깊게 언급했습니다. 이 모델은 임상 의사 결정을 지원하기 위해 설계된 도구입니다. 본 연구는 스웨덴의 데이터를 사용하여 수행되었으며, 연구진은 모델이 전 세계적으로 사용되기 전에 다른 의료 체계와 환자군을 가진 다른 국가에서도 테스트되어야 함을 인정했습니다. 또한 모델은 의사들이 현재 환자를 어떻게 라벨링하는지로부터 학습하기 때문에, 만약 그 라벨링이 지연되거나 일관되지 않다면 모델 역시 이를 반영하게 될 것이라고 지적했습니다. 이러한 한계에도 불구하고, 본 연구는 실제 세계의 데이터로 훈련된 컴퓨터 모델이 질병 진행을 신뢰성 있게 예측할 수 있으며, 현재의 표준 방식에는 결여된 확신도를 제공할 수 있음을 입증했습니다.

이 연구의 궁극적인 목표는 환자의 상태가 변하는 순간과 그에 적합한 치료를 받는 순간 사이의 간극을 메우는 것입니다. 신뢰할 수 있는 조기 경보 시스템과 명확한 확신도를 제공함으로써, 이 도구는 환자들이 진행형 질환으로 인식될 때까지 수년간 기다려야 하는 상황을 방지하는 데 도움을 줄 수 있습니다. 이 연구는 적절한 접근 방식이 있다면 인공지능이 신비로운 '블랙박스'가 아니라, 의사가 환자의 건강 미래를 더 명확하게 볼 수 있도록 돕는 투명하고 보정된 조력자로서 의료에 통합될 수 있음을 보여줍니다.