A federated learning and recalibration pipeline for clinical prediction across heterogeneous regions: 30-day mortality after acute myocardial infarction

현대 의학 시대에 의사들은 환자의 미래 건강을 예측하는 데 도움을 주는 컴퓨터 프로그램에 점점 더 많이 의존하고 있습니다. 임상 예측 모델이라고 알려진 이러한 도구들은 개인의 현재 증상과 병력을 분석하여 심근경색 후 생존 가능성과 같은 특정 결과의 확률을 추정합니다. 이러한 프로그램이 정확하려면 대개 수많은 사람으로부터 얻은 방대한 양의 데이터로 학습되어야 합니다. 그러나 중대한 장벽이 존재합니다. 의료 기록에는 매우 사적인 정보가 포함되어 있기 때문입니다. 병원과 연구 센터들은 엄격한 개인정보 보호법과 윤리적 문제로 인해 자신들의 원시 데이터를 서로 공유할 수 없는 경우가 많습니다. 이는 최고의 모델을 만들기 위해서는 데이터를 이동시켜야 하지만, 존재하는 데이터는 격리된 저장소에 갇혀 있는 딜레마를 만듭니다. 이를 해결하기 위해 과학자들은 연합 학습(federated learning)이라는 방법을 개발했습니다. 모든 환자 기록을 하나의 중앙 데이터베이스로 모으는 대신, 이 방식은 각 병원이 자신의 컴퓨터에 데이터를 그대로 유지할 수 있게 해줍니다. 그런 다음 컴퓨터들은 서로 통신하며, 환자의 신원이나 구체적인 세부 사항을 전혀 드러내지 않고도 지역 환자들로부터 배운 수학적 교훈만을 공유합니다.

연구팀은 이 방법이 급성 심근경색(심각한 유형의 심장마비)을 앓는 환자의 30일 사망률을 예측하는 데 효과적으로 작동할 수 있는지 테스트하기 위해 연구를 수행했습니다. 그들은 전 세계 16개 지역에서 온 4만 명 이상의 환자를 포함한 GUSTO-I라는 주요 국제 임상 시험의 거대하고 잘 알려진 데이터 세트를 사용했습니다. 목표는 모든 지역의 지식을 결합하여 구축한 모델이 모든 원시 데이터를 한데 모아 구축한 모델만큼 정확하게 사망을 예측할 수 있는지, 그리고 이 결합된 접근 방식이 단 하나의 지역에서만 학습된 모델에 의 Relying 하는 것보다 더 나은지를 확인하는 것이었습니다. 연구진은 이러한 예측 도구를 구축하는 세 가지 다른 방법을 비교했습니다. 첫 번째는 모든 환자 데이터를 하나의 중앙 위치로 모으는 전통적인 방식이었습니다. 두 번째는 각 지역의 데이터만을 사용하여 16개 지역 각각에 대한 별도의 모델을 학습시키는 방식이었습니다. 세 번째는 연합 방식이었는데, 이는 16개 지역이 로컬에서 모델을 학습시킨 후 결과물인 수학적 계수만을 공유하여 하나의 글로벌 모델을 구축하고, 이후 전체 위험 예측이 올 정도로 정확하게 조정하는 과정을 거쳤습니다.

결과는 모델이 한 장소에서 다른 곳으로 이동할 때 얼마나 잘 작동하는지에 관한 명확한 패턴을 보여주었습니다. 연구진이 모델이 생성된 특정 지역 내에서 테스트했을 때는 성능이 상당히 괜찮았습니다. 그러나 한 지역에서 학습된 모델을 가져와 다른 지역의 결과를 예측하려고 했을 때, 정확도가 종종 크게 떨어졌습니다. 지역 내에서는 잘 작동하던 일부 모델들이 다른 곳에 적용되었을 때는 신뢰할 수 없게 되었으며, 생존할 환자와 그렇지 못한 환자를 구분하는 능력이 저하되었습니다. 이는 지역적 조건, 환자 인구 통계, 진료 관행 등이 충분히 다르기 때문에 한 지역을 위해 구축된 모델이 다른 지역에서도 자동으로 작동하지 않는다는 점을 강조했습니다. 반면, 전통적인 중앙 집중식 통합 방식이나 새로운 연합 학습 방식을 통해 모든 지역의 데이터를 결합하여 구축된 모델들은 모든 16개 지역에서 안정적이고 정확하게 유지되었습니다. 이러한 글로벌 모델들은 일관되게 높은 수준의 정확도를 달察했으며, AUC 0.82를 기록하며 환자들의 위험 순위를 정확하게 매겼고, 어떤 지역에서 테스트하더라도 이러한 성능을 유지했습니다.

이 연구는 또한 연합 학습 방식이 전통적인 중앙 집중식 통합 방식의 성능과 거의 똑같이 일치할 수 있음을 확인했습니다. 환자 데이터가 병원을 절대 떠나지 않은 상태에서 구축된 연합 방식의 글로벌 모델은 모든 데이터를 모은 데이터 세트로 구축된 모델만큼이나 우수한 성능을 보였습니다. 이는 개인정보 보호와 고품질의 예측이 서로 상충하는 개념이 아님을 입증한 중요한 발견이었습니다. 그러나 연구진은 연합 과정에서의 작은 기술적 장애물을 언급했습니다. 서로 다른 지역의 수학적 계수들을 단순히 평균냈을 때, 결과 모델이 전체적인 사망 위험을 약간 과대평가하는 경향이 있었습니다. 이를 해결하기 위해 팀은 마지막 단계에서 가벼운 재보정(recalibration) 단계를 추가했습니다. 이 단계는 병원 간에 공유된 요약 통계만을 사용하여 최종 예측 수치를 조정함으로써, 개별 환자의 기록을 볼 필요 없이 편향을 효과적으로 수정했습니다. 이 조정을 거친 후, 연합 모델의 예측은 중앙 집중식 모델과 완벽하게 일치했습니다.

연구진은 또한 이러한 모델들이 왜 그렇게 작동하는지 이해하기 위해 모델의 내부 구조를 조사했습니다. 그들은 연합 모델이 학습한 수학적 규칙이 중앙 집중식 모델이 학습한 규칙과 매우 유사하다는 것을 발견했으며, 이는 분산형 방식이 질병과 위험의 근본적인 패턴을 성공적으로 포착했음을 시사합니다. 대조적으로, 단일 지역에서 학습된 모델들은 내부 규칙에서 훨씬 더 많은 변이를 보였으며, 이것이 다른 지역에 적용될 때 어려움을 겪은 이유였습니다. 특히 한 지역은 다른 지역들과 상당히 다른 모델을 생성하여 외부 테스트에서 낮은 성능을 보였는데, 이는 단일한 로컬 데이터 세트에 의존하는 것이 취약한 예측으로 이어질 수 있다는 생각을 뒷받침했습니다. 연구는 로컬 모델이 자체 경계 내에서는 유용할 수 있지만, 새로운 환경으로 일반화되는 데는 자주 실패한다는 결론을 내렸습니다. 연합 학습 방식은 전체적인 위험에 대한 간단한 교정과 결합될 때, 민감한 환자 데이터를 각 병원의 벽 안에 안전하게 보관하면서도 다양한 국가와 의료 시스템 전반에서 작동하는 견고한 예측 도구를 구축할 수 있는 실용적이고 안전한 방법을 제공합니다.