A Reproducible Framework for Auditing the Trustworthiness of Clinical Machine Learning Models

현대적인 병원에서는 조용한 혁명이 진행되고 있습니다. 컴퓨터는 환자의 기록을 읽는 법을 배우고 있으며, 인간 의사가 놓칠 수 있는 혈압, 연령, 생활 방식 사이의 패턴을 포착하여 누가 심장마비나 다른 심각한 질병의 위험에 처해 있는지 예측하는 데 사용됩니다. 임상 머신러닝(clinical machine learning)이라고 알려진 이 분야는 위험을 조기에 포착함으로써 생명을 구할 수 있다는 약속을 품고 있습니다. 하지만 여기에는 함정이 있습니다. 한 도시에서 심장 질환을 예측하도록 학습된 컴퓨터 프로그램이 다른 인구 구성을 가진 다른 도시로 이동했을 때 완전히 실패할 수 있다는 점입니다. 이는 두 번째 도시의 사람들이 더 고령이거나, 다른 음식을 먹거나, 혹은 의료 기록이 약간 다른 방식으로 작성되었을 수 있기 때문입니다. 컴퓨터가 이러한 차이에 직면했을 때, 그 예측은 단순히 맞거나 틀리는 문제를 넘어 신뢰도 측면에서 불안정해질 수 있습니다. 만약 모델이 환자에게 75%의 사건 발생 확률이 있다고 말했지만 실제 확률은 35%뿐이라면, 의사는 불필요하고 침습적인 검사를 지시하거나, 더 나아가 진짜 위험을 놓칠 수도 있습니다. 이러한 도구들이 안전하기 위해서는 신뢰할 수 있어야 하며, 이는 모델이 정확할 뿐만 아니라 자신의 불확실성에 대해 정직하고, 그 추론 과정을 설명하는 방식이 일관되어야 함을 의미합니다.

타냐 딥(Tanya Deep)이라는 연구자는 바로 이러한 종류의 신뢰성을 테스트하기 위한 새로운 시스템을 구축했습니다. 그녀는 실제 환자에게 사용되기 전 임상 머신러닝 모델을 감사하기 위해 설계된 자동화 도구 세트인 AETHEL이라는 프레임워크를 만들었습니다. AETHEL은 단순히 모델이 정답을 맞히는지 확인하는 것을 넘어, 모델의 확률 추정치가 현실과 얼마나 잘 일치하는지, 데이터가 변할 때 추론의 안정성이 어떻게 유지되는지, 그리고 모델의 조언이 실제로 의사의 의사결정을 돕는지라는 세 가지 특정 사항을 점검하는 엄격한 안전 검사관 역할을 합니다. 이 시스템을 테스트하기 위해, 딥은 1,000명의 합성 코호트(synthetic cohort)를 대상으로 여러 가지 서로 다른 컴퓨터 모델을 학습시킨 후, 유명한 프래밍햄 심장 연구(Framingham Heart Study, 타겟 코호트)와 국민건강영양조사(National Health and Nutrition Examination Survey, 도메인 시프트 참조군)의 실제 데이터를 사용하여 해당 모델들을 사용해 보았습니다. 목표는 한 환경에서 학습된 모델이 다른 환경(도메인 시프트라고 불리는 상황)에서 작동하도록 강제될 때 어떤 일이 발생하는지 확인하는 것이었습니다.

이 감사의 결과는 현재의 모델 검증 방식에 심각한 문제가 있음을 드러냈습니다. 모델이 훈련 데이터에서 새로운 실제 데이터로 이동했을 때, 올바르게 예측하는 능력은 떨어졌지만, 더 중요한 것은 그들의 확신(confidence)이 위험할 정도로 어긋났다는 점입니다. 모델은 여전히 올면 환자를 식별해 낼 수는 있지만, 잘못된 위험 퍼센티지를 할당하게 됩니다. 예를 들어, 훈련 단계에서는 잘 보정되었던 모델이 전이된 후에는 보정되지 않은 상태(uncalibrated)가 되어, 위험 점수가 실제 사건 발생 가능성과 더 이상 일치하지 않게 되었습니다. 딥은 모델이 신뢰도를 재정렬하기 위한 표준 수학적 조정을 통해 수정될 수 있다는 것을 발견했지만, 더 미묘한 문제가 남아 있었습니다. 숫자를 수정한 후에도 모델의 추론 강도는 변하기 시작했습니다. 모델들은 연령, 체질량 지수(BMI), 흡연 상태라는 상위 세 가지 요인을 가장 중요한 요소로 일관되게 식별했지만, 이 요인들의 구체적인 가중치와 상관관계는 환경 간에 변화했습니다. 훈련 데이터에서 모델은 결정을 내리기 위해 연령과 흡연 상태에 크게 의존했을 수 있지만, 새로운 데이터에서는 이러한 요인들과 결과 사이의 관계가 표류(drift)했습니다. 이러한 추론의 표류는 위험한데, 왜냐하면 의사들은 컴퓨터가 환자를 경고하는 이유를 이해하기 위해 이러한 설명에 의존하기 때문입니다. 만약 경고 없이 논리가 변한다면, 의사는 그 조언을 신뢰할 수 없습니다.

이 숨겨진 불안정성을 측정하기 위해, 딥은 모델의 추론이 얼마나 변하는지를 계산하는 새로운 방법들을 도입했습니다. 그녀는 한 환경에서 모델이 사용하는 가장 중요한 요인 목록과 다른 환경에서 사용하는 목록을 비교하는 메트릭을 개발했습니다. 테스트 결과, 단순 선형 방정식과 같은 일부 모델은 추론을 상당히 일관되게 유지했지만, 더 복합적인 모델들은 데이터가 변할 때 주요 요인에 대한 의존 강도가 변하는 경우가 많았습니다. 이 발견은 모델이 한 곳에서 잘 작동한다면 다른 곳에서도 똑같이 작동할 것이라고 가정하는 일반적인 관행에 도전합니다. 연구는 정확도만을 확인하는 것만으로는 충분하지 않으며, 환경이 변할 때 모델의 내부 논리가 유지되는지도 반드시 확인해야 함을 입증했습니다.

또한 이 프레임워크는 환자의 침대 곁에 서 있는 의사에게 이러한 예측이 갖는 실질적인 가치를 살펴보았습니다. 결정 곡선 분석(decision curve analysis)이라 불리는 방법을 사용하여, 연구는 추상적인 통계적 이점을 임상의가 이해할 수 있는 구체적인 숫자로 변환했습니다. 단순히 모델이 결과를 개선한다고 말하는 대신, 시스템은 1,000명의 환자 중 몇 명이 치료를 위해 올바르게 식별되었는지 대 몇 명이 불필요하게 치료받게 되었는지를 보여주는 시각적 차트를 생성했습니다. 결과는 모델이 적절히 보정되었을 때, 단순히 모두를 치료하거나 아무도 치료하지 않는 것보다 명확한 이점을 제공한다는 것을 보여주었습니다. 그러나 모델이 새로운 인구 집단에 맞춰 재보정되지 않는다면 이 이점은 사라졌습니다. 연구는 머신러닝이 병원에서 안전하게 사용되기 위해서는 "설정 후 망각(set it and forget it)"하는 도구가 되어서는 안 된다고 결론지었습니다. 즉, 최종 점수뿐만 아니라 신뢰도의 보정, 추론의 안정성, 그리고 조언의 실제 세계적 영향력을 지속적으로 자동 감사하는 과정이 필요합니다. 연구자가 이 프레임워크를 오픈 소스 소프트웨어로 공개함으로써, 다른 이들도 이러한 안전 점검을 스스로 검증할 수 있는 방법을 제공하였고, 이를 통해 인공지능이 의료 분야에서 약속하는 바가 그 안전성을 앞지르지 않도록 보장하였습니다.