Spatial Transferability of Explainable Machine Learning for Predicting Pre-Treatment Tuberculosis Loss to Follow-up Across West Java Districts

매년 전 세계적으로 수백만 명의 사람들이 폐를 공격하는 심각한 세균 감염인 결핵 진단을 받습니다. 의료 체계에는 명확한 경로가 있습니다. 일단 환자가 진단되면 즉시 약물 복용을 시작해야 합니다. 하지만 이 과정에는 위험한 공백이 존재합니다. 많은 환자들이 진단을 받은 후, 치료를 시작하지 않은 채 그대로 남겨집니다. 그들은 클리닉을 떠나거나, 보건 요원과의 연락이 끊기거나, 혹은 치료 요법을 시작하기로 결정하지 않습니다. 이것은 '추적 관찰 실패(loss to follow-up)'라고 알려져 있습니다. 이러한 개인들은 감염 상태를 유지하며 가족과 지역사회에 질병을 퍼뜨리는 동시에, 자신의 건강은 급격히 악화됩니다. 보건 프로그램들은 모든 환자를 지원할 자금과 인력을 확보하는 데 종종 어려움을 겪기 때문에, 환자가 문을 나서기도 전에 누가 중도 탈락할 가능성이 높은지 식별할 방법이 필요합니다. 만약 의사들이 이러한 고위험 환자들을 조기에 발견할 수 있다면, 모든 사람을 똑같이 돕기보다는 가장 도움이 필요한 사람들에게 한정된 자원을 집중할 수 있을 것입니다.

인도네시아 서자바주에서 연구진은 국가 보건 시스템에 이미 수집된 방대한 데이터를 사용하여 이 문제를 해결하고자 했습니다. 그들은 단순하지만 어려운 질문을 던졌습니다. 컴퓨터 프로그램이 주 전체 환자의 기록을 학습하여, 특정 마을의 특정 개인이 치료를 시작하지 못할 것인지를 정확하게 예측할 수 있는가? 그들은 하나의 거대한 모델이 어디서나 작동할 수 있는지, 아니면 각 지역의 독특한 상황이 예측을 망가뜨릴 것인지를 알고 싶었습니다. 이를 위해 그들은 데이터에서 규칙을 명시적으로 프로그래밍하지 않고도 패턴을 찾아낼 수 있게 해주는 컴퓨터 과학 분야인 머신러닝을 활용했습니다. 그들은 단순히 답만 내놓고 과정을 보여주지 않는 '블랙박스' 모델 대신, 왜 컴퓨터가 그런 결정을 내렸는지 그 이유를 정확히 볼 수 있는 투명한 상자와 같은 '설명 가능한(explainable)' 모델에 집중했습니다. 이러한 투명성은 의사가 예측에 따라 행동하기 전에 그 근거를 이해해야 하는 상황에서 매우 중요합니다.

연구팀은 2024년 서자바주의 27개 구와 시 전역에서 결핵 진단을 받은 17만 4천 명 이상의 정보를 수집했습니다. 그들은 환자의 연령, 당뇨병 유무, 거주지, 방문한 클리닉 종류 등 진단 시점에 확인할 수 있는 세부 정보를 살펴보았습니다. 가장 중요한 것은 시스템에 환자의 HIV 상태가 기록되었는지 여부였습니다. 이 환자들 중 약 9%는 이미 치료를 시작하기도 전에 추적 관찰에서 누락되었습니다. 연구진은 어떤 컴퓨터 모델이 치료를 시작할 환자와 그렇지 않을 환자를 가장 잘 구분해내는지 확인하기 위해 다섯 가지 서로 다른 모델을 구축했습니다. 그들은 단순한 통계적 방법부터 일련의 예/아니오 질문을 통해 결정을 내리는 복잡한 트리 기반 시스템까지 모두 테스트했습니다.

결과는 컴퓨터 모델들이 놀라울 정도로 제 역할을 잘 수행하고 있음을 보여주었습니다. 가장 우수한 모델은 치료를 지속할 환자와 떠날 환자를 높은 정확도로 구별해 냈습니다. 더욱 놀라운 점은 다섯 가지 서로 다른 유형의 모델이 거의 비슷하게 성능을 보였다는 것입니다. 가장 복잡한 모델이 단순한 모델들을 큰 차이로 앞지르지 못했습니다. 이는 예측 능력을 제한하는 주요 요인이 정교한 컴퓨터 알고리즘이 아니라, 데이터 자체의 품질이라는 것을 시사했습니다. 데이터에는 강력한 신호가 있었는데, 특히 환자의 HIV 상태가 기록되었는지 여부가 그러했습니다. 파일에 HIV 상태가 누락된 환자들은 상태가 양성 또는 음성으로 명확히 기록된 환자들보다 추적 관찰에서 누락될 가능성이 훨씬 높았습니다. 이는 더 깊은 문제를 시사했습니다. 즉, HIV 검사 결과를 기록하는 행위는 단순한 데이터 입력 작업이 아니라, 해당 환자에 대한 전체 의료 과정이 얼마나 완전하고 세심하게 이루어졌는지를 보여주는 지표라는 점입니다.

그러나 연구진이 이 단일 주 단위 모델이 모든 마을에서 동일하게 잘 작동하는지 테스트했을 때, 양상은 달라졌습니다. 지역 전체에 걸쳐 평균적으로 잘 작동하는 모델이라 할지라도, 특정 구역에서는 신뢰할 수 없었습니다. 어떤 지역에서는 모델이 위험을 지속적으로 과소평가하여, 환자가 실제로 치료를 시작하지 않음에도 불구하고 시작할 것이라고 예측했습니다. 다른 지역에서는 위험을 과대평가하기도 했습니다. 연구진은 이러한 실패의 두 가지 주요 원인을 발견했습니다. 첫째, 일부 구역에서는 데이터가 기록되는 방식이 나머지 지역과 달랐습니다. 예를 들어, 한 구역에서는 주 평균에 비해 HIV 기록이 누락된 환자의 비율이 훨씬 높았습니다. 모델이 이 정보에 크게 의존했기 때문에, 데이터가 불완전한 곳에서는 정확한 예측을 내리는 데 어려움을 겪었습니다.

두 번째 이유는 더 미스터리했습니다. 특정 구역에서는 데이터가 정상적으로 보임에도 불구하고, 모델은 환자들이 치료를 시작할 것이라고 예측했으나 실제로는 많은 이들이 치료를 시작하지 않았습니다. 이는 컴퓨터가 볼 수 없는 지역적 요인들이 환자들의 결정에 영향을 미치고 있음을 시사했습니다. 여기에는 현지 의료 서비스의 질, 클리닉까지의 거리, 또는 그 마을 특유의 문화적 장벽 등이 포함될 수 있습니다. 연구진은 이러한 지역적 실패가 인접한 마을에 예측 가능한 패턴으로 퍼지지 않는다는 것을 발견했습니다. 즉, 예측이 틀린 마을이 반드시 예측이 틀린 다른 마을 옆에 위치하는 것은 아니었습니다. 이는 단일한 '원 사이즈 피츠 올(one-size-fits-all)' 모델을 조정 없이 어디에서나 신뢰할 수 없음을 의미했습니다.

연구는 머신러닝이 고위험 환자를 식별하는 강력한 도구이지만, 단순히 여러 지역에 무차별적으로 적용될 수는 없다고 결론지었습니다. 연구진은 구역 내 환자 수가 모델의 성능을 결정하지 않는다는 것을 발견했습니다. 데이터가 일관적이라면 환자 수가 매우 적은 지역에서도 예측이 잘 될 수 있는 반면, 지역적 조건이 독특하다면 규모가 큰 지역에서도 실패할 수 있었습니다. 또한, 컴퓨터가 살펴보는 요인 목록을 단순화하려는 시도가 결과를 개선하지 못한다는 것도 발견했습니다. 가장 중요한 교훈은 모델이 각 특정 위치에 맞춰 재조정(recalibration)되어야 한다는 것이었습니다. 모델의 예측치를 지역적 현실에 맞게 조정함으로써, 보건 요원들은 컴퓨터의 통찰력을 활용해 진정으로 추가 지원이 필요한 환자들을 선별할 수 있습니다.

바쁜 클리닉에서 이를 실무에 적용하기 위해, 연구진은 복잡한 컴퓨터 모델을 간단한 점수 체계로 변환했습니다. 의사들은 HIV 상태 기록 여부, 진단 방식, 연령, 치료 이력과 같은 몇 가지 사실만을 사용하여 몇 초 만에 환자의 위험 점수를 계산할 수 있습니다. 예를 들어, HIV 기록이 누락된 환자는 즉시 높은 위험 점수를 받게 되며, 이는 즉각적인 주의가 필요함을 알리는 신호가 됩니다. 이러한 접근 방식은 보건 프로그램이 모든 환자를 똑같이 대하는 방식에서 벗어나, 한정된 자원을 낭비 없이 정말로 사각지대에 놓일 가능성이 높은 개인들에게 집중할 수 있게 해줍니다. 이 연구는 적절한 데이터와 세심한 지역적 조정이 뒷받침된다면, 기술이 결핵 진단 후의 결정적인 초기 단계에서 격차를 메우고 생명을 구할 수 있음을 증명했습니다.