Feature leakage inflates machine-learning estimates of antiretroviral non-adherence risk in children living with HIV: a tiered sensitivity analysis of the EARTH cohort

현대 의학의 세계에서 의사들은 환자가 매일 복용하는 약을 제대로 챙겨 먹는 데 어려움을 겪을지 예측하기 위해 점점 더 컴퓨터에 의존하고 있습니다. 이는 특히 HIV를 앓고 있는 아동들에게 매우 중요한데, 항레트로바이러스 요법의 복용을 거르는 것은 생명을 위협하는 심각한 결과를 초래할 수 있기 때문입니다. 이러한 예측을 하기 위해 연구자들은 병원 방문 기록, 예를 들어 아이가 남은 알약의 개수, 부모가 복용 누락을 보고했는지 여부, 또는 처방전 재발급까지 걸린 시간과 같은 방대한 데이터를 수집합니다. 이 정보들을 머신러닝 모델, 즉 패턴을 찾아내고 미래의 행동을 예측하도록 설계된 정교한 컴퓨터 프로그램에 입력합니다. 이 도구들의 희망은 위험에 처한 아동을 조기에 식별하여, 아이의 건강이 악화되기 전에 클리닉이 개입할 수 있도록 하는 것입니다. 하지만 데이터가 수집되고 사용되는 방식에는 숨겨진 함정이 존재합니다. 만약 예측을 만드는 데 사용된 정보가 문제의 정의 자체와 너무 밀접하게 연결되어 있다면, 컴퓨터는 실제로는 정답지를 읽고 있을 뿐인데도 천재처럼 보일 수 있습니다. '데이터 누수(data leakage)'라고 알려진 이 현상은, 모델이 실제 세상에서 테스트되는 순간 사라져 버리는 완벽한 정확도의 환상을 만들어냅니다.

우간다의 한 연구팀은 최근 EARTH 코호트(HIV를 앓고 있는 아동들을 장기적으로 추적하는 연구)의 데이터를 사용하여 바로 이 문제를 조사했습니다. 그들은 머신러닝 모델의 겉보기 성공이 특정 유형의 방법론적 문제, 즉 문제를 해결하기 위해 문제의 정의를 구성하는 단서들을 사용하는 것에 얼마나 의존하는지를 이해하고자 했습니다. 동료 연구에서 연구팀은 '불충분한 복약 준수(suboptimal adherence)'를 예측하는 모델을 구축했는데, 이들은 이를 '약을 거르거나, 약이 떨어지거나, 약국 처방 조제를 지연하는 것'으로 정의했습니다. 엄격함을 기하기 위해, 그들은 이 정의를 직접적으로 생성하는 구체적인 데이터 포인트들을 모델 학습 전에 미리 제거했습니다. 이전의 작업은 완만하고 현실적인 결과를 보여주었습니다. 하지만 이번 새로운 분석에서 연구진은 다른 질문을 던졌습니다. 만약 그 단서들을 그대로 둔다면 어떤 일이 벌어질까? 그들은 모델이 정답을 엿볼 수 있게 허용했을 때 성능이 얼마나 부풀려지는지 확인하고 싶었습니다.

이를 알아내기 위해 연구진은 동일한 208명의 아동과 590회의 클리닉 방문 데이터로 재구성된 데이터셋을 만들었지만, 데이터를 세 가지 단계의 엄격한 층위로 나누어 구성했습니다. 첫 번째 층위는 '통제되지 않은(uncontrolled)' 버전으로, 컴퓨터에게 복용 누락에 대한 직접적인 보고와 남은 알약의 정확한 개수를 포함하여 이용 가능한 모든 정보를 제공했습니다. 이것들은 연구진이 아동의 복약 준수가 불량하다고 판단하는 데 사용한 구체적인 사실들입니다. 이 층위에서 컴퓨터를 학습시켰을 때 결과는 놀라울 정도로 완벽했습니다. 복잡한 트리 기반 모델을 포함한 6가지 유형의 머신러닝 알고리도들이 1.000의 점수를 기록했는데, 이는 예측에서 단 하나의 실수도 없었음을 의미합니다. 컴퓨터는 미래를 예측하는 것이 아니라, 주어진 규칙을 단순히 반복하고 있었던 것입니다. 모델은 만약 아이가 약을 거르면 복약 미준수를 예측하고, 거르지 않았다면 복약 준수를 예측한다는 것을 찾아냈습니다. 그것은 완벽한 순환이었지만, 실제 예측에는 쓸모없는 것이었습니다.

그다음 연구진은 두 번째 층위인 '느슨하게 통제된(loosely controlled)' 버전으로 넘어갔습니다. 여기서는 결과(outcome)를 직접적으로 정의하는 5가지 특정 필드, 즉 복용 누락 보고, 약국 수령 지연, 약이 떨어진 보고, 지연 계산값, 그리고 남은 약의 양을 제거했습니다. 이러한 직접적인 단서들이 사라지자 컴퓨터의 성능은 눈에 띄게 떨어졌습니다. 가장 우수한 모델인 CatBoost 프로그램은 정확도 점수가 완벽했던 1.000에서 0.735로 하락했습니다. 이는 여전히 괜찮은 결과였지만, 첫 번째 층위의 완벽함과는 거리가 멀었습니다. 이 하락은 초기 성공이 실제 패턴을 학습한 것이 아니라 문제의 정의를 읽어낸 데서 비롯된 환상이었음을 입증했습니다.

하지만 이야기는 거기서 끝나지 않았습니다. 연구진은 이 두 번째 층위에서도 한 변수가 여전히 모델의 결정에 지배적인 영향을 미치고 있다는 점을 발견했습니다. 그것은 아이가 지난 방문 이후 치료를 중단했는지 여부를 나타내는 필드였습니다. 이 변수는 기술적으로 결과를 정의하지는 않았지만, 복약 준수의 개념과 매우 밀접하게 연관되어 있어 거의 완벽한 대리 지표(proxy) 역할을 했습니다. 연구진이 이 마지막 변수를 제거하여 세 번째 층위인 '엄격하게 통제된(strictly controlled)' 버전을 만들었을 때, 모델의 성능은 다시 한번 하락했습니다. CatBoost 모델의 점수는 0.680으로 떨어졌고, 가장 중요한 사례를 올바르게 식별하는 능력은 0.407로 떨어졌습니다. 이 최종 결과는 이전의 더 엄격했던 연구에서 보였던 완만한 성능과 일치했으며, 이는 데이터의 진정한 예측 신호가 초기 부풀려진 수치보다 훨씬 약하다는 것을 확인시켜 주었습니다.

이 연구는 의료적 결과를 예측하기 위해 컴퓨터를 사용하는 모든 이들에게 중요한 교훈을 줍니다. 연구진은 복잡한 데이터를 처리하는 데 인기 있는 트리 기반 모델들이 이러한 종류의 성능 부풀림에 특히 취약하다는 것을 발견했는데, 이는 이 모델들이 범주를 정의하는 정확한 규칙을 찾는 데 탁so 능하기 때문입니다. 타겟 결과가 "복용 누락 또는 약이 떨어짐"과 같이 프로세스 변수들의 단순한 "또는(OR)" 조합으로 구성될 때, 모델은 이러한 규칙을 쉽게 암기하여 실제와는 다른 완벽한 점수를 얻을 수 있습니다. 연구진은 약국 처방 기록과 같은 변수 자체가 나쁜 것은 아니며, 아이의 바이러스 억제 여부와 같은 다른 결과를 예측하는 데는 유용하다고 강조합니다. 문제는 목표가 복약 준수 자체를 예측하는 것이고, 모델이 복약 준수를 정의하는 측정치를 주요 단서로 사용하도록 허용될 때 발생합니다.

궁극적으로, 이 분석은 높은 성능 수치를 액면 그대로 받아들이는 것에 대한 경고 역할을 합니다. 연구진은 결과 정의 필드를 포함하는 것이 모델의 판별력을 최대 0.41포인트까지 인위적으로 높일 수 있음을 보여주었으며, 이는 임상의들이 실제로 사용할 준비가 되지 않은 도구를 신뢰하게 만들 수 있는 엄청난 차이입니다. 그들은 향후 연구들이 직접적인 구성 요소와 밀접한 대리 지표들을 체계적으로 제거하여 이러한 종류의 누수를 감사하는 계층적 접근 방식을 채택해야 한다고 제안합니다. 그렇게 함으로써, 과학자들은 자신들이 만든 모델이 단순히 입력된 데이터의 구조를 반영하는 것이 아니라, 실제 세상에서도 유효한 진정한 전이 가능한 신호를 탐지하고 있는지 확인할 수 있습니다. 이 연구는 머신러닝이 자원이 부족한 환경에서 케어를 개선하는 데 큰 가능성을 가지고 있지만, 그 힘은 데이터가 어떻게 구성되었는지에 대한 엄격한 이해를 통해 절제되어야 함을 확인시켜 줍니다.