How Robust Are Machine-Learning Biomarkers of Depression? A Leakage-Controlled Benchmark

현대 의학의 세계에서 의사와 연구자들은 정신 건강 상태가 심각해지기 전에 이를 포착하기 위해 점점 더 컴퓨터에 의존하고 있습니다. 이 아이디어는 한 개인에 대한 방대한 정보—수면 패턴, 일상 활동, 기분, 그리고 의료 기록—를 컴퓨터에 입력하여, 인간이 놓칠 수 있는 우울증의 미세한 징후를 기계가 학습하도록 하는 것입니다. 계산 정신의학(computational psychiatry)이라고 불리는 이 분야는 더 빠르고 정확하며 모두가 이용할 수 있는 진단의 미래를 약속합니다. 그러나 이러한 컴퓨터 모델이 실생활에서 유용해지려면, 이미 알고 있는 사람들의 과거를 암기하는 것이 아니라, 한 번도 만나본 적 없는 사람들의 미래를 예측할 수 있어야 합니다. 이 작업의 가장 큰 위험은 '데이터 누출(data leakage)'이라는 숨겨진 함정입니다. 이는 컴퓨터 모델이 있어서는 안 될 정보, 예를 들어 의사가 이미 답을 알고 난 뒤에 기록된 진단에 대한 단서와 같은 것을 실수로 전달받을 때 발생합니다. 만약 모델이 이러한 금지된 단서를 사용한다면, 실험실에서는 매우 똑똑해 보일지 몰라도 실제 임상에서 환자를 도우려 할 때는 완전히 실패하게 됩니다.

런던 퀸 메리 대학교의 한 연구자는 이러한 컴퓨터 모델들이 얼마나 취약한지를 정확히 테스트하기로 했습니다. 연구자는 통제하기 어렵고 지저분할 수 있는 실제 환자 기록 대신, 컴퓨터 내부에 완전히 가짜 세계를 구축했습니다. 이 합성 세계는 10개의 시뮬레이션된 병원에 걸쳐 8,000명의 가공 인물 데이터를 포함하고 있었습니다. 각 개인은 나이, 소득, 수면, 심박수, 그리고 기분에 대한 세부 정보를 담은 디지털 프로필을 가졌습니다. 그런 다음 연구자는 이 가짜 세계에서 누가 우울증을 앓고 있는지를 결정하기 위한 특정 규칙을 만들었습니다. 즉, 총 증상 점수가 특정 수준에 도달한 사람은 사례로 분류되었습니다. 이 완벽하고 통제된 설정 덕분에 연구자는 게임의 규칙을 바꿀 때 어떤 일이 일어나는지 확인하기 위해 일련의 실험을 수행할 수 있었습니다. 목표는 컴퓨터 모델이 실제로 우울증을 인식하는 법을 배우고 있는지, 아니면 단지 사용해서는 안 될 정보를 활용하고 있는지를 확인하는 것이었습니다.

첫 번째 실험은 미래 정보를 활용하는 힘을 테스트했습니다. 연구자는 우울증 상태가 이미 결정된 이후에 생성된 두 가지 특정 정보, 즉 환자가 추가 도움을 받기 위해 의사에게 의뢰되었는지 여부에 대한 기록과 그가 받은 치료 계획 코드를 가져왔습니다. 실제 상황에서 새로운 사람에 대한 우울증을 예측하려는 컴퓨터는 아직 이 기록들을 볼 수 없을 것입니다. 왜냐에는 예측이 의사가 이러한 결정을 내리기 전에 이루어져야 하기 때문입니다. 하지만 이 테스트에서 연구자는 컴퓨터 모델이 이들을 볼 수 있도록 허용했습니다. 결과는 극적이었습니다. 모델이 이러한 미래의 단서들을 엿볼 수 있게 되자, 성능이 거의 완벽한 수준으로 치솟았습니다. 기본적인 통계만을 사용하는 단순한 모델조차 갑자기 거의 매번 정답을 맞히는 것처럼 보였습니다. 수치상으로 모델이 우울증이 있는 개인과 없는 개인을 구별하는 능력은 1.00 중 거의 0.99에 달하는 점수로 급등했습니다. 이는 평범한 모델이라도 치트키(cheat sheet)가 주어진다면 천재처럼 보일 수 있다는 것을 증명했습니다.

다음으로, 연구자는 이러한 미래의 단서들을 제거하고 모델들에게 그것들 없이 다시 시도하라고 요청했습니다. 이번에 모델들은 수면 습관이나 기분 점수와 같이 진단 이전에 실제로 가용할 수 있는 정보에만 의존해야 했습니다. 성능은 떨어졌지만, 완전히 무너지지는 않았습니다. 단순한 통계 모델은 여전히 매우 잘 작동하여, 약 0.95의 점수로 우울증이 있는 개인을 정확히 식별해 냈습니다. 이는 매우 중요한 발견이었습니다. 모델이 단순히 치트키를 암기한 것이 아니라, 다른 데이터로부터 우울증에 관한 실제적인 패턴을 실제로 학습했다는 것을 보여주었기 때문입니다. 그러나 거의 완벽했던 점수에서 높지만 완벽하지는 않은 점수로 떨어진 것은, 미래 정보의 활용이 결과를 얼마나 부풀렸는지를 드러냈습니다. 연구자들은 이 차이가 단순한 통계적 오차가 아니라, 모델이 준비되지 않았음에도 불구하고 마치 준비된 것처럼 연구자를 속일 수 있는 거대한 변화라는 것을 발견했습니다.

그 후 연구는 모델들이 진정으로 학습하고 있는 것인지, 아니면 특정 인물을 암기하고 있는 것인지를 테스트했습니다. 많은 실제 연구에서 동일한 사람이 서로 다른 날 측정된 여러 데이터를 통해 데이터에 여러 번 등장할 수 있습니다. 만약 컴퓨터 모델이 훈련 단계에서 한 사람의 데이터를 보고 테스트 단계에서 다시 그 사람을 본다면, 모델은 일반적인 우울증의 규칙을 배우는 대신 그 특정 인물을 기억하고 있는 것일 수 있습니다. 이를 테스트하기 위해 연구자는 한 사람이 훈련 그룹과 테스트 그룹 모두에 등장하지 않도록 데이터를 나누었습니다. 놀랍게도 모델의 성능은 나빠지지 않았습니다. 점수는 이전만큼 높게 유지되었습니다. 이는 이 특정 시뮬레이션 환경에서 모델이 높은 점수를 얻기 위해 개별 인물을 암기하는 데 의존하지 않았음을 시사합니다. 즉, 모델은 모두에게 적용되는 패턴을 찾아내고 있었습니다.

연구자는 또한 모델이 다른 병원에서도 잘 작동할 수 있는지 테스트했습니다. 현실에서 한 도시에서 훈련된 모델은 사람들이 다르거나 의사들이 질문하는 방식이 다르기 때문에 다른 도시에서 실패할 수 있습니다. 연구자는 9개의 가짜 병원 데이터로 모델을 훈련시킨 후, 모델이 한 번도 본 적 없는 10번째 병원에서 테스트함으로써 이를 시뮬레이션했습니다. 다시 한번, 모델들은 잘 버텨냈습니다. 성능이 폭락하지 않았습니다. 모델은 여와 같은 높은 정확도로 우울증을 계속 예측했습니다. 이는 많은 전문가가 모델이 새로운 환경으로 옮겨졌을 때 어려움을 겪을 것이라고 예상하는 것과 대조되는 또 다른 놀라운 결과였습니다. 이는 모델이 학습한 패턴이 시뮬레이션된 병원 간의 차이를 견뎌낼 만큼 강력하다는 것을 시사했습니다.

마지막으로, 연구자는 더 복잡하고 화려한 컴퓨터 알고리즘이 더 나은지를 물었습니다. 연구는 단순한 통계 모델을 데이터에서 숨겨진 비선형적 연결을 찾도록 설계된 고급 신경망 및 트리 기반 알고리즘을 포함한 5가지 훨씬 더 복합적인 시스템과 비교했습니다. 이 분야의 일반적인 기대는 이러한 복잡한 기계들이 더 우월할 것이라는 점입니다. 그러나 결과는 거의 차이가 없음을 보여주었습니다. 단순한 모델은 훨씬 더 복잡한 모델들만큼 잘 수행되었습니다. 어떤 경우에는 단순한 모델이 실제로 약간 더 나았습니다. 화려한 알고리즘들은 단순한 모델이 놓친 숨겨진 비밀을 찾아내지 못했습니다. 그들은 모두 0.95 근처의 동일한 정확도 수준에 도달했습니다. 이는 이러한 유형의 문제에 있어서 복잡성을 더한다고 해서 더 나은 결과를 얻을 수는 없다는 것을 시사합니다.

연구는 좋은 우울증 예측기를 만드는 데 있어 가장 중요한 요소는 컴퓨터 코드의 정교함이 아니라 데이터의 정직함이라고 결론짓습니다. 정확성에 대한 가장 큰 위협은 컴퓨uring 파워의 부족이 아니라, 답을 유출하는 정보의 우발적인 포함입니다. 연구자들이 이러한 유출을 제거하면 모델은 서류상으로는 덜 인상적으로 보일지 모르지만, 더 신뢰할 수 있게 됩니다. 단순한 모델이 복잡한 모델들과 대등한 성능을 보였다는 사실은 우리가 이 문제를 해결하기 위해 복잡한 블랙박스를 구축할 필요가 없음을 의미합니다. 이 연구는 경고의 메시지를 전달합니다. 높은 점수 자체가 충분한 것은 아닙니다. 우리는 그 점수가 어떻게 달성되었는지 확인해야 합니다. 만약 모델이 완벽해 보인다면, 우리는 그것이 사용해서는 안 될 정보를 활용하고 있었던 것은 아닌지 물어야 합니다. 만약 미래 정보의 활용을 제거한 후에도 여전히 좋아 보인다면, 그때 비로소 우리는 실제로 작동하는 도구를 갖게 된 것일지도 모릅니다. 이 연구는 우리가 아직 실제 사람들의 우울증을 완벽하게 예측할 수 있다는 것을 증명하는 것이 아닙니다. 왜냐하면 데이터가 전적으로 합성된 것이기 때문입니다. 이 연구는 실제 임상 집단의 실제 정확도나 오차의 크기를 확립하기보다는, 테스트 방법론이 어떻게 작동하는지에 대한 메커니즘을 보여줍니다. 하지만 이 연구는 이러한 도구들을 테스트하는 '방법'이 도구 그 자체보다 더 중요하다는 것을 입증합니다.