Exact and near-duplicate symptom profiles inflate the reported performance of machine learning classifiers for diabetes: a leakage- aware re-evaluation of the UCI Early-Stage Diabetes dataset

의료 기술 분야에서 머신러닝은 컴퓨터가 단순히 증상 목록을 읽는 것만으로도 당뇨병과 같은 질병을 찾아낼 수 있는 미래를 약속해 왔습니다. 이 아이디어는 강력합니다. 환자가 갈증, 피로, 시야 흐림과 같은 자신의 느낌을 설명하면, 알고리즘이 즉시 그 위험도를 계산하여 질병이 돌이킬 수 없는 해를 끼치기 전에 잠재적으로 포착할 수 있다는 것입니다. 이러한 디지털 의사를 만들기 위해 과학자들은 방대한 데이터 컬렉션에 의존하며, 여기서 수천 개의 과거 환자 기록이 컴퓨터에게 건강한 사람과 아픈 사람의 차이를 가르치는 데 사용됩니다. 이러한 시스템을 테스트하는 표준은 교차 검증(cross-validation)이라 불리는 방법입니다. 선생님이 학생에게 연습 시험을 준 다음, 학생이 정말로 내용을 이해하고 있는지 아니면 단순히 답을 암기했는지를 확인하기 위해 동일한 내용의 약간 다른 버전의 시험을 주는 상황을 상상해 보십시오. 과학계에서 이 과정은 모델이 본 적 없는 새로운 환자들에게 얼마나 잘 수행될지를 밝혀내기 위한 것입니다.

하지만 이러한 목적을 위해 사용된 가장 유명한 데이터셋 중 하나를 최근 재검토한 결과, 이러한 테스트가 수행되는 방식에 숨겨진 결함이 발견되었습니다. 문제가 된 데이터셋은 방글라데시의 한 병원에서 수집된 것으로, 사람들의 증상과 당뇨병 여부를 포함하고 있습니다. 수년 동안 연구자들은 이 데이터를 사용하여 컴퓨터 모델을 훈련시켜 왔으며, 거의 믿기 힘들 정도로 높은 성공률, 종종 97에서 99 퍼센트 사이의 정확도를 보고했습니다. 이 수치들은 모델이 거의 완벽하다는 것을 시사했습니다. 그러나 페루의 연구팀은 이 높은 점수가 천재성의 징표가 아니라, 테스트 과정에서의 단순한 실수 때문임을 보여주었습니다. 그들은 데이터에 동일한 환자 프로필의 복사본이 많이 포함되어 있었으며, 테스트가 실행되는 방식이 컴퓨터가 테스트를 시작하기도 전에 답을 얻을 수 있게 했다는 것을 발견했습니다.

William Marin-Rodriguez와 그의 동료들이 이끄는 연구진은 UCI 조기 당뇨병 데이터셋을 새롭게 살펴보았습니다. 이 컬렉션은 5로 빈번한 배뇨 또는 갑작스러운 체중 감소와 같은 15가지의 서로 다른 증상을 포함하여 한 사람의 연령을 설명하는 520개의 기록을 보유하고 있습니다. 그들이 이러한 증상의 고유한 조합을 계산했을 때, 놀라운 사실을 발견했습니다. 520개의 기록 중 진정으로 고유한 프로필은 251개뿐이었습니다. 이는 269개의 기록이 다른 기록의 정확한 복사본이었으며, 훨씬 더 많은 기록이 증상은 같지만 연령만 달랐음을 의미합니다. 원래의 연구들에서 데이터를 훈련 그룹과 테스트 그룹으로 나눌 때, 이러한 동일한 복사본들이 종종 무작위로 흩어져 있었습니다. 어떤 기록은 훈련 그룹에 들어가 컴퓨터에게 정답을 가르쳤고, 그의 똑같은 쌍둥이는 테스트 그룹에 들어갔습니다. 컴퓨터가 그 쌍둥이에 대해 테스트를 받을 때, 컴퓨터는 추측하거나 진단할 필요가 없었습니다. 단지 이미 암기한 패턴을 인식했을 뿐입니다.

이것이 결과를 얼마나 부풀렸는지 확인하기 위해, 연구팀은 동일한 컴퓨터 모델을 다시 실행하되 이번에는 게임의 규칙을 바꿨습니다. 데이터를 무작위로 나누는 대신, 동일한 증상 프로필을 가진 모든 기록을 같은 그룹에 묶어 두었습니다. 이를 통해 특정 증상 프로필이 훈련 데이터에 나타난다면, 그 정확한 세트가 테스트 데이터에 절대 나타날 수 없도록 보장했습니다. 컴퓨터는 특정 환자 목록을 암기하는 것이 아니라 질병의 패턴을 학습하도록 강요받았습니다. 결과의 차이는 극적이었습니다. 기존의 무작위 방식 아래에서 모델들은 9798 퍼센트의 정확도를 달랐으며, 이는 지난 몇 년간의 찬란한 보고들과 일치했습니다. 그러나 연구진이 더 엄격하고 누출이 없는 규칙을 적용하자, 그 정확도 수치는 9093 퍼센트 범위로 떨어졌습니다. 여전히 인상적이긴 했지만, 이 하락은 이전의 거의 완벽한 성능에 대한 주장들이 데이터 구조에 의해 만들어진 환상이었음을 드러냈습니다.

연구는 모델이 맞았는지 틀렸는지를 넘어, 예측에 대해 얼마나 확신하는지를 측정하는 데까지 나아갔습니다. 그들은 환자와 건강한 사람의 수가 불균형할 때 더 정직한 성능을 보여주는 매튜스 상관계수(Matthews correlation coefficient)라는 특정 지표를 살펴보았습니다. 무작위 테스트 방식 아래에서 이 점수는 인위적으로 높았으며, 일부 모델의 경우 최대 0.16 포인트까지 과장되었습니다. 테스트 세트에서 중복 기록을 제거했을 때, 점수는 크게 떨어졌습니다. 더 중요한 것은 모델의 순위가 바뀌었다는 점입니다. 기존 규칙 하에서 최고라고 칭송받았던 모델인 스태킹 앙상블(stacking ensemble)이라는 복잡한 시스템은 새로운 규칙 하에서 1위에서 8위로 떨어졌습니다. 공정하게 테스트되었을 때 실제로 가장 좋은 성능을 보인 모델은 Extra Trees라고 알려진 다른 유형의 트리 기반 알고와로리즘이었습니다. 이 변화는 "최고"의 모델을 선택하는 것이 확고한 사실이 아니라, 결함이 있는 테스트 방식의 결과였음을 입증했습니다.

연구진은 또한 "유사 중복(near-duplicates)"을 고려할 때 어떤 일이 일어나는지 조사했습니다. 데이터셋에서 많은 사람들이 동일한 증상을 공유하면서도 연령은 달랐습니다. 연구팀은 심지어 이러한 거의 동일한 프로필들까지 함께 묶어, 컴퓨터가 40세의 증상을 통해 45세의 동일한 증상을 가진 사람의 위험을 예측하는 것을 방지하는 시나리오를 테스트했습니다. 이 더 엄격한 테스트는 모든 모델의 성능을 더욱 낮추었습니다. 흥-미롭게도, 과거의 사례 중 가장 유사한 사례를 찾는 방식으로 작동하는 매우 단순한 모델이 첫 번째 엄격한 테스트 하에서는 복잡한 모델들과 거의 대등한 성능을 보였으나, 유사 중복이 제거되었을 때 그 성능이 무너졌습니다. 이는 단순한 모델 역시 질병을 진정으로 이해하기보다는 훈련 데이터에서 자신의 복사본을 찾는 것에 의존하고 있었음을 시사했습니다.

이 작업의 함의는 단 하나의 데이터셋에만 국한되지 않습니다. 연구진은 과거에 보고된 당뇨병 예측의 높은 정확도 수치가 이와 동일한 중복 기록 문제에 의해 부풀려졌을 가능성이 높다고 주장합니다. 그들은 기존 결과와 새로운 결과 사이의 차이가 새로운 연구들이 종종 발견했다고 주장하는 미세한 개선들을 삼켜버릴 만큼 크다는 것을 발견했습니다. 만약 새로운 알고리즘이 기존보다 1~2 퍼센트 더 낫다고 주장한다면, 그 개선은 실제 돌파구가 아니라 데이터 분할 방식에 의한 노이즈일 수 있습니다. 팀은 또한 많은 모델들이 제대로 보정되지 않았다고 언급했는데, 이는 모델들이 자주 맞을 수는 있어도 그 확률 점수가 질병의 실제 가능성을 반영하지 못한다는 것을 의미합니다. 예를 들어, 어떤 모델들은 지나치게 자신만만했고, 어떤 모델들은 너무 주저했는데, 이는 의사가 그 수치에 의존하여 결정을 내릴 때 위험할 수 있습니다.

이 재평가는 머신러닝이 당뇨병을 진단하는 데 도움을 줄 수 없다는 뜻도 아니고, 모델들이 쓸모없다는 뜻도 아닙니다. 이는 단지 그들을 판단하는 벤치마크가 결함이 있었다는 것을 의미합니다. 연구진은 자신들의 발견이 특정 데이터셋에 기반한 내부적 추정치이며, 이 모델들이 실제 임상 현장에서 작동한다는 것을 증명하는 것은 아니라고 강조합니다. 그들은 데이터가 단일 병원에서 왔고 당뇨병이 어떻게 확인되었는지에 대한 세부 정보가 부족하기 때문에, 결과가 추가 테스트 없이 일반적인 선별 검사에 직접 적용될 수는 없다고 지적합니다. 그러나 이 연구는 과학자들에게 명확한 길을 제시합니다. 그들은 향후 연구에서 중복 기록을 확인하고 테스트 중에 이를 함께 그룹화해야 하며, 결과의 불확실성을 보고하고, 차이가 통계적으로 유의미하지 않은 한 단일한 "최고"의 모델을 선언하는 것을 피해야 한다고 권고합니다. 테스트 과정을 정비함으로써, 과학계는 미래의 디지털 의사들이 단순히 답을 얻는 능력이 아니라 진정한 학습 능력에 따라 평가받을 수 있도록 할 수 있습니다.