Does cross-wave validation overestimate screening performance? An ID-isolated evaluation of model complexity for possible sarcopenia in CHARLS

당신이 노인 이웃들의 미스터리를 풀려는 탐정이라고 상상해 보세요. 당신은 **근감소증(sarcopenia)**이라는 질환을 포착할 수 있는 '질병 탐지기'를 만들고 싶어 합니다. 근감소증은 노인들의 근력과 신체적 능력을 앗아가는 느리고 은밀한 도둑과 같습니다. 이 도둑은 낙상이나 독립적인 생활 능력의 상실을 초래합니다. 이 도둑을 조기에 잡기 위해 의사들은 악력 측정이나 5회 의자 일어서기 속도 측정과 같은 간단한 '선별(screening)' 도구를 사용합니다. 이러한 도구들은 공항의 금속 탐지기와 같습니다. 완벽하지는 않지만, 정밀 검사가 필요한 사람들을 걸러내기 위해 설계된 빠르고 저렴한 도구입니다.

하지만 탐정 업무에는 까다로운 문제가 하나 있습니다. 바로 **데이터 누수(data leakage)**입니다. 만약 당신이 나중에 테스트할 바로 그 동전들이 포함된 주머니를 가지고 금속 탐지기를 훈련시킨다면 어떤 일이 벌어질까요? 탐지기가 이미 그 특정 동전들을 보았다면, 그것은 새로운 동전을 찾는 법을 배우는 것이 아니라 단순히 그것들을 '기억'하고 있는 것일 수 있습니다. 과학에서도 이런 일이 발생합니다. 연구자들이 한 그룹의 사람들로부터 모델을 구축하고, 그 모델을 테스트할 때 여전히 동일한 사람들이 포함된 다른 그룹을 사용하는 경우입니다. 결과는 놀라워 보이지만, 그것은 단지 기억의 속임수일 수 있습니다. 이 논문은 아주 중요한 질문을 던집니다. 만약 우리가 '훈련생'과 '테스터'를 엄격하게 분리한다면, 우리의 탐지기는 여전히 작동할까요? 그리고 더 복잡한 장치들(키와 몸무게 측정 등)을 추가하는 것이 탐지기를 더 똑똑하게 만들까요, 아니면 그저 소음만 더하는 것일까요?

---

위대한 근감소증 탐정 테스트

상하이 체육대학교의 두 연구자, 유 위에(Yu Yue)와 장춘화(Chunhua Zhang)는 이 아이디어를 검증하기 위해 중국 성인들의 삶을 추적하는 CHARKS라는 거대한 데이터베이스를 사용하기로 했습니다. 그들은 근감소증 가능성이 있는 노인(60세 이상)을 찾아내는 컴퓨터 프로그램을 만들고자 했으며, 결코 부정행위를 하지 않기로 했습니다.

설정: "부정행위 금지" 규칙
보통 과학자들이 모델을 만들 때, 2011년 설문 데이터를 사용하여 컴퓨터를 가르치고 2015년 설문 데이터를 사용하여 테스트하곤 합니다. 하지만 여기에는 함정이 있습니다. 2011년과 2015년에 동일한 사람들이 많이 나타났다는 점입니다. 만약 컴퓨터가 2011년에 '이 할머니'를 보고 2015년에 그녀를 다시 본다면, 컴퓨터는 근육 손실의 징후를 배우는 것이 아니라 단순히 그녀의 얼굴을 알아보고 있는 것일 수 있습니다.

이를 해결하기 위해 연구자들은 엄격한 'ID 격리' 게임을 수행했습니다. 그들은 2015년 명단을 가져온 뒤, 2011년 명단에 등장했던 모든 사람을 제외했습니다. 이를 통해 컴퓨터가 한 번도 만난 적 없는 '진정으로 보지 못한' 참가자 그룹을 남겼습니다. 이것은 마치 보안 요원에게 이전 교대 근무 때 봤던 사람들이 아닌, 완전히 낯선 군중을 대상으로 테스트하는 것과 같습니다.

경합자들: 단순한 탐정 vs 복잡한 탐정
연구자들은 이 사건을 해결하기 위해 두 가지 서로 다른 탐정을 설정했습니다.

1. 단순한 탐정 (로지스틱 회귀): 이 모델은 연령, 성별, 거주지, 교육 수준, 그리고 고혈압이나 당뇨병 같은 흔한 건강 문제 여부와 같이 누구나 알 수 있는 기본적인 정보를 사용했습니다. 이는 가장 명백한 단서만을 살피는 탐정과 같습니다.
2. 화려한 탐정 (XGBoost): 이 모델은 '슈퍼차지'된 버전입니다. 이 모델은 모든 기본 단서에 더해 키, 몸무게, 체질량 지수(BMI), 허리둘 circumference(둘레)와 같은 추가 측정값을 활용했습니다. 이는 마치 레이저 스캐너와 3D 지도를 가져와 범죄 현장을 조사하며, 추가적인 데이터가 해결책을 더 명확하게 만들어주길 기대하는 탐정과 같습니다.

대반전: "화려함"이 승리했을까?
연구자들이 "진정으로 보지 못한" 2015년의 군중을 대상으로 이 탐정들을 풀어놓았을 때, 결과는 놀라웠습니다.

• 점수: 단순한 탐정은 1.0이 완벽하고 0.5가 동전 던지기 확률인 척도에서 0.6798을 기록했습니다. 화려한 탐정은 이보다 약간 낮은 0.6656을 기록했습니다.
• 판결: 두 모델 사이의 차이는 약 0.01 정도로 매우 미미했기에 사실상 무승부였습니다. 추가적인 측정값(키, 몸무게 등)은 모델을 유의미하게 더 좋게 만들지 못했습니다. 즉, 복잡성을 더하는 것이 전혀 도움이 되지 않았습니다. 연구자들은 화려한 모델이 의사 결정 과정에서 이러한 추가 신체 측정값을 사용하는 데 약 **9.2%**의 힘만 사용했을 뿐, 나머지는 여전히 기본적인 단서들에 의해 주도된다는 것을 발견했습니다.

"정확도"의 함정
여기서 이야기는 조금 까다로워집니다. 만약 당신이 탐정들에게 "얼마나 자주 맞혔습니까?"라고 표준 설정(0.50 임계값)에서 묻는다면, 그들은 "약 **71%**의 확률로 맞혔습니다!"라고 답할 것입니다. 정말 좋아 보이죠, 그렇지 않나요?

하지만 연구자들은 더 깊이 파고들어 숨겨진 문제를 발견했습니다. 전체적으로는 71%의 정확도를 보였지만, 그들은 아픈 사람들을 놓치고 있었습니다.

• 표준 설정에서 모델들은 실제 근감소증 가능성이 있는 사람들의 약 **30%**만을 잡아냈습니다.
• 이것은 마치 71%의 사람들을 통과시킬 때마다 벨이 울리지만, 실제로 무기를 소지한 사람 10명 중 7명을 놓쳐버리는 금속 탐지기와 같습니다.

이를 해결하기 위해 연구자들은 민감도 다이얼을 높여보았습니다. 그들은 더 많은 사례를 포착하기 위해 임계값을 낮추었습니다. 그러자 갑자기 모델들은 아픈 사람들의 약 **75%**를 잡아냈습니다! 하지만 대가가 따랐습니다. 건강한 사람들도 아픈 것으로 잘못 분류하기 시작하여, 건강한 사람들에 대한 정확도가 약 **47%**로 떨어졌습니다. 이것은 트레이드오프(trade-off)입니다. 더 많은 도둑을 잡을 수는 있지만, 무고한 시민도 함께 체포할 수 있다는 뜻입니다.

"중복"의 환상
마지막으로, 연구자들은 만약 "부정행위 금지" 게임을 하지 않는다면 어떤 일이 벌어지는지 살펴보았습니다. 그들이 (2011년 인원이 포함된) 원래의 2015년 그룹을 대상으로 모델을 테스트했을 때, 점수는 0.70 근처로 훨씬 더 좋아 보였습니다.

하지만 "중복" 그룹(이전에 본 사람들)과 "보지 못한" 그룹(새로운 사람들)을 비교했을 때, 연구자들은 그 차이가 단순히 기억력 때문이 아니라는 것을 깨달았습니다. "중복" 그룹은 우연히 더 나이가 많았고 해당 질환의 발생률도 더 높았습니다. 연구자들은 단순히 "중복" 때문에 점수가 높아진 것이 아니라고 결론지었습니다. 그룹 자체가 처음부터 달랐던 것입니다. 이는 만약 그룹을 제대로 분리하지 않는다면, 모델이 천재라고 착각할 수 있지만, 실제로는 그저 다른 군중을 보고 있는 것일 뿐이라는 점을 의미합니다.

결론

이 논문은 미래의 의료 탐정 업무에 몇 가지 중요한 교훈을 줍니다:

1. 단순함을 유지하라: 더 복잡한 측정값(허리둘레 등)을 추가하는 것이 모델을 더 낫게 만들지 않았습니다. 단순하고 비용이 적게 드는 단서들이 화려한 것들만큼이나 충분히 효과적이었습니다.
2. "정확도"라는 숫자를 믿지 마라: 모델이 서류상으로는 훌륭해 보일 수 있지만(71% 정확도), 정작 본연의 임무(아픈 사람 70%를 놓치는 것)에는 실패할 수 있습니다.
3. 그룹을 분리하라: 모델이 정말로 작동하는지 알고 싶다면, 모델이 한 번도 본 적 없는 사람들을 대상으로 테스트해야 합니다. 그렇지 않으면, 당신은 단지 모델의 기억력을 테스트하고 있는 것일지도 모릅니다.

결국, 연구자들은 지역사회 선별 검사를 위해, 우리가 정말로 도움이 필요한 사람들을 놓치지 않도록 하기 위해서라면 몇 번의 오보(건강한 사람을 환자로 분류하는 것)를 감수해야 할 수도 있다고 제안합니다. 하지만 우리는 우리의 도구가 실제로 얼마나 잘 작동하고 있는지에 대해 정직해야 합니다. 특히 우리가 데이터를 가지고 속임을 멈출 때 말입니다.