When does validation design change the answer? A simulation study and two empirical applications in clustered longitudinal health data
본 연구는 클러스터 내 상관관계가 행 수준의 검증 누출(row-level validation leakage)에 필수적이지만, 실제 데이터에서는 클러스터 크기가 구속 요인으로 작용한다는 점을 입증하며, 이는 연구자들이 시계열 검증을 우선시하고 더 엄격한 검증 설계가 진정으로 필요한 시점을 결정하기 위해 모델링 전 진단을 사용해야 함을 시사한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
의료 예측의 세계에서 과학자들은 다음에 어떤 일이 일어날지, 즉 환자가 다시 병원에 입원할 것인지, 아니면 새로운 질병의 발생이 확산될 것인지 등을 추측하기 위해 컴퓨터 모델을 구축합니다. 이러한 추측이 얼마나 유용한지 알기 위해 연구자들은 모델을 테스트해야 합니다. 이를 수행하는 표준적인 방법은 데이터를 두 덩어리로 나누는 것입니다. 하나는 모델을 가르치는 데 사용하고, 다른 하나는 모델을 테스트하는 데 사용합니다. 하지만 현실 세계의 건강 데이터는 매우 복잡합니다. 데이터는 종종 클러스터링(군집화)되어 있는데, 이는 여러 번의 방문 기록이 있는 동일한 환자나 동일한 질병 사건에 대한 여러 보고서처럼 많은 기록이 동일한 출처에서 온다는 것을 의미합니다. 만약 모델이 학습용 뭉치와 테스트용 뭉치 모두에서 동일한 환자를 보게 된다면, 과적합(overfitting)이 발생할 수 있습니다. 모델은 질병을 배우는 것이 아니라, 그저 환자를 암기해 버리는 것입니다. 이는 모델이 실제로는 단순히 익숙한 얼굴을 알아보는 데 능숙할 뿐인데도, 마치 천재인 것처럼 보이게 만들어 잘못된 자신감을 심어줍니다. 수년 동안, 이 클러스터들을 테스트 시에는 무조건 분리하여 유지해야 한다는 것이 경험칙이었습니다.
한 새로운 연구가 이 엄격한 규칙에 의문을 제기합니다. 대한민국 국방부와 서울대학교의 연구진은 단순하지만 매우 중요한 질문을 던졌습니다: 이 분리 규칙이 실제로 모든 데이터셋에 적용되어야 하는 것인가, 아니면 우리가 어떤 경우에는 노력을 낭비하고 있는 것인가? 그들은 데이터 분리 방식의 선택이 최종 결과에 정확히 언제, 그리고 얼마나 큰 차이를 만드는지 알고 싶었습니다. 그들은 두 가지 매우 다른 실제 상황을 살펴보았습니다. 하나는 전 세계 질병 발생 보고서의 방대한 아카이브이고, 다른 하나는 당뇨병 환자의 병원 기록 모음입니다. 통제된 시뮬레이션을 실행하고 이를 실제 아카이브에 적용함으로써, 그들은 기존의 규칙이 항상 필요한 것은 아니라는 사실을 발견했습니다. 실제로 그들이 조사한 두 데이터셋의 경우, 엄격한 분리가 최종 점수에 거의 영향을 미치지 않았습니다. 그들이 발견한 진짜 위험은 클러스터링 그 자체가 아니라, 시간의 흐름이었습니다.
연구팀은 먼저 문제의 메커니믹을 이해하기 위해 컴퓨터로 수천 개의 가짜 데이터셋을 만들었습니다. 그들은 세 가지 특정 요소—그룹 내 특징들의 유사성, 그룹 내 구성원 간의 결과값 동일성, 그리고 게임의 규칙이 시간에 따라 변하는 정도—를 조절할 수 있었습니다. 그들은 데이터가 정적이고 그룹의 크기가 작을 때는 과적합이 최소화된다는 것을 발견했습니다. 하지만 그룹의 크기가 크고 그룹 내 모든 구성원의 결과값이 동일할 때는 과적합이 심각해져 모델의 점수를 20점 이상 부풀렸습니다. 그러나 그들은 흔히 간과되는 네 번째 요소인 '그룹의 크기'도 발견했습니다. 설령 그룹 내의 데이터가 완벽하게 동일하더라도, 그룹에 단 하나 또는 두 개의 항목만 있다면 모델이 과적합될 대상 자체가 없었습니다.
이러한 이해를 바탕으로 연구진은 첫 번째 실제 테스트인 24년간의 세계보건기구(WHO) 질병 발생 보고서 아카이브로 눈을 돌렸습니다. 이 데이터셋에서는 하나의 보고서가 여러 국가에 대해 여러 행의 데이터를 생성할 수 있습니다. 연구진은 특정 위험한 생물학적 작물 카테고리가 보고서에 언급되었는지 예측하는 모델을 테스트했습니다. 이 데이터는 이론적으로 과적합에 완벽한 조건이었습니다. 보고서 내의 모든 행에 대해 결과값이 동일하고 특징들이 고도로 상관되어 있었기 때문입니다. 기존의 규칙대로라면 이는 재앙이 되어야 했습니다. 하지만 계산을 실행했을 때, 표준 테스트와 엄격한 테스트 사이의 차이는 1% 미만으로 매우 작았습니다. 이유는 간단했습니다. 아카이브의 대부분의 보고서는 단일 항목이었기 때문입니다. 정보가 누출될 반복된 행이 없었습니다. 모델은 그룹을 암기할 기회조차 없었습니다. 그룹이 거의 항상 단독으로 존재했기 때문입니다.
그다음 연구진은 두 번째 데이터셋으로 당뇨병 환자의 병원 재입원을 조사했습니다. 여기서 자연스러운 그룹은 개별 환자였으며, 많은 환자가 여러 번 입원한 기록이 있었습니다. 이 경우 환자의 특징들은 어느 정도 유사했지만, 결과값은 그렇지 않았습니다. 한 달 뒤의 재입원 여부가 다음 달의 재입원을 강력하게 예측하지는 않았습니다. 이 데이터셋은 앞선 사례와 반대되는 양상을 보였습니다. 그룹은 반복되었지만, 결과값은 공유되지 않았습니다. 이 경우에도 엄격한 분리 규칙은 최종 점수에 거의 영향을 미치지 않았습니다. 환자를 아는 것이 결과값을 맞히는 데 도움이 되지 않았기에 모델은 과적합될 수 없었습니다.
연구진이 관찰한 가장 놀라운 발견은 '시간'을 보았을 때 나타났습니다. 질병 발생 아카이브에서 연구진은 과거의 데이터에 대한 모델의 성능과 미래의 데이터에 대한 성능을 비교했습니다. 그룹의 엄격한 분리는 점수에 거의 영향을 주지 않았지만, 데이터를 시간순으로 분리하는 것은 모든 것을 바꾸어 놓았습니다. 내부 테스트에서는 완벽해 보였던 모델이 나중 시기의 데이터로 테스트했을 때 급격히 성능이 떨어졌습니다. 점수는 0.96에서 0.62로 폭락했으며, 이 거대한 격차는 모델이 수년에 걸쳐 변화한 질병 보고 방식에 적응하지 못했음을 드러냈습니다. 연구진은 시간의 흐름에 따른 변화(drift)가 그룹 분리 실패보다 모델의 신뢰성에 40배나 더 치명적이라는 사실을 발견했습니다.
이 연구는 엄격한 그룹 분리를 자동적이고 맹목적으로 적용하는 것이 항상 옳은 것은 아니라고 결론짓습니다. 이 규칙은 세 가지 특정 조건이 충족될 때만 사용해야 하는 도구입니다. 즉, 데이터에 그룹 내 반복된 항목이 있어야 하고, 특징이 그룹의 정체성을 담고 있어야 하며, 결과값이 그룹 내에서 공유되어야 합니다. 이 중 하나라도 누락된다면, 그룹을 분리하기 위해 들이는 노력은 별다른 이득을 주지 못합니다. 대신, 연구진은 '시계열 검증(temporal validation)'에 진정한 초점을 맞춰야 한다고 주장합니다. 세상이 변함에 따라 데이터가 생성될 때, 가장 중요한 테스트는 단순히 섞여 있는 과거의 데이터가 아니라 미래의 데이터에서도 모델이 작동하는지 확인하는 것입니다. 모델을 구축하기 전에 그룹의 크기와 결과의 일관성을 확인함으로써, 과학자들은 그룹을 분리하는 데 에너지를 쓸지 아니면 시간에 대한 테스트를 할지 결정할 수 있습니다. 연구된 두 사례에서 답은 명확했습니다. 시간 테스트가 중요했고, 그룹 테스트는 중요하지 않았습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.