Machine Learning Versus Self-Supervised Transfer Learning for 30-Day Readmission Prediction in Diabetic Patients

당신이 미스터리를 해결하려는 탐정이라고 상상해 보세요. 누가 다시 아파서 30일 이내에 병원으로 돌아올 것인가를 알아내는 것이죠. 이것은 단순한 게임이 아닙니다. 의사와 병원에게는 매우 중대한 문제입니다. 환자들이 너무 빨리 다시 돌아온다는 것은 종종 그들의 치료 과정에서 무언가 잘못되었다는 것을 의미하며, 이는 많은 비용을 발생시킵니다. 특히 당뇨병 환자들에게 이런 일이 더 자주 일어납니다. 이를 해결하기 위해 과학자들은 "머신러닝(Machine Learning)"을 사용합니다. 이는 마치 탐정이 범인의 습관을 포착하기 위해 과거의 사건 기록을 연구하는 것처럼, 컴퓨터에게 방대한 양의 과거 의료 기록으로부터 패턴을 학습하도록 가르치는 것과 같습니다.

보통 우리가 초지능형 컴퓨터에 대해 들을 때, 우리는 사진 속의 얼굴을 인식하거나 음성을 이해하는 데 놀라운 능력을 가진 복잡한 뇌 구조와 같은 시스템인 "딥러닝(Deep Learning)"이나 "신경망(Neural Networks)"을 떠올립니다. 하지만 이 논문은 까다로운 질문을 던집니다. 데이터가 단순히 숫자(나이, 혈당 수치, 병원 방문 횟수 등)로 이루어진 스프레드시트 형태일 때, 이 화려하고 뇌를 닮은 컴퓨터들이 기존의 단순하고 오래된 수학 도구들보다 실제로 더 잘 작동할까요? 연구진은 또한 "전이 학습(Transfer Learning)"이라는 기법을 통해 컴퓨터에게 정답 없이 데이터를 먼저 공부하게 함으로써(마치 시험을 보기 전에 교과서를 읽는 것처럼) 컴퓨터에게 "선행 학습"을 제공했을 때 더 똑똑해질 수 있는지 확인하고 싶었습니다. 이것이 중요한 이유는 병원에는 멋져 보이기만 하는 도구가 아니라, 실제로 환자를 돕는 데 도움이 되는 도구가 필요하기 때문입니다.

위대한 컴퓨터 대결

이 연구에서 연구팀은 당뇨병 환자가 30일 이내에 재입원할지 예측하기 위해 두 팀의 컴퓨터 모델 간의 경주를 설정했습니다. 그들은 130개 미국 병원의 약 100,000건의 환자 방문 기록이 담긴 방대한 데이터셋을 사용했습니다.

도전자들

• 클래식 팀: 이 팀은 네 가지의 잘 알려지고 신뢰할 수 있는 도구를 사용했습니다: 로지스틱 회귀(단순한 수학적 직선), 랜덤 포레스트(의사결정 나무의 집합), XGBoost, 그리고 LightGBM입니다. 이들을 "베테랑 형사"라고 생각하세요. 이들은 스프레드시트에서 패턴을 찾는 데 탁월합니다.
• 뉴럴 팀: 이 팀은 두 가지 버전의 "신경망(컴퓨터 뇌)"을 사용했습니다. 하나는 첫날부터 모든 것을 배우는 학생처럼 처음부터 학습된 것이고, 다른 하나는 "전이 학습자(Transfer Learner)"입니다. 이 모델은 특별한 선행 학습을 받았습니다. 즉, "디노이징 오토인코더(Denoising Autoencoder)"라는 기술을 사용하여 정답을 모르는 상태에서 모든 환자 데이터를 먼저 학습했습니다. 이것은 마치 학생이 단 하나의 시험 문제를 접하기 전에 전체 의학 교과서를 읽고 단어들이 어떻게 구성되는지 배우는 것과 같습니다. 이 선행 학습이 그들을 더 뛰어난 형사로 만들 수 있다는 아이디어였습니다.

경주 결과
결과는 "더 크고 화려한 것이 항상 더 좋다"라고 생각하는 사람들에게 놀라웠습니다.

• 승자: 베테랑 형사들이 쉽게 승리했습니다. XGBoost(그래디언트 부스팅 트리 유형)가 테스트 데이터에서 0.672라는 점수로 1위를 차지했습니다. LightGBM과 랜덤 포레스트가 그 뒤를 바짝 쫓았습니다.
• 패자: 화려한 신경망들은, 심지어 "선행 학습"을 받은 모델조차도 꽤 형편없는 성적을 냈습니다. 그들은 약 0.58점을 기록했는데, 이는 동전 던지기보다 조금 나은 수준입니다. "선행 학습"은 전혀 도움이 되지 않았으며, 오히려 처음부터 학습한 모델보다 약간 더 나쁜 결과를 보였습니다.

연구진은 이 특정 유형의 데이터(병원 기록 스프레드시트)에 대해서는 복잡한 뇌 구조를 닮은 컴퓨터들이 특별한 초능력을 발휘하지 못한다는 것을 발견했습니다. 더 단순한 트리 기반 모델들이 이 작업에 더 적합했습니다.

시스템의 "누수(Leak)"
경주 도중, 연구진은 큰 실수를 저지를 뻔했습니다. 처음에 XGBoost 모델을 튜닝할 때, 연구진은 실수로 컴퓨터가 "데이터를 부적절하게 사용"하도록 했습니다. 그들은 데이터를 훈련 그룹과 테스트 그룹으로 나누기 전에 SMOTE(숫자의 균형을 맞추기 위해 가짜 환자 데이터를 생성하는 기술)를 사용했습니다. 이것은 마치 형사가 시험을 보기 전에 정답지를 훔쳐보는 것과 같았습니다. 그 결과 컴퓨터는 현실 불가능한 0.957이라는 가짜 점수를 냈습니다. 연구진은 이 오류를 잡아냈고, "부적절한 데이터 사용"이 오직 훈련 그룹 내에서만 일어나도록 수정함으로써 점수를 다시 현실적인 0.661로 떨어뜨렸습니다. 이는 규칙을 완벽하게 따르지 않으면 똑똑한 컴퓨터라도 속을 수 있다는 교훈을 주었습니다.

"임계값(Threshold)"의 함정
이 논문에서 가장 중요한 교훈입니다. 컴퓨터 모델은 단순히 "예" 또는 "아니오"라고 말하는 것이 아니라, 확률(백분율)을 제시합니다. 당신은 어떤 백분율을 "예"로 간주할지 결정해야 합니다.

• 기본값의 함정: 만약 표준적인 규칙( 50% 이상이면 "예")을 사용한다면, 그 모델은 쓸모가 없습니다. 실제로 재입원하는 환자의 단 **1.4%**만을 잡아낼 것입니다. 너무 신중해서 거의 모든 환자를 놓치게 됩니다.
• 스마트한 규칙: 연구진이 수학적 공식인 "유든의 J(Youden's J)"를 바탕으로 규칙을 **12.8%**로 낮추었을 때, 모델은 훨씬 유용해졌습니다. 이 모델은 실제 재입원 환자의 **58%**를 잡아냈습니다. 하지만 여기에는 대가가 따랐습니다. 모델이 환자를 올바르게 찾아낼 때마다, 재입원하지 않을 환자를 잘못 분류하는 경우도 약 4~5명씩 발생했습니다.

이것이 의미하는 바
이 논문은 오직 표준적인 병원 기록만을 사용하여 재입원을 예측하는 데 있어서, 예측의 성능에 대한 "천장(한계)"이 존재한다는 결론을 내립니다. 세 팀의 서로 다른 연구팀이 서로 다른 방법을 사용했음에도 불구하고, 모두 최선의 점수가 0.66에서 0.69 사이라는 것을 발견했습니다. 이는 아무리 화려한 컴퓨터를 사용하더라도, 데이터 자체(단순히 스프레드시트에 있는 숫자들)가 완벽해지기 위한 충분한 단서를 담고 있지 않음을 시사합니다.

이 연구는 단순한 도구들이 더 잘 작동한다면 병원이 복잡한 딥러닝 시스템에 돈을 낭비해서는 안 된다고 주장합니다. 더 중요한 것은, 단순히 모델을 실행하는 것만으로는 충분하지 않으며, 경보를 울릴 "규칙"을 신중하게 선택해야 한다는 것입니다. 잘못된 규칙을 선택하면, 좋은 모델도 쓸모없는 모델처럼 보일 수 있습니다. 저자들은 더 나은 결과를 얻기 위해서는 숫자 이상의 것, 즉 의사의 진료 기록이나 시간의 흐름에 따른 추세와 같은 더 풍부한 정보가 필요하다고 제안합니다. 이 오래된 데이터셋에는 그러한 정보가 없었습니다.