Tipping the Balance: Impact of Class Imbalance Correction on the Performance of Clinical Risk Prediction Models

이 연구는 다양한 임상 데이터셋과 모델에서 널리 사용되는 클래스 불균형 보정 기법 (SMOTE, RUS, ROS) 이 예측 성능을 개선하지는 못했고, 오히려 확률적 보정 (calibration) 을 저하시켰음을 보여줍니다.

핵심

이 논문은 **"병을 예측하는 인공지능 (AI) 을 만들 때, 데이터가 한쪽으로 치우쳐 있을 때 (예: 아픈 사람은 드물고 건강한 사람은 많을 때) 데이터를 인위적으로 균형 있게 맞추는 것이 정말 도움이 되는가?"**라는 질문에 대한 답을 찾은 연구입니다.

결론부터 말씀드리면, **"데이터를 인위적으로 균형 있게 맞추는 (Resampling) 방법은 오히려 AI 의 '예측 확률'을 망칠 뿐, 정확도를 높이지 못한다"**는 놀라운 결과가 나왔습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🍎 비유: "과일 장수의 신비한 저울"

상상해 보세요. 한 과일 장수가 있습니다. 그는 손님이 **"내 사과가 상할 확률이 얼마나 될까?"**라고 물어보면, AI 를 통해 그 확률을 알려줍니다.

1. 문제 상황: 상한 사과는 드물다

장수의 가게에는 사과가 100 개 있는데, 그중 **상한 사과 (질병)**는 고작 1 개뿐이고, **좋은 사과 (건강)**는 99 개입니다.
AI 를 훈련시킬 때, 이 100 개의 사과를 보여주면 AI 는 "아, 사과는 거의 다 좋은구나!"라고 배우게 됩니다. 그래서 AI 는 "상한 사과는 거의 없다"고 결론 내리게 되죠.

2. 연구자들이 시도한 방법: "인위적인 균형 맞추기"

연구자들은 "AI 가 상한 사과의 존재를 제대로 배우게 하려면, 상한 사과의 숫자를 늘려야겠다"라고 생각했습니다. 그래서 다음과 같은 방법을 썼습니다.

• 복사하기 (Oversampling): 상한 사과 1 개를 복사해서 99 개로 만듭니다.
• 잘라내기 (Undersampling): 좋은 사과 99 개 중 98 개를 버리고 1 개만 남깁니다.
• 가짜 사과 만들기 (SMOTE): 상한 사과 1 개를 보고, 그와 비슷한 '가짜 상한 사과'를 만들어 99 개로 채웁니다.

이렇게 하면 AI 는 "아, 상한 사과와 좋은 사과가 반반이네!"라고 배우게 됩니다.

3. 연구 결과: "순위는 맞는데, 숫자는 엉망이다"

연구팀은 이렇게 훈련된 AI 를 다시 원래대로 돌아온 100 개의 사과 (실제 데이터) 로 테스트했습니다. 결과는 다음과 같았습니다.

• 순위를 매기는 능력 (구별력):

  • AI 는 여전히 "상한 사과를 좋은 사과보다 더 위험하게 판단"하는 능력은 유지했습니다. (예: 상한 사과를 90% 위험, 좋은 사과를 10% 위험으로 매김)
  • 비유: 장수가 "이 사과가 저 사과보다 더 상했을 가능성이 높다"고 순위를 매기는 건 여전히 잘합니다.

• 확률의 정확도 (보정/Calibration):

  • 하지만 AI 가 말하는 숫자는 완전히 틀어졌습니다.
  • 원래 1% 의 확률이던 것이, 인위적으로 데이터를 바꾼 AI 는 "이건 50% 나 위험해!"라고 외칩니다.
  • 비유: 장수가 "이 사과가 상할 확률은 50% 야!"라고 외치지만, 실제로는 1% 만 상합니다. 손님은 "50% 라니, 너무 무서워서 이 사과를 다 버리겠다!"라고 하며 불필요한 손해를 봅니다.

4. 왜 이런 일이 일어났을까?

AI 는 훈련할 때 "상한 사과와 좋은 사과는 반반이야"라고 배우기 때문에, 실제 세상의 "상한 사과는 1% 야"라는 사실을 잊어버리게 됩니다.

• 결과: AI 는 순위는 잘 매기지만, 정확한 확률 숫자를 말해주지 못하게 됩니다.
• 임상적 의미: 의사들은 환자에게 "이 약을 안 먹으면 10% 의 확률로 죽을 수 있어"라고 말해야 합니다. 만약 AI 가 이 확률을 50% 로 잘못 말하면, 환자는 불필요하게 공포를 느끼거나 과도한 치료를 받게 됩니다.

---

💡 이 연구가 우리에게 주는 교훈

1. 데이터를 인위적으로 고치지 마세요:
   병이 드문 경우라도, 있는 그대로의 데이터를 AI 에게 가르치는 것이 가장 좋습니다. 인위적으로 숫자를 맞추는 것은 AI 의 '감각'을 망칩니다.

2. 확률 (숫자) 이 중요하다:
   단순히 "위험하다/아니다"로만 판단하는 게 아니라, **"얼마나 위험한가 (확률)"**를 정확히 알려주는 것이 의료 현장에서는 훨씬 중요합니다.

3. 해결책은 따로 있다:
   만약 AI 가 "위험한 경우를 잘 찾아내지 못한다"고 해서 데이터를 인위적으로 바꾸지 말고, 결정 기준 (문턱값) 을 조절하는 것이 더 현명합니다.

   • 비유: "사과가 상할 확률이 10% 이상이면 버린다"는 기준을 "5% 이상이면 버린다"로 낮추는 것이, 사과를 인위적으로 늘리는 것보다 훨씬 안전하고 정확한 방법입니다.

📝 한 줄 요약

"병을 예측하는 AI 에게 데이터를 인위적으로 균형 있게 맞추는 것은, AI 가 '누가 더 위험한지'는 잘 구분하게 해줄지 몰라도, '얼마나 위험한지'라는 숫자를 엉망으로 만들어버린다. 그러니 있는 그대로의 데이터를 쓰고, 필요하면 판단 기준만 살짝 조절하자."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 의료 분야에서 머신러닝 기반 임상 위험 예측 모델의 활용이 증가하고 있으며, 이러한 모델은 의사결정을 지원하고 질병 또는 합병증의 위험을 전달하는 데 사용됩니다.
• 핵심 문제:
  • 많은 임상 종점 (예: 희귀 질환, 사망 등) 은 발생 빈도가 낮아 클래스 불균형 (Class Imbalance) 문제가 발생합니다.
  • 이를 해결하기 위해 연구자들은 훈련 데이터의 클래스 비율을 조정하는 불균형 보정 기법 (Resampling) (과소표집, 과대표집, SMOTE 등) 을 널리 사용합니다.
  • 그러나 이러한 기법이 모델의 판별력 (Discrimination, 예: ROC-AUC) 에 미치는 영향은 어느 정도 알려져 있지만, 보정 (Calibration, 예측 확률과 실제 발생률의 일치도) 에 미치는 영향은 충분히 이해되지 않았습니다.
  • 보정이 불량하면 임상 현장에서 위험을 과대 또는 과소 평가하여 불필요한 치료나 잘못된 안심을 초래할 수 있습니다.
• 가설: 클래스 불균형 보정 기법은 보정 (Calibration) 을 악화시킬 것이며, 판별력 (Discrimination) 을 개선하지 않거나 오히려 저하시킬 수 있다.

2. 연구 방법론 (Methodology)

• 데이터셋: 10 개의 다양한 임상 데이터셋을 사용했습니다. 총 605,842 명의 환자를 포함하며, 당뇨병, 패혈증, 심혈관 질환, ICU 사망률 등 다양한 의료 영역과 예측 과제를 다룹니다. 사건 발생률은 1.9% 에서 34.9% 로 다양했습니다.
• 모델: 선형 모델 (로지스틱 회귀) 과 비선형 모델 (XGBoost, CatBoost, Random Forest, ANN, TabPFN 등) 을 포함한 다양한 머신러닝 모델 패밀리를 평가했습니다.
• 실험 설계:
  • 각 모델과 데이터셋에 대해 4 가지 훈련 조건을 비교했습니다:
    1. Original: 원본 데이터로 훈련 (보정 기법 없음).
    2. ROS (Random Oversampling): 소수 클래스를 무작위로 복제하여 1:1 비율로 맞춤.
    3. RUS (Random Undersampling): 다수 클래스를 무작위로 제거하여 1:1 비율로 맞춤.
    4. SMOTE (Synthetic Minority Oversampling Technique): 소수 클래스 간의 보간을 통해 인공 샘플 생성하여 1:1 비율로 맞춤.
  • 모든 보정 기법은 훈련 데이터에만 적용되었고, 평가는 원본 분포를 유지한 홀드아웃 (held-out) 테스트 데이터에서 수행되었습니다.
• 평가 지표:
  • 판별력: ROC-AUC, PR-AUC.
  • 보정 (Calibration): Brier Score (예측 정확도), Calibration Intercept (시스템적 편향), Calibration Slope (과적합/과소적합), Calibration Plot.

3. 주요 결과 (Key Results)

• 판별력 (Discrimination) 에 미치는 영향:
  • 불균형 보정 기법을 적용한 모델들은 원본 데이터로 훈련된 모델에 비해 ROC-AUC 나 PR-AUC 에서 유의미한 개선을 보이지 않았습니다.
  • 대부분의 경우 ROC-AUC 변화는 미미하거나 (-0.002 ~ -0.01), 통계적으로 유의하지 않았습니다.
  • 오히려 일부 데이터셋 (예: Sepsis, Hypoglycemia) 에서 PR-AUC 가 감소하는 경향을 보였습니다.
  • 결론: 불균형 보정은 모델의 순위 기반 성능 (어떤 환자가 더 위험한지 구분하는 능력) 을 향상시키지 못합니다.
• 보정 (Calibration) 에 미치는 영향:
  • 가장 중요한 발견: 불균형 보정 기법은 보정 성능을 현저히 저하시켰습니다.
  • Brier Score: 모든 보정 기법 (ROS, RUS, SMOTE) 에서 Brier Score 가 유의하게 증가하여 (0.029~0.080 증가), 예측 확률의 정확도가 떨어졌습니다.
  • 보정 편차: Calibration Intercept 와 Slope 가 이상적인 값 (각각 0 과 1) 에서 크게 벗어났습니다. 이는 모델이 실제 사건 발생률을 체계적으로 과대 또는 과소 평가하게 됨을 의미합니다.
  • 분리 현상: 모델의 순위 판별력 (ROC-AUC) 은 유지되거나 비슷했지만, 예측된 확률 값 자체는 신뢰할 수 없게 변했습니다.

4. 주요 기여 및 시사점 (Contributions & Significance)

• 실증적 증거 확장: 기존 시뮬레이션 연구들을 넘어, 실제 임상 데이터와 다양한 머신러닝 알고리즘을 사용하여 불균형 보정의 부정적 영향을 광범위하게 입증했습니다.
• 임상적 함의:
  • 보정의 중요성 강조: 임상 의사결정에서는 단순히 "누가 위험한지"를 구분하는 것 (판별력) 보다, "얼마나 위험한지"를 정확히 예측하는 것 (보정) 이 더 중요합니다. 불균형 보정은 후자를 해칠 수 있습니다.
  • 대안 제시: 민감도 (Sensitivity) 를 높여야 하는 경우, 모델을 다시 훈련시키기보다는 보정된 모델의 결정 임계값 (Decision Threshold) 을 조정하는 것이 더 효과적이고 안전한 방법임을 강조합니다.
  • SMOTE 의 위험성: SMOTE 는 고차원 임상 데이터에서 비현실적인 인공 샘플을 생성하여 모델 학습 패턴을 왜곡하고 보정을 해칠 수 있음을 지적했습니다.
• 권고 사항:
  1. 확률 기반 위험 예측이 필요한 경우, 기본적으로 원본 데이터로 훈련할 것을 권장합니다.
  2. 불균형 보정을 사용해야 한다면, 반드시 독립된 검증 데이터에서 보정을 평가하고 배포 전 재보정 (Recalibration) 을 수행해야 합니다.
  3. 성능 목표가 민감도/특이도 조절이라면, 임계값 조정을 통해 달성해야 합니다.

5. 결론 (Conclusion)

이 연구는 임상 위험 예측 모델 개발 과정에서 널리 사용되는 클래스 불균형 보정 기법 (ROS, RUS, SMOTE) 이 판별력을 개선하지 못하며, 오히려 예측 확률의 보정 (Calibration) 을 심각하게 저하시킨다는 것을 입증했습니다. 따라서 임상적 신뢰도가 중요한 예측 모델의 경우, 불균형 보정을 기본 전략으로 적용하지 말고, 원본 데이터를 활용하고 임계값 조정을 통해 최적의 운영점을 찾는 것이 바람직하다고 결론지었습니다.