🤖 machine learning

The Hidden Cost of Resampling: How Imbalance Correction Degrades Probability Calibration in Tree Ensembles

이 논문은 SMOTE가 트리 앙상블의 확률 교정(probability calibration)을 약간 저하시키는 반면, 무작위 언더샘플링은 높은 불균형 비율에서 심각한 교정 오류를 유발하지만, 두 문제 모두 순위 성능을 크게 희생하지 않으면서 사후 재교정(post-hoc recalibration)을 통해 효과적으로 해결될 수 있음을 입증한다.

원저자: Zewen Liu

게시일 2026-06-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zewen Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 불균형을 해결하는 과정에서 발생하는 "숨겨진 비용"

선생님이 한 학급의 성적을 매기고 있다고 상상해 보세요. 학생의 99%는 우수하지만(다수 클래스), 단 1%만이 어려움을 겪고 있습니다(소수 클래스). 만약 평균 점수만 본다면 이 학급은 완벽해 보일 것입니다. 하지만 어려움을 겪는 학생들을 돕고 싶다면, 그들에게 더 각별한 주의를 기울여야 합니다.

머신러닝에서는 이를 **클래스 불균형(class imbalance)**이라고 부릅니다. 이를 해결하기 위해 데이터 과학자들은 리샘플링(resampling) 기법을 사용합니다:

오버샘플링 (SMOTE): 어려움을 겪는 학생들의 "합성" 복사본을 만들어 학급이 더 균형 잡혀 보이게 만듭니다.
언더샘플링 (Undersampling): 우수한 학생들을 대부분 버려서, 어려움을 겪는 학생들이 묻히지 않도록 합니다.

이 논문의 발견:
저자들은 이러한 기술들이 모델이 누가 어려움을 겪고 있는지 찾아내는 '순위 매기기(ranking)' 능력은 향상시키지만, 모델이 스스로 **얼마나 확신하는지(how sure)**를 알려주는 능력은 몰래 망가뜨린다는 사실을 발견했습니다.

기상 예보관을 생각해 보세요. 예보관이 "비가 올 확률이 70%입니다"라고 말한다면, 여러분은 10번 중 7번은 실제로 비가 올 것이라고 기대합니다. 모델이 **교정(calibrated)**되어 있다면, 모델은 진실을 말합니다. 하지만 모델이 **미교정(miscalibrated)**되어 있다면, 실제로는 비가 올 확률이 10%뿐인데도 "70%"라고 말할 수 있습니다.

이 논문은 질문합니다: 이러한 "해결책"들이 모델의 스스로에 대한 정직함을 망가뜨리는가?

세 가지 주요 발견

1. "합성 복사본" 기술 (SMOTE)은 감수할 만한 작은 대가이다

비유: 케이크 레시피가 있는데 달걀이 딱 하나 있다고 상상해 보세요. 더 많은 케이크를 만들기 위해 달걀에 대한 지침서를 복사합니다. 케이크 맛은 여전히 좋지만(모델이 적절한 사람들을 잘 찾아냄), 달걀을 얼마나 사용해야 하는지에 대한 지침은 약간 모호해집니다.
결과: SMOTE(합성 데이터 생성)를 사용하는 것은 모델의 확신도를 약간 덜 정직하게 만듭니다. 하지만 그 피해는 작습니다. 모델은 여전히 어려움을 겪는 학생들을 잘 찾아내며, 약간의 "정직함" 손실은 보통 찾아내는 이득에 비해 충분히 감수할 만한 수준입니다.

2. "데이터를 버리는" 기술 (Undersampling)은 위험하다

비유: 1,000명의 학생이 있는데, 단 10명의 어려움을 겪는 학생에게 집중하기 위해 990명을 버리기로 결정했다고 상상해 보세요. 이제 여러분은 단 10개의 사례만을 가지고 복잡한 주제를 배우려고 노력하고 있습니다. 운 좋게 정답을 맞힐 수는 있겠지만, 여러분의 확신도는 완전히 엉망이 될 것입니다.
결과: 무작위 언더샘플링은 진짜 악당입니다. 불균형이 매우 클 때(예: 70 대 1), 이 방법은 모델의 정직함을 파괴합니다. 모델은 **심각하게 과잉 확신(overconfident)**하게 됩니다. 실제로는 데이터가 부족해 짐작만 하고 있음에도 불구하고, "나는 99% 확신해!"라고 외치게 됩니다.

3. "마법의 해결책" (재교정, Recalibration)

비유: 정확하지만 실제보다 5도 높게 읽히는 온도계가 있다고 상상해 보세요. 온도계를 새로 만들 필요 없이, "5를 빼시오"라고 적힌 스티커를 붙이기만 하면 됩니다.
결과: 저자들은 간단하고 저렴한 해결책을 찾아냈습니다. 모델이 훈련된 후(위에서 언급한 "나쁜" 기술들을 사용했더라도), 빠른 "재교정" 단계(Platt scaling이나 Isotonic regression 같은 방법)를 거치면 됩니다.

이것은 정직함 문제를 거의 완벽하게 해결합니다.
모델의 순위 매기기 능력에는 거의 영향을 주지 않습니다.
중요한 점: SMOTE는 단순히 숫자만 바꾸는 것이 아니라 데이터의 *형태(shape)*를 바꾸기 때문에, 수학 공식만으로 SMOTE의 효과를 "되돌릴" 수는 없습니다. 데이터를 기반으로 한 "스티커"(재교정)가 필요합니다.

이것이 왜 당신에게 중요한가

만약 당신이 확률에 기반하여 결정을 내리는 시스템(예: "이 대출이 위험한가? 위험도가 20%를 넘으면 거절한다")을 구축하고 있다면, 반드시 교정(calibration)을 신경 써야 합니다.

함정: 대부분의 사람들은 모델이 "나쁜" 사례를 얼마나 잘 찾아내는지(F1이나 AUC 같은 지표 사용)만 확인합니다. 이 논문은 리샘플링이 이러한 점수를 오히려 높여주어, 마치 모델이 훌륭한 것처럼 착각하게 만든다는 것을 보여줍니다.
현실: 모델이 나쁜 사례를 더 잘 찾아낼 수는 있지만, 그 확률 수치는 당신에게 거짓말을 하고 있을 수 있습니다. 실제 위험은 50%인데 모델은 "20% 위험"이라고 말할 수 있습니다.
해결책:
1. 리샘플링을 사용한다면, 단순히 정확도만 보지 말고 항상 모델의 교정 상태(정직함)를 확인하십시오.
2. 불균형이 심한 데이터에 언더샘플링을 사용한다면 매우 주의하십시오. 이는 모델의 확신도를 망가뜨릴 수 있습니다.
3. 시스템이 확률 숫자에 의존한다면, 마지막 단계에 항상 재교정 단계를 추가하십시오. 이는 가짜 확신에 근거해 잘못된 결정을 내리는 것을 막아주는 저렴하고 효과적인 해결책입니다.

한 문장 요약

리샘플링은 모델이 희귀한 사건을 찾도록 도와주지만, 종종 모델이 자신의 확신도를 말하는 능력을 망가뜨립니다. 그러나 간단한 "재교정" 단계를 통해 모델의 성능을 해치지 않으면서도 이 깨진 정직함을 고칠 수 있습니다.

기술 요약: 트리 앙상블에서 리샘플링의 숨겨진 비용

1. 문제 정의

클래스 불균형은 사기 탐지나 질병 스크리닝과 같은 고위험 영역에서 만연히 발생한다. 표준적인 해결책은 데이터셋을 균형 있게 맞추기 위해 합성 소수 클래스 오버샘플링 기법(SMOTE), 무작위 오버샘플링(ROS), 무작위 언더샘플링(RUS)과 같은 리샘플링 기법을 사용하는 것이다. 이러한 방법들은 일반적으로 판별 지표(예: F1-score, AUC, 소수 클래스 재현율)를 통해 평가되지만, 확률 교정(probability calibration) 측면에서는 거의 평가되지 않는다.

많은 배포 시스템은 다운스트림 의사결정(예: 기대 비용 최적화, 트리아지 임계값 설정)을 위해 예측 확률에 의존한다. 리샘플링은 훈련 중에 관찰된 클래스 사전 확률(prior)을 의도적으로 왜곡하며, 이는 리샘플링이 출력되는 확률 또한 왜곡할 것이라는 가설로 이어진다. 본 논문은 리샘플링이 트리 앙상블의 교정 성능을 저하시키는지, 이러한 저하가 불균형 비율(IR)에 따라 어떻게 변화하는지, 그리고 사후 교정(post-hoc correction)이 순위 결정 능력(ranking power)을 희생하지 않고도 손상을 복구할 수 있는지 조사한다.

2. 방법론

본 연구는 5개의 공개 이진 분류 데이터셋(불균형 비율 1.9 ~ 70.1 범위)과 두 가지 트리 앙상블 모델인 랜덤 포레스트(RF) 및 히스토그램 그래디언트 부스팅(HGB)을 사용하여 엄격한 다중 시드(multi-seed), 쌍체 통계(paired-statistics) 실험 설계를 채택한다.

실험 조건:
- 베이스라인(Baseline): 리샘플링 없음.
- 리샘플링(Resampling): SMOTE, ROS, RUS (훈련 폴드 내에서 1:1 클래스 균형을 목표로 함).
- 컨트롤(Control): 클래스 가중치 적용 (데이터 수정 없이 손실 함수만 조정).
- 사후 교정(Post-hoc Calibration): 홀드아웃 교정 분할(held-out calibration split)에 적용된 플랫 스케일링(Platt scaling) 및 아이소토닉 회귀(Isotonic regression).
지표:
- 교정(Calibration): 기대 교정 오차(ECE), 브라이어 점수(Brier score), 신뢰도 도표(reliability diagrams).
- 판별(Discrimination): ROC-AUC, PR-AUC, 소수 클래스 F1.
통계 분석: 비교에는 10개의 랜덤 시드와 5-겹 교차 검증을 통한 대응 표본 윌콕슨 부호 순위 검정(paired Wilcoxon signed-rank test)을 사용한다. 효과 크기는 클리프의 $\delta$ (Cliff's $\delta$ )를 사용하여 정량화한다. 가족 오류율(family-wise error rates)을 제어하기 위해 홀름-본페로니(Holm–Bonferroni) 보정을 적용한다.
세부 조사 사항:
- H1: 리샘플링이 교정 성능을 저하시키는가?
- H2: 사후 재교정이 손상을 복구할 수 있는가?
- H3: 이러한 손상은 불균형 비율 및 오버샘플링 공격성에 따라 어떻게 규모가 변하는가?
- H4 (부정적 결과): (언더샘플링에 유효한) 분석적 사전 확률 이동 교정(analytic prior-shift correction)이 SMOTE에도 적용되는가?

3. 주요 결과

A. 리샘플링은 교정 성능을 저하시킨다 (H1)

모든 리샘플링 계열은 베이스라인에 비해 ECE를 유의미하게 증가시키지만, 그 크기는 극명하게 다르다:

SMOTE & ROS: ECE의 소폭~중등도 증가를 유발한다 (예: SMOTE: $0.052 \to 0.061$ , $\delta = +0.27$ ).
무작위 언더샘플링 (RUS): 특히 높은 불균형 비율에서 심각한 저하를 일으킨다. yeast_ml8 데이터셋(IR=70)의 경우, RUS는 ECE를 $0.008 $에서$ 0.395$로 팽창시킨다. 이는 리샘플링 메커니즘 자체보다는 "샘플 크기 붕괴"(약 50개의 샘플로 훈련됨)에 기인하지만, 적절한 샘플 크기를 가진 데이터셋에서도 RUS는 여전히 해롭다.
클래스 가중치: 오직 미미한 교정 변화만을 유발하며, 이는 해악이 단순히 목적 함수를 변경하는 것이 아니라 훈련 데이터 분포를 변경하는 데서 기인함을 나타낸다.

B. 사후 재교정은 손상을 복구한다 (H2)

단일 사후 재교정 단계(Platt 또는 Isotonic)는 SMOTE에 의한 교정 손상을 효과적으로 제거한다:

ECE 감소: SMOTE의 ECE는 플랫 스케일링 적용 시 $0.061 \to 0.021$ , 아이소토닉 적용 시 $0.025$로 감소하며, 종종 원래의 베이스라인보다 낮아지기도 한다.
순위 결정 비용: 재교정은 순위 결정 능력에 미미한 비용만을 발생시킨다. AUC는 단 $0.002 $($ \delta = -0.07$) 감소한다. 이 미세한 하락은 주로 변환 자체가 아니라 교정 분할을 위한 데이터 축소에 기인한다.
트레이드오프: $0.002$의 AUC 하락을 대가로 $66\%$ 의 ECE 감소를 얻는 것은 의사결정 시스템에 유리하다.

C. 불균형 및 공격성에 따른 규모 변화 (H3)

불균형 비율: RUS에 의한 교정 손상은 불균형 비율이 높아짐에 따라 급격히 증가한다. 반면, SMOTE의 교정 페널티는 연구된 IR 범위(1.9–70) 내에서 상대적으로 작고 안정적이다.
오버샘플링 비율: 교정 오차는 SMOTE의 공격성(주입된 합성 데이터의 양)에 따라 단조적으로 증가하는 반면, 판별 지표(AUC, F1)는 평탄하거나 약간 개선된다.

D. 분석적 사전 확률 이동 교정의 실패 (부정적 결과)

본 논문은 (RUS를 통해 사전 확률 $\pi_{train}$ 을 조정함으로써 작동하는) 분석적 사전 확률 이동 교정이 SMOTE에는 전이되지 않음을 보여준다.

이유: RUS는 오직 사전 확률 $p(y)$ 만을 이동시켜 클래스 조건부 밀도 $p(x|y)$ 를 온전하게 유지한다. 그러나 SMOTE는 보간(interpolation)을 통해 새로운 점들을 합성함으로써 클래스 조건부 밀도 $p(x|y=1)$ 를 왜곡한다.
결과: SMOTE 모델에 분석적 교정을 적용하면 ECE가 개선되지 않으며(심지어 악화되는 경우도 있음), 반면 데이터 기반의 아이소토닉 재교정은 성공한다.

E. 특성 기여도 안정성

credit-g 데이터셋에 대한 SHAP 분석은 SMOTE가 확률 척도는 왜곡하면서도 학습된 특성 구조(특성 중요도 순위의 Spearman 상관계수 0.96)는 보존함을 나타낸다. 이는 교정 손상이 근본적인 학습 내용의 변화가 아니라, 단조 변환(monotone transform)으로 교정 가능한 스케일링 문제임을 확인해 준다.

4. 의의 및 기여

저자들은 본 연구를 새로운 현상의 발견이 아니라, 기존 지식에 대한 실용적이고 증거 기반적인 통합 및 확장으로 규정한다.

리스크의 명확화: 연구는 SMOTE의 "작지만 실재하는" 교정 비용과 RUS의 "진정으로 위험한" 교정 비용(특히 극단적 불균형 비율에서)을 구분한다.
실무 가이드: 실무자를 위한 명확한 프로토콜을 제공한다: 만약 리샘플링을 사용하고 확률이 의사결정을 주도한다면, 사후 재교정 단계가 필요하며 그것으로 충분하다.
방법론적 교정: 분석적 사전 확률 이동 교정을 합성 오버샘플링 방법(synthetic oversampling methods)에 적용하는 것을 경고한다. 이는 밀도 왜곡을 고려하지 못하기 때문이다.
평가 표준: 본 논문은 신뢰할 수 없는 확률을 가진 모델을 배포하는 것을 방지하기 위해, 불균형 학습 연구가 판별 지표(F1, AUC)와 함께 반드시 교정 지표(ECE, Brier)를 보고해야 한다고 주장한다.

5. 한계점

저자들은 다음과 같은 몇 가지 한계를 인정한다:

본 연구는 표 형식 데이터(tabular data)와 두 가지 트리 앙상블 모델에 국한되어 있으며, 신경망 및 다른 모달리티는 다르게 동작할 수 있다.
AUC 손실을 "데이터 축소"와 "교정 변환" 비용으로 분해하는 방식은 특정 분할 비율에 기반한다.
SMOTE의 분석적 교정 실패에 대한 설명은 $p(x|y)$ 왜곡에 관한 직관적인 가설이며, 향후 연구를 위한 공식적인 분석이 필요하다.
결과는 테스트된 불균형 범위(IR 1.9–70) 내로 제한된다. 극단적인 비율(수백 또는 수천)에서는 더 큰 효과가 나타날 수 있다.