📊 statistics

Challenges in the calibration of tree-based models for imbalanced classification

이 논문은 언더샘플링된 불균형 데이터로 학습된 트리 기반 모델을 분석적으로 보정하는 것이 신뢰할 수 없는 유병률 추정치와 예기치 않은 편향을 초래한다는 것을 입증하며, 대신 베타 보정과 같은 학습 기반 보정 방법론의 사용을 주장한다.

원저자: Nathan Phelps, Daniel J. Lizotte, Douglas G. Woolford

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nathan Phelps, Daniel J. Lizotte, Douglas G. Woolford

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: "레시피" 문제

당신이 완벽한 수프를 만드는 법을 배우려는 요리사라고 상상해 보세요. 하지만 당신의 주방은 매우 불균형합니다. 감자는 10,000개나 있는데 당근은 10개뿐입니다. 만약 당신이 감자 10,000개와 당근 10개가 들어있는 그릇을 맛보며 레시피를 배우려 한다면, 당신은 결코 당근의 맛이 무엇인지 배울 수 없을 것입니다. 당신은 수프의 99.9%가 감자라고 생각하게 될 것입니다.

이를 해결하기 위해, 당신은 **언더샘플링(undersampling)**을 하기로 결정합니다. 감자를 대부분 버리고 감자 50개와 당근 10개가 든 그릇을 만듭니다. 이제 학습 데이터는 균형을 이루었고, 당신은 레시피를 더 잘 배울 수 있습니다.

함정: 마침내 실제 세상(실제로 감자가 10,000개 있는 곳)을 위해 수프를 요리할 때, 당신의 미각은 여전히 균형 잡힌 그릇에 길들여져 있습니다. 당신은 수프가 당근 50%라고 생각하겠지만, 실제로는 여전히 감자가 99.9%입니다. 당신의 예측은 "편향(biased)"되어 있습니다.

기존의 해결책: "수학 공식"

오랫동안 데이터 과학자들은 이 문제를 해결하기 위해 특정 수학 공식(논문의 식 1)을 사용해 왔습니다. 아이디어는 간단했습니다. "우리가 감자의 90%를 버렸다는 것을 알고 있으니, 예측값에 특정 숫자를 곱해서 수학적으로 다시 '더해주는' 것이다."

이 논문의 저자들은 말합니다: "그렇게 하지 마세요."

그들은 이 수학 공식이 트리 기반 모델(Tree-Based Models)(예: 랜덤 포레스트)에는 잘 작동하지 않는다는 것을 발견했습니다. 이 공식은 수프를 고치는 대신, 맛을 예측 불가능하게 만들어 버립니다.

발견된 두 가지 주요 문제

1. "노브(Knob)" 문제 (예측 변수의 수)

당신의 랜덤 포레스트가 미스터리를 풀기 위해 노력하는 500명의 탐정 팀이라고 상상해 보세요.

규칙: 매 단계마다 탐정들은 어느 방향으로 갈지 결정하기 위해 특정 수의 단서(예측 변수)만을 볼 수 있습니다.
실험: 저자들은 "단서 노브"를 돌렸습니다. 때로는 탐정들이 단 2개의 단서만 보게 했고, 때로는 15개의 단서를 보게 했습니다.

무슨 일이 일어났을까요?
편향을 고치기 위해 기존의 수학 공식을 사용했을 때, 최종 답변은 탐정들이 얼마나 많은 단서를 볼 수 있는지에 따라 극적으로 변했습니다.

만약 2개의 단서를 봤다면, 모델은 화재가 100건 발생할 것이라고 예측했습니다.
만약 15개의 단서를 봤다면, 모델은 화재가 140건 발생할 것이라고 예측했습니다.

비유: 이것은 사람들에게 수박의 무게를 맞춰보라고 하는 것과 같습니다. 만약 색깔만 보라고 하면 그들은 10파운드라고 추측할 것입니다. 하지만 색깔, 꼭지, 두드렸을 때의 소리, 그리고 질감을 모두 보라고 하면 15파운드라고 추측할 것입니다.
완벽한 세상이라면, 수학 공식이 이 추측들을 교정하여 모두 동일한 실제 무게에 도달하게 해야 합니다. 하지만 대신, 공식은 추측값들이 더 멀리 벗어나게 만들었습니다. 더 많은 단서를 사용할수록 최종 추정치는 더 크게 널뛰었습니다.

2. "놀라운 편향" (샘플링 비율)

보통 우리는 "소수 항목"(예: 10개의 당근)이 너무 적으면 모델이 이를 무시하고 낮게 예측할 것이라고 생각합니다.

기존의 믿음: "결정 트리는 소수 클래스를 무시한다."
논문의 발견: 실험에서 결정 트리들은 정반대로 행동했습니다! 그들은 소수 클래스를 **과대평가(overestimate)**했습니다.

비유: 당신이 1,000개의 구슬(파란 구슬 990개, 빨간 구슬 10개)이 든 병에서 빨간 구슬이 몇 개인지 맞히려고 한다고 상상해 보세요. 당신은 작은 샘플을 뽑습니다.

예상: 당신은 "아마 빨간 구슬이 1개나 2개 정도 있겠지"라고 추측할 것입니다 (과소평가).
트리가 한 일: 트리는 샘플을 보고 이렇게 말했습니다. "와, 빨간 구슬이 사방에 널려 있네! 빨간 구슬이 50개는 있을 거야!"

저자들은 샘플링 비율(얼마나 많은 감자를 버렸는지)을 변경함에 따라 모델의 과대평가가 더 심해진다는 것을 발견했습니다. 수학 공식은 이를 고치려 했지만, 트리가 이미 너무 높게 예측하고 있었기 때문에, 공식은 최종 결과를 훨씬 더 혼란스럽게 만들 뿐이었습니다.

실제 사례: 산불

저자들은 캐나다 앨버타주의 산불에 관한 실제 데이터를 사용하여 이를 테스트했습니다.

산불은 드물게 발생하는 사건입니다(당근과 같습니다).
그들은 모델을 수정하기 위해 "수학 공식"을 사용했습니다.
결과: "단서 노브"(예측 변수의 수)를 어떻게 설정하거나 데이터를 어떻게 샘플링하느냐에 따라, 미래의 산불 발생 건수 예측치가 **40%**까지 차이가 났습니다.
이것이 중요한 이유: 만약 정부 기관이 이 모델을 사용하여 소방차를 어디에 보낼지 결정한다면, 단순히 컴퓨터 코드의 설정을 조정했다는 이유만으로 한 지역에는 너무 많은 트럭을 보내고 다른 지역에는 하나도 보내지 않는 상황이 발생할 수 있습니다.

결론

이 논문은 "수학 공식"(분석적 보정, analytical calibration)이 이 특정 작업에는 부서진 도구라고 결론짓습니다. 이는 다음과 같은 상황을 초래합니다:

설정을 변경하는 것(예: 단서의 수)이 답을 바꾸게 만듭니다. 원래는 답이 바뀌어서는 안 됩니다.
모델이 가끔 희귀한 사건이 실제보다 더 흔하다고 추측하며, 공식은 이를 제대로 고치지 못합니다.

해결책: 고정된 수학 공식을 사용하는 대신, 저자들은 "학습" 방법(예: 베타 보정, Beta Calibration)을 사용할 것을 제안합니다. 이것은 계산기로 조절 값을 계산하는 것이 아니라, 실제로 완성된 수프를 맛보고 간을 조절하는 법을 배우는 맛 테스터를 고용하는 것과 같습니다.

한 문장 요약

트리 기반 모델에서 "불균형한" 데이터를 고치기 위해 단순한 수학 공식을 사용하는 것은 효과적이지 않습니다. 이는 예측을 매우 불안정하게 만들고 때때로 희귀한 사건을 과대평가하게 하므로, 우리는 편향을 해결하기 위해 더 똑똑한 학습 기반의 방법을 사용해야 합니다.

기술 요약: 불균형 분류를 위한 트리 기반 모델 보정의 과제

문제 정의
불균형 이진 분류에서 다수 클래스를 언더샘플링하여 균형 잡힌 훈련 데이터셋을 만드는 것은 흔한 관행이다. 그러나 이 절차는 훈련 분포가 실제 모집단을 대표하지 못하게 함으로써 모델의 예측 확률에 편향을 일으킨다. 이를 교정하기 위해, 샘플링 비율에 기초하여 언더샘플링된 모델의 예측값을 실제 모집단 확률로 매핑하는 분석적 보정 방법(구체적으로 Dal Pozzolo 등(2015)에 의해 도출된 식 1)이 제안되었다. 이 방법은 랜덤 포레스트(RF)와 같은 모델에 널리 적용되어 왔으나, 본 논문은 이러한 분석적 접근 방식이 언더샘플링된 데이터로 훈련된 트리 기반 모델에 적용되었을 때 잘 보정된 확률 추정치를 산출하는지 조사한다.

연구 방법론
저자들은 분석적 보정의 효용성을 평가하기 위해 다각적인 접근 방식을 채택하였다:

이론적 분석: 본 논문은 식 1을 밸런스드 랜덤 포레스트(Balanced Random Forests, Chen et al., 2004)에 적용하는 것의 수학적 타당성을 검토한다. 저자들은 식 1의 유도가 밸런스드 랜덤 포레스트 고유의 부트스트래핑 절차에 의해 위반되는 샘플링 확률에 관한 가정에 의존하고 있음을 입증한다.
경험적 사례 연구: 1996~2016년 캐나다 앨버타주 래크 라 비치(Lac La Biche) 지역의 인위적 산불 데이터를 사용하여, 언더샘플링된 데이터에 표준 랜덤 포레스트를 훈련시킨다. 저자들은 두 가지 하이퍼파라미터, 즉 다수 클래스의 샘플링 비율과 각 분할 시 고려되는 예측 변수의 수( $m_{try}$ )를 체계적으로 변화시킨다. 모델은 식 1을 사용하여 보정되며, 결과적인 유병률 추정치(예측 확률의 합)는 실제 이벤트 수와 비교된다.
시뮬레이션 연구: 변수를 격리하고 데이터 생성 과정을 통제하기 위해, 10개의 예측 변수와 복잡한 비선형 관계(식 2)를 가진 시뮬레이터를 개발한다. 이를 통해 알려진 실제 확률을 가진 데이터셋을 생성할 수 있다. 저자들은 경험적 사례 연구를 이 시뮬레이션 데이터셋에 반복 적용하여 발견된 결과의 일관성을 평가한다.
메커니즘 조사:
- $m_{try}$ 의 효과: 저자들은 보정 전후의 예측값 분포를 분위수-분위수(Q-Q) 플롯을 사용하여 분석함으로써, 식 1의 비선형성이 랜덤 포레스트 예측의 "극단성"과 어떻게 상호작용하는지 이해한다.
- 샘플링 비율의 효과: 개별 결정 트리(순도 기준 적합)를 다양한 불균형 수준의 데이터셋에 훈련시켜, 트리 자체가 소수 클래스 쪽으로 편향을 보이는지 테스트한다. 이는 랜덤 포레스트에서 관찰되는 체계적인 과대 추정을 설명할 수 있는 근거가 된다.

주요 기여
본 논문은 세 가지 주요 기여를 한다:

밸런스드 랜덤 포레스트에 대한 적용 불가능성: 분석적 보정(식 1)이 밸런스드 랜덤 포레스트에 이론적으로 부적합함을 입증한다. 이는 부트스트래핑 과정이 소수 클래스 관측치의 포함 확률( $\mathbb{P}(S=1|Y=1) \approx 0.632$ )을 변화시켜, 식의 도출에 필요한 가정을 위반하기 때문이다.
표준 랜덤 포레스트에서의 하이퍼파라미터 민감도: 언더샘플링된 데이터로 훈련된 표준 랜덤 포레스트의 경우, 분석적 보정이 하이퍼파라미터 선택에 불변하지 않는 유병률 추정치를 초래함을 밝혀낸다. 구체적으로, 추정된 유병률은 각 분할 시 고려되는 예측 변수의 수와 샘플링 비율 모두에 따라 체계적으로 증가한다.
결정 트리의 소수 클래스 편향 발견: 결정 트리가 다수 클래스에 편향되어(소수 클래스를 무시하거나 과소평가함) 있다는 기존 문헌의 견해와 달리, 저자들은 결정 트리가 불균형 데이터로 훈련될 때 소수 클래스 쪽으로 편향될 수 있음(확률을 과대 추정함)을 보여주는 증거를 제시한다. 이러한 편향은 분석적 보정 후에도 지속된다.

결과

산불 예측: 실제 적용 사례에서, 보정된 모델임에도 불구하고 예측된 산불 수는 하이퍼파라미터 선택에 따라 40% 이상 차이가 났다. 추정치는 샘플링 비율 및 각 분할 시 고려되는 예측 변수의 수와 명확한 양의 상관관계를 보였다.
시뮬레이션: 시뮬레이션 연구는 실제 세계의 결과를 확인해주었으며, 유병률 추정치가 샘플링 비율 및 예측 변수의 수와 함께 증가함을 보여주었다. 많은 경우, 보정된 모델은 실제 유병률을 최대 20%까지 체계적으로 과대 추정하였다.
$m_{try}$ 의 메커니즘: 분석 결과, 랜덤 포레스트는 더 많은 예측 변수가 고려될 때 더 극단적인 예측(0 또는 1에 가까운 값)을 생성한다. 보정 전의 분포는 유사했으나, 식 1의 비선형적 특성이 보정 후의 차이를 증폭시켜, 더 높은 $m_{try}$ 를 가진 모델이 훨씬 높은 유병률 추정치를 산출하게 만들었다.
샘플링 비율의 메커니즘: 개별 결정 트리에 대한 조사는 클래스 불균형이 심해질수록 예측 확률과 실제 확률의 비율이 1.0을 초과하여 증가함을 보여주었으며, 이는 소수 클래스에 대한 과대 추정 편향을 나타낸다. 이 편향은 분석적 보정에 의해 제거되지 않았다.

의의 및 주장
저자들은 분석적 보정이 언더샘플링된 데이터로 훈련된 트리 기반 모델을 보정하는 데 부적합하다고 결론짓는다. 이 방법은 결과적인 유병률이 임의적인 하이퍼파라미터 선택과 분석적 공식이 교정할 수 없는 트리 구조의 내재적 편향에 의존하기 때문에, 잘 보정된 확률 추정치를 생성하는 데 실패한다.

좋은 유병률 추정치는 좋은 보정의 필요조건이므로, 안정적인 유병률 추정치를 생성하지 못한다는 사실은 이 접근 방식의 근본적인 결함을 나타낸다고 저자들은 주장한다. 따라서 저자들은 언더샘플링된 데이터로 훈련된 트리 기반 모델이 분석적 교정에 의존하기보다는, 베타 보정(beta calibration)이나 수정된 플랫 스케일링(modified Platt's scaling)과 같이 데이터로부터 오보정 패턴을 학습할 수 있는 보정 방법을 사용해야 한다고 제안한다.

결정 트리가 소수 클래스 쪽으로 편향될 수 있다는 발견은, 실무자들이 불균형 환경에서 결정 트리가 소수 클래스를 소홀히 할 것이라고 자동으로 가정해서는 안 된다는 점을 시사하며 기존 문헌에 대한 중요한 반론을 제기한다. 다만, 저자들은 이러한 편향이 모든 구성(예: 일부 R 구현 변형)에서 일관되게 관찰되지는 않았음을 언급하며, 이 편향이 발생하는 조건을 완전히 이해하기 위해서는 추가적인 연구가 필요하다는 점에서 신중한 태도를 유지한다.