기술 요약: 재균형 기법을 적용하지 않은 상태에서의 이진 분류기 벤치마킹

문제 정의

클래스 불균형은 의료 진단, 사기 탐지, 이상 탐지와 같이 소수 클래스의 인스턴스가 매우 희귀한 고위험 도메인에서 지도 학습 분류의 핵심적인 과제를 제시한다. 머신러닝 커뮤니티는 이러한 문제를 완화하기 위해 명시적인 재균형 기법(예: SMOTE, 언더샘플링, 비용 민감 학습)을 광범위하게 탐구해 왔으나, 이러한 기법들을 적용하지 않았을 때의 **고유한 강건성(inherent robustness)**에 대한 이해에는 주목할 만한 공백이 존재한다.

기존 문헌은 효과적인 학습을 위해 재균형이 필수적이라고 가정하는 경우가 많지만, 외부 개입 없이 극단적인 불균형 조건—특히 원샷(one-shot)(단일 소수 클래스 인스턴스) 및 퓨샷(few-shot) 시나리오—하에서 이진 분류기의 성능을 체계적으로 평가한 연구는 거의 없다. 또한, 데이터 복잡도(결정 경계의 기하학적 구조)와 클래스 불균형의 심각성 사이의 상호작용 역시 충분히 탐구되지 않았다. 본 연구는 다양한 이진 분류기의 '있는 그대로(as-is)'의 성능을 평가함으로써, 신뢰할 수 있는 분류 및 일반화가 가능한 최소 불균형 비율이 어느 정도인지 결정하여 이러한 격차를 해소하고자 한다.

방법론

저자들은 명시적인 재균형 없이 분류기의 회복력을 평가하기 위해 설계된 체계적인 실험 프레임워크를 제안한다. 방법론은 세 가지 주요 전략으로 구성된다.

1. 소수 클래스의 체계적 감소

본 연구는 실제 데이터셋을 사용하여 소수 클래스 샘플의 체계적인 감소를 수행한다.

• 절차: 원본 데이터셋에서 시작하여, 소수 클래스 훈련 예제의 비율을 **100%, 50%, 25%, 10%, 5%, 1%**로 체계적으로 줄인다.
• 극단적 시나리오: 1% 미만으로 감소하는 경우, 훈련 세트는 단 하나의 대표적인 소수 클래스 데이터포인트를 유지한다(원샷 시나리오).
• 통제: 소수성(scarcity)의 효과만을 격리하기 위해 모든 폴드(fold)에서 다수 클래스 샘플은 온전하게 유지한다.
• 검증: 안정적인 성능 추정을 보장하기 위해 2×5-fold 층화 교차 검증(stratified cross-validation) 전략을 활용한다.

2. 원샷 및 퓨샷 베이스라인

소수 클래스 데이터를 획득하는 것이 어렵거나 비용이 많이 드는 실제 데이터 희소 상황을 시뮬레이션하기 위해, 저자들은 특정 훈련 세트를 구축한다.

• 시나리오: 훈련 세트는 k = 1, 3, 5개의 소수 클래스 인스턴스를 포함하도록 구성된다.
• 반복: 특정 샘플 선택에 의한 편향을 완화하기 위해, 소수 인스턴스의 무작위 샘플링을 포함하여 실험을 10회 반복하고 평균 AUC-ROC 및 AUC-PR 점수를 보고한다.
• 비교: 이러한 결과는 훈련을 위한 소수 데이터가 전혀 없는 경우의 성능을 평가하기 위해 단일 클래스 분류(One-Class Classification, OCC) 방법과 비교된다.

3. 합성 결정 경계 생성

데이터 복잡도와 불균형 효과를 분리하기 위해, 저자들은 다양한 기하학적 구조를 나타내는 합성 데이터셋을 생성한다.

• 선형 분리 가능(Linear Separable): 높은 클래스 분리도.
• 중간 수준 비선형(Moderate Non-Linear): 노이즈가 포함된 클러스터.
• 비선형 중복성(Non-Linear Redundancy): PCA를 통해 차원이 축소된 고차원 중복성.
• 가우시안 분위수(Gaussian Quantiles): 경계가 겹치는 원형 클래스 구조.
• 하드 비선형(XOR): 복잡한 비선형 결정 경계.
  이러한 데이터셋을 통해 기하학적 복잡성이 왜곡된 클래스 분포와 어떻게 상호작용하는지 평가할 수 있다.

모델 및 지표

• 평가된 분류기: 의사결정 나무(Decision Tree), k-NN과 같은 전통적 모델, 마진 기반 분류기(SVM), 앙상블 방법(Random Forest, BaggingRF, RUSBoost, XGBoost, LightGBM, CatBoost), 그리고 고급 딥 태뷸러 모델(TabPFN)을 포함한 다양한 모델을 평가한다.
• 평가 지표: 성능은 AUC-ROC, AUC-PR, 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-score, G-mean을 사용하여 평가된다.
• 해석 가능성: 예측 점수의 누적 분포 함수(CDF) 플롯을 사용하여 다수 클래스와 소수 클래스 간의 예측 분리도를 시각화한다.

주요 결과

1. 체계적 감소의 영향

• 성능 저하: 소수 클래스의 크기가 감소함에 따라, 대부분의 분류기(DT, k-NN, RF, XGBoost)는 특히 25% 임계값 아래에서 AUC-ROC 및 AUC-PR의 지속적이고 심각한 하락을 보인다.
• 강건한 모델: TabPFN은 극단적인 원샷 시나리오를 포함한 모든 불균형 수준에서 일관되게 가장 높은 강건성을 보여준다. CatBoost와 LightGBM 또한 10% 소수 클래스 표현까지 비교적 안정적인 성능을 유지한다.
• 전통적 모델의 실패: 의사결정 나무와 k-NN 같은 전통적 모델은 소수 클래스 표현이 25% 미만으로 떨어지면 급격히 악화되어, 원샷 설정에서는 종종 무작위 확률에 가까운 성능을 보인다.

2. 원샷 및 퓨샷 성능

• 희소성 민감도: 대부분의 분류기는 소수 샘플이 1개뿐일 때 효과적인 일반화에 실패한다. 그러나 샘플 수를 1개에서 3개 또는 5개로 늘리면 많은 모델의 성능이 유의미하게 향상된다.
• TabPFN의 우위: TabPFN은 원샷 설정에서도 강력한 성능을 유지하며 앙상블 방법 및 전통적 분류기보다 뛰어난 성능을 보인다.
• OCC의 유용성: 단일 클래스 분류 모델은 본질적으로 다수 데이터에 의존하기 때문에 제한적이지만, 특정 데이터셋에서 놀라운 강건성을 보여주었으며, 소수 데이터에 완전히 접근할 수 없는 경우 유효한 대안(fallback) 역할을 할 수 있음을 보여주었다.

3. 데이터 복잡성의 영향

• 기하학적 구조의 중요성: 분류기 성능은 기하학적 데이터 구조에 크게 의존한다.
  • 선형/높은 분리도: 결정 경계가 단순하다면 극단적인 불균형 비율에서도 신뢰할 수 있는 분류가 가능하다.
  • 복잡/비선형: 결정 경계가 복잡해질수록(예: XOR 패턴, 겹치는 가우시안 분위수), 가장 발전된 모델(TabPFN, CatBoost)을 제외한 모든 모델의 성능이 급격히 저하된다.
• 합성 데이터 발견 사항: 높은 중복성이나 비선형성을 가진 합성 데이터셋의 경우, 고급 모델만이 퓨샷 조건에서 수용 가능한 성능을 유지했다.

4. 예측 점수 분석

CDF 플롯은 TabPFN이 다수 클래스와 소수 클래스에 대해 잘 분리된 분포를 생성하며, 심각한 불균형 상황에서도 높은 확신도를 유지함을 보여준다. 반면, DT와 같은 전통적 모델은 예측 점수에서 상당한 중첩을 보여, 낮은 변별력을 나타낸다.

의의 및 기여

본 논문은 불균형 학습 분야에 다음과 같은 기여를 한다고 주장한다.

1. 고유한 강건성 평가: 본 연구는 재균형 기법이라는 혼란 변수 없이 이진 분류기를 "있는 그대로" 엄격하게 평가한다. 이는 특정 알고리즘이 희소성을 처리할 수 있는 내재적 능력을 명확히 한다.
2. 임계값 식별: 신뢰할 수 있는 분류가 여전히 가능한 최소 불균형 비율을 식별하였으며, 이 임계값이 모델과 데이터 복잡도에 따라 크게 달라짐을 밝혀냈다.
3. 모델 선택 가이드 제공: 연구 결과는 재균형이 불가능하거나 바람직하지 않은 저자원 또는 고위험 도메인(예: 의료 진단)의 실무자들에게 실질적인 가이드를 제공하며, TabPFN 및 특정 부스팅 앙상블(CatBoost)과 같은 고급 모델이 더 우수한 선택임을 시사한다.
4. 해석 가능성: 결정 경계 시각화와 CDF 분석을 활용함으로써, 본 연구는 단순한 지표 보고를 넘어 분류기가 극단적인 불균형 하에서 클래스를 어떻게 분리하는지에 대한 더 깊은 통찰을 제공한다.

한계점

저자들은 본 연구가 벤치마크 데이터셋과 통제된 합성 시나리오를 기반으로 하고 있음을 인정한다. 하이퍼파라미터는 표준 구성으로 제한되었으며, 결과는 더 큰 규모나 특정 도메인의 응용 분야에서 달라질 수 있다. 저자들은 향후 연구에서 적응형 하이퍼파라미터 튜닝과 민감한 도메인에서의 개인정보 보호 평가를 탐구할 것을 제안한다.

결론적으로, 본 논문은 클래스 불균형이 전통적인 분류기에 심각한 도전 과제를 안겨주지만, 고급 모델들은 희소 상황에서도 일반화할 수 있는 상당한 내재적 능력을 갖추고 있으며, 이는 명시적인 재균형이 불가능한 시나리오에서 실행 가능한 경로를 제공한다는 점을 논증한다.