On the Impact of Class Imbalance on the Learning Dynamics of Deep Neural Networks:An Intuitive Insight

기술 요약: 클래스 불균형이 심층 신경망의 학습 역학에 미치는 영향

문제 제기
컴퓨터 비전 및 자연어 처리와 같은 분야에서 심층 신경망 (DNN) 이 광범위하게 채택되고 있음에도 불구하고, 이러한 모델은 한 클래스 (소수 클래스) 가 다른 클래스 (다수 클래스) 에 비해 샘플 수가 현저히 적은 클래스 불균형 상황에서 심각한 어려움을 겪습니다. 고전적인 머신러닝 문헌은 종종 소수 클래스의 낮은 성능을 데이터 부족으로 인한 과소적합 (underfitting) 으로 귀인하는 반면, 최근의 DNN 특화 연구들은 상반된 설명을 제시합니다. 일부는 DNN 이 소수 클래스를 과소적합한다고 주장하는 반면, 다른 연구들은 특징 편향이나 편향된 결정 경계로 인해 일반화 불가능한 표현을 초래하는 소수 샘플에 대한 과적합 (overfitting) 이 발생한다고 주장합니다. 본 연구가 다루는 핵심 문제는 다수 클래스와 소수 클래스 간의 학습 시간적 진화와 관련하여, 클래스 불균형이 DNN 의 학습 역학을 어떻게 그리고 왜 방해하는지에 대한 통합적이고 직관적인 이해가 부족하다는 점입니다.

방법론
이러한 학습 역학을 체계적으로 조사하기 위해 저자들은 통제된 실험적 접근 방식을 채택했습니다:

• 데이터셋: 본 연구는 불균형 비율 (IR) 과 클래스 분리성 (실루엣 계수로 측정) 이 다양한 UCI 및 KEEL 저장소의 30 개 이진 불균형 벤치마크 데이터셋을 활용했습니다. 또한 비교를 위한 기준선으로 Iris 데이터셋에서 파생된 세 개의 균형 잡힌 이진 데이터셋을 사용했습니다.
• 모델 아키텍처: ReLU 활성화 함수를 사용하는 완전 연결 DNN 아키텍처를 사용했습니다. 과적합을 완화하기 위해 모델에는 배치 정규화 (Batch Normalization) 와 0.5 드롭아웃 비율이 포함되었습니다.
• 최적화: 하이퍼파라미터 (깊이와 너비) 는 모델이 거의 0 에 수렴하는 손실을 달성할 수 있도록 보장하기 위해 5 교차 검증을 통해 최적화되었습니다. 훈련에는 교차 엔트로피 손실을 사용하는 Adam 옵티마이저가 최소 250 에포크 동안 실행되었습니다.
• 평가 지표: 전체 손실과 정확도 외에도 본 연구는 소수 클래스에 대한 True Positive Rate(TPR) 와 다수 클래스에 대한 True Negative Rate(TNR) 와 같은 클래스별 지표에 중점을 두었습니다. 저자들은 학습 순서를 관찰하기 위해 에포크 전반에 걸친 클래스별 훈련 손실 및 정확도의 궤적을 모니터링했습니다. 또한 원시 불균형 시나리오와 비교하기 위한 기준선 개입으로 무작위 오버샘플링을 적용했습니다.

주요 기여 및 발견
본 연구는 불균형 데이터에 대한 DNN 의 학습 궤적에 대한 직관적인 통찰력을 제공하며, 뚜렷한 시간적 패턴을 드러냅니다:

1. 순차적 학습 역학: 모든 클래스를 유사한 손실 감소율로 동시에 학습하는 균형 잡힌 데이터셋과 달리, 불균형 데이터셋은 순차적 학습 패턴을 보입니다. 모델은 초기에 거의 독점적으로 다수 클래스를 학습하여 다수 클래스 손실을 빠르게 낮추는 반면, 소수 클래스 손실은 초기 에포크에서 종종 증가하거나 정체됩니다.
2. 초기 소수 클래스 과소적합: 초기 훈련 단계에서 DNN 은 소수 클래스를 효과적으로 과소적합하여 거의 모든 샘플 (소수 샘플 포함) 을 다수 클래스로 분류합니다. 이로 인해 초기 에포크에서 TPR 이 0% 가 됩니다.
3. 손실 최소화를 위한 과적합: DNN 의 과매개변수화 특성이 결국 소수 클래스 샘플을 학습하게 하여 (소수 손실을 거의 0 으로 감소시킴) 소수 클래스를 학습하게 하지만, 이 학습은 다수 클래스가 마스터된 후에만 발생합니다. 저자들은 모델이 일반화를 잘 하기 위해 소수 표현을 학습하는 것이 아니라, 단순히 전체 훈련 손실을 최소화하기 위해 학습한다고 주장합니다. 결과적으로 이러한 학습된 소수 표현은 테스트 단계에서 일반화되지 않아 높은 훈련 정확도에도 불구하고 낮은 TPR 을 초래합니다.
4. 데이터 복잡성과 샘플 크기의 역할: 이 현상의 심각성은 불균형 비율, 데이터 복잡성 (중첩), 그리고 소수 샘플 크기에 의해 조절됩니다.
   • 잘 분리된 클러스터를 가진 데이터셋 (높은 실루엣 계수) 은 높은 IR 이라도 초기 과소적합 단계로 고통받지 않습니다.
   • 낮은 IR 이지만 매우 작은 소수 샘플 크기 (예: 소수 샘플 7 개만 있는 경우) 를 가진 데이터셋은 심각한 초기 과소적합을 겪습니다.
   • 전체 훈련 손실 궤적은 다수 클래스에 의해 지배되어 초기 훈련 중 소수 클래스의 낮은 성능을 가립니다.
5. 오버샘플링의 한계: 무작위 오버샘플링을 적용하면 소수 클래스 인식 (TPR) 이 개선되지만, 종종 다수 클래스 성능 (TNR) 을 희생하며, 매우 불균형한 데이터셋의 경우 여전히 상당한 격차가 존재했습니다.

의의 및 주장
본 논문은 불균형 데이터에서 DNN 실패의 메커니즘을 명확히 하는 데 그 주요 의의가 있다고 주장합니다. DNN 이 초기 소수 클래스의 과소적합을 경험한 후 일반화를 달성하지 못한 채 전역 손실 최소화를 만족시키기 위해 소수 샘플을 암기하는 형태의 과적합을 겪는다는 것을 보여줌으로써 "과소적합 대 과적합"이라는 이분법적 논쟁에 도전합니다.

저자들은 DNN 의 소수 클래스에 대한 낮은 성능이 단순히 데이터 부족의 결과가 아니라, 모델이 총 손실을 낮추기 위해 다수 클래스를 우선시하는 특정 학습 역학의 결과라고 결론지었습니다. 이러한 통찰력은 효과적인 불균형 처리 방법이 정적인 데이터 분포뿐만 아니라 학습 역학의 시간적 측면을 다루어야 함을 시사합니다. 본 연구는 DNN 이 충분한 시간이 주어지면 불균형 데이터를 거의 0 에 수렴하는 손실까지 적합시킬 수 있지만, 결과적으로 생성된 결정 경계는 편향되어 있으며 클래스 클러스터가 잘 분리되지 않는 한 모델의 소수 테스트 샘플에 대한 일반화 능력이 심각하게 훼손된다고 겸손하게 주장합니다.