CAMO: A Class-Aware Minority-Optimized Ensemble for Robust Language Model Evaluation on Imbalanced Data

1. 문제 정의 (Problem Definition)

• 클래스 불균형 (Class Imbalance): 현실 세계의 분류 작업에서는 소수 클래스 (Minority Class) 가 중요함에도 불구하고, 데이터 분포의 불균형으로 인해 전통적인 앙상블 방법 (다수결 투표, 신뢰도 가중 평균 등) 이 다수 클래스 (Majority Class) 에 편향되는 경향이 있습니다.
• 성능 저하: 이로 인해 소수 클래스의 예측 성능이 급격히 떨어지며, 결과적으로 전체적인 Strict Macro F1-score가 낮아집니다.
• 기존 방법의 한계: 기존 앙상블 기법들은 소수 클래스의 기여도를 marginalize(소외) 시키며, 특히 교육 AI(교사의 피드백 분류) 나 감정 인식과 같이 소수 클래스의 중요성이 높은 도메인에서 심각한 방법론적 격차를 초래합니다.

2. 제안 방법론: CAMO (Methodology)

저자들은 CAMO (Class-Aware Minority-Optimized) 라는 새로운 앙상블 기법을 제안했습니다. 이는 소수 클래스의 예측을 '노이즈'가 아닌 '신호'로 간주하고 이를 강화하는 계층적 (Hierarchical) 의사결정 시스템을 기반으로 합니다.

핵심 구성 요소:

1. 계층적 의사결정 구조 (7 단계):

   • 1 단계 (Unanimity): 모든 모델이 동일한 클래스를 예측하면 즉시 결정.
   • 2 단계 (Strong Minority Consensus): 소수 클래스에 대해 일정 이상의 투표 수와 신뢰도 (Confidence) 조건을 만족하면 소수 클래스를 우선시.
   • 3 단계 (Isolated High-Confidence Minority Vote): 단일 모델이 매우 높은 신뢰도로 소수 클래스를 예측하고 전체 평균 신뢰도가 낮을 경우 이를 채택.
   • 4 단계 (Uncertainty-Triggered Minority Prioritization): 전체 모델의 불확실성 (Uncertainty) 이 높을 때 소수 클래스의 예측을 우선적으로 고려.
   • 5 단계 (Confidence-Weighted Aggregation with Boosting): 소수 클래스에 대해 동적 부스팅 (Boosting) 함수를 적용하여 가중치를 증가시킴.
   • 6 단계 (Minority Vote Under Competitive Dominance): 경쟁 상황에서 소수 클래스가 다수 클래스보다 높은 투표 수와 신뢰도를 보일 경우 채택.
   • 7 단계 (Standard Majority Rule): 위 조건이 모두 충족되지 않을 경우 기존 다수결 규칙 적용.

2. 동적 소수 클래스 부스팅 (Dynamic Minority Boosting):

   • 투표 수 ($V$) 와 평균 신뢰도 ($\bar{p}$) 를 기반으로 소수 클래스에 대한 부스팅 계수 ($\beta$) 를 동적으로 조정합니다.
   • 조건 (예: 투표 수 $\ge 2$, 평균 신뢰도 $< 0.7$ 등) 이 충족될 때 소수 클래스의 점수를 가중치로 증폭시킵니다.

3. 실험 설정:

   • 데이터셋: BEA 2025 (교육적 오류 식별, 'To some extent' 클래스 약 7%) 와 DIAR-AI/Emotion (감정 인식, 'Surprise' 약 3%, 'Love' 약 8%).
   • 모델: 8 개의 언어 모델 (3 개의 LLM: Llama-3.1-8B, Mistral-7B 등 / 5 개의 SLM: Phi-3, Qwen3-0.6B 등).
   • 학습 조건: Zero-shot 및 Fine-tuned (LoRA 를 사용한 파라미터 효율적 미세 조정) 환경에서 평가.

3. 주요 기여 (Key Contributions)

• 도메인 중립적 프레임워크: 특정 도메인에 국한되지 않고, 클래스 불균형이 존재하는 모든 분류 작업에 적용 가능한 범용 앙상블 프레임워크를 제시했습니다.
• 불확실성 인식 (Uncertainty-Aware) 적응: 모델 간 불일치와 신뢰도 분산을 활용하여 소수 클래스의 예측을 강화하는 새로운 메커니즘을 도입했습니다.
• 포괄적인 벤치마크: 7 가지 기존 앙상블 알고리즘 (다수결, 신뢰도 가중, 메타 앙상블 등) 과 8 개의 다양한 언어 모델을 대상으로 한 광범위한 비교 평가를 수행했습니다.
• 소수 클래스 최적화: 소수 클래스의 성능을 희생하지 않으면서 전체 Macro F1-score 를 극대화하는 전략을 입증했습니다.

4. 실험 결과 (Results)

• BEA 2025 데이터셋:
  • Fine-tuned 설정: CAMO 는 8 개의 모델 모두에서 Strict Macro F1-score에서 가장 높은 성능을 기록했습니다. 특히 소수 클래스인 'To some extent'에 대한 예측 정확도가 기존 방법들보다 월등히 높았습니다.
  • Zero-shot 설정: 미세 조정되지 않은 모델에서도 CAMO 는 다른 앙상블 방법들보다 일관되게 우수한 성능을 보였으며, 특히 소수 클래스의 Recall 을 크게 향상시켰습니다.
• DIAR-AI/Emotion 데이터셋:
  • 소수 감정 클래스: 'Surprise'와 'Love'와 같은 드문 감정 클래스에서 CAMO 를 적용한 Llama-8B 모델은 기존 SOTA 방법들 (GPT-4o-DPO 등) 보다 높은 F1-score 를 달성했습니다.
  • 모델 크기 영향: CAMO 는 대형 모델 (LLM) 과 소형 모델 (SLM) 모두에서 효과적이었으며, 모델의 적응 능력 (Adaptation) 과 결합될 때 그 효과가 극대화됨을 확인했습니다.
• 통계적 유의성: 다양한 시드 (Seed) 와 재현 가능한 실험 설정을 통해 결과의 통계적 유의성을 검증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 공정한 AI 시스템 구축: CAMO 는 소수 클래스에 대한 편향을 줄이고, 사기 탐지나 희귀 질환 진단과 같이 소수 클래스가 중요한 분야에서 **공정성 (Fairness)**과 투명성을 높이는 데 기여합니다.
• 모델 적응과의 시너지: CAMO 는 단일 솔루션이 아니라, 모델 미세 조정 (Fine-tuning) 및 불확실성 추정과 결합될 때 가장 큰 효과를 발휘하는 '사후 처리 (A posteriori)' 모듈로 작용함을 강조합니다.
• 미래 방향: 파라미터 조정의 자동화 및 수동적 메커니즘 개발을 통해 더 넓은 범위의 불균형 데이터셋에 적용 가능한 프레임워크로 발전시킬 수 있음을 시사합니다.

요약하자면, CAMO 는 클래스 불균형 문제로 인해 소외되던 소수 클래스의 예측 성능을 계층적 의사결정과 동적 부스팅을 통해 획기적으로 개선한 새로운 앙상블 프레임워크이며, 이를 통해 언어 모델 평가의 새로운 기준 (Benchmark) 을 제시했습니다.