Addressing Data Imbalance in Transformer-Based Multi-Label Emotion Detection with Weighted Loss

기술 요약: 가중치 손실(Weighted Loss)을 이용한 트랜스포머 기반 다중 레이블 감정 탐지의 데이터 불균형 해결

문제 정의
본 논문은 짧은 텍스트에서의 다중 레이블 감정 탐지 문제를 다룹니다. 이 과업은 감정적 언어의 내재적 모호성과 단일 인스턴스 내에서 여러 감정이 동시에 발생하는 빈번한 공존 현상으로 인해 복잡해집니다. 효과적인 자동 탐지를 가로막는 결정적인 장벽은 데이터 불균형으로, 특정 감정 클래스(다수 클래스)가 다른 클래스(소수 클래스)보다 훨씬 더 많이 존재하는 현상을 의미합니다. 전통적인 리샘플링 기법(오버샘플링 또는 언더샘플링)은 다중 레이블 시나리오에서 효과적이지 않은 경우가 많은데, 이는 하나의 레이블 빈도를 변경하는 것이 여러 개의 동시 출력 레이블로 이어지는 복잡한 매핑 관계를 의도치 않게 방해할 수 있기 때문입니다. 저자들은 이를 주어진 텍스트 입력에 대해 감정 레이블(분노, 공포, 기쁨, 슬픔, 놀람)의 부분 집합을 예측하는 것을 목표로 하는 다중 레이블 분류 문제로 규정합니다.

방법론
제안된 접근 방식은 특징 추출 및 분류를 위한 백본(backbone)으로 트랜스포머 기반 아키텍처(구체적으로 BERT, RoBERTa, BART)를 활용합니다. 리샘플링의 계산 오버헤드 없이 데이터 불균형을 해결하기 위해, 저자들은 **단순 가중치 손실 함수(simple weighted loss function)**를 도입합니다.

• 아키텍처: 모델은 문맥적 관계를 포착하기 위해 셀프 어텐션(self-attention) 메커니즘과 위치 인코딩(positional encodings)을 사용합니다. 출력층은 각 감정 클래스에 대한 독립적인 이진 분류기로 구성되며, 시그모이드(sigmoid) 활성화 함수를 활용합니다.
• 손실 함수 수정: 표준 이진 교차 엔트로피(Binary Cross-Entropy, BCE) 손실은 각 클래스의 가중치($w_j$)를 포함하도록 수정되었습니다. 이 가중치는 훈련 데이터셋 내 각 클래스의 빈도에 따라 동적으로 조정됩니다 ($w_j = \text{max}(W) / w_j$, 여기서 $W$는 레이블 분포를 나타냄). 이 메커니즘은 훈련 중 소수 클래스를 오분류했을 때의 페널티를 높입니다.
• 정규화: 또한 모델의 과잉 확신을 방지하고 다수 클래스에 대한 과적합을 줄이기 위해 **레이블 스무딩(label smoothing)**을 적용합니다.
• 실험 설정: 실험은 5개의 감정 클래스에 걸쳐 다중 레이블 주석이 달린 BRIGHTER 데이터셋(영어 서브셋)을 사용하여 수행되었습니다. 데이터셋은 훈련(70%) 및 개발(30%) 세트로 분할되었습니다. 저자들은 클래스 불균형에 강건한 지표인 Macro F1 점수를 극대화하기 위해 베이지안 하이퍼파라미터 최적화 도구인 Optuna를 활용했습니다. 모든 모델은 조기 종료(early stopping)와 함께 AdamW 옵티마이저를 사용하여 훈련되었습니다.

주요 기여
본 논문은 세 가지 주요 기여를 명시합니다:

1. 가중치 손실 전략 제안: 저자들은 리샘플링의 복잡성을 피하면서 트랜스포머 모델을 사용하는 다중 레이블 감정 탐지에서 데이터 불균형을 처리하기 위해 특별히 설계된 단순한 가중치 손실 함수를 제안합니다.
2. 포괄적인 모델 평가: 연구는 이 특정 다중 레이블 맥락에서 세 가지 주요 트랜스포머 모델인 BERT, RoBERTa, BART의 효능을 평가합니다.
3. 가중치 적용의 영향에 대한 실증적 분석: 본 연구는 가중치 손실(+w)이 서로 다른 모델과 감정 클래스에 어떻게 영향을 미치는지에 대한 상세한 분석을 제공하며, 이를 통해 균일한 개선이 아닌 미묘한 성능 변화를 밝혀냅니다.

결과
평가에는 Micro F1, Macro F1, ROC-AUC, 정확도(Accuracy) 및 자카드 유사도(Jaccard similarity) 계수가 사용되었습니다. 결과에 따르면 가중치 손실 함수의 영향은 모델에 따라 달라집니다:

• BERT 및 BART: 두 모델 모두 가중치 손실 함수를 적용했을 때 눈에 띄는 개선을 보였습니다. 특히 BART+w는 Micro F1이 0.6961에서 0.7321로, Weighted F1이 0.6993에서 0.7350으로 상승하며 가장 큰 이득을 얻었습니다. BERT 또한 모든 지표에서 일관된 개선을 보였습니다.
• RoBERTa: 반면, RoBERTa는 가중치 손실을 적용했을 때 Micro F1이 (0.7282에서 0.7268로) 소폭 하락하는 등 제한적인 이점과 약간의 성능 저하를 보였습니다. 저자들은 RoBERTa가 견고한 사전 학습 덕분에 클래스 불균형에 대해 본래 잘 최적화되어 있어, 재가중치(reweighting) 전략에 덜 민감한 것으로 추정합니다.
• 클래스별 성능: 추가 분석(표 2 및 3) 결과, Macro F1 및 Sample F1의 개선은 주로 고빈도 클래스(예: 기쁨, 놀람)에서의 이득에 의해 주도되었습니다. 가중치 손실 함수는 대부분의 소수 감정 클래스에 대해 제한적이거나 개선 효과가 없었습니다 (5개 클래스 중 4개 클래스가 특정 지표에서 정체 또는 하락을 보임).
• 혼동 패턴: 연구에서는 "기쁨"과 "놀람" 사이의 중첩된 오분류 현상이 관찰되었는데, 이는 문맥적 모호함에 기인하며, 미세한 감정 구분을 위한 현재의 텍스트 표현 방식의 한계를 보여줍니다.

의의 및 주장
본 논문은 가중치 손실 함수가 고빈도 감정 클래스의 성능을 높이고 특정 아키텍처의 전반적인 강건성을 향상시키는 데 효과적인 전략이지만, 소수 클래스의 탐지 문제를 완전히 해결하지는 못한다고 겸허하게 주장합니다. 이러한 결과는 이 접근 방식이 불균형한 데이터로 인한 일부 편향을 완화하기는 하지만, 희귀 감정의 탐지는 여전히 중요한 과제로 남아 있음을 강조합니다. 저자들은 이 접근 방식이 다중 레이블 불균형 문제에 대한 확정적인 해결책이라고 주장하기보다는, 이 방법의 일반화 가능성을 다양한 언어와 데이터셋에 걸쳐 탐색하는 것이 향후 과제라고 결론짓습니다. 연구를 촉진하기 위해 소스 코드는 공개적으로 제공됩니다.