기술 요약: SemEval-2026 Task 9의 Aaron

문제 정의

본 논문은 여러 언어, 문화 및 이벤트를 가로질러 온라인 양극화(polarization)를 탐지하는 데 중점을 둔 SemEval-2026 Task 9를 다룹니다. 이 과제는 영어와 스와힐리어에 대해 세 가지 특정 서브태스크로 나뉩니다:

1. 이진 탐지(Binary Detection): 텍스트를 양극화된 상태 또는 양극화되지 않은 상태로 분류합니다.
2. 유형 분류(Type Classification): 다섯 가지 양극화 유형(정치적/이념적, 인종적/민족적, 종교적, 성별/성적, 기타)을 식별하는 다중 레이블 분류입니다.
3. 발현 식별(Manifestation Identification): 여섯 가지 구체적인 양극화 발현 양상(고정관념, 비방, 비인간화, 극단적 언어, 공감 부족, 무효화)을 식별하는 다중 레이블 분류입니다.

주요 식별된 과제는 심각한 레이블 불균형(특히 성별/성적 양극화 및 특정 발현 양상과 같은 소수 클래스)과 일반적인 다국어 모델이 성능 저하를 보일 수 있는 아프리카 언어를 위한 다국어 적응성의 필요성입니다.

방법론

제안된 시스템은 전처리, 언어별 모델 아키텍처, 클래스 가중치 학습, 그리고 사후 학습 임계값 튜닝의 4단계 파이프라인을 채택합니다.

1. 데이터 전처리

저자들은 양극화 신호를 보존하기 위해 최소한의 전처리 전략을 채택했습니다. 원래의 대소문자, 이모지, 특수 문자는 유지하였으며, 제어 문자(control characters)와 널 바이트(null bytes)만을 제거했습니다. 데이터는 클래스 분포를 유지하기 위해 층화 추출(stratified sampling)을 사용하여 80/20 비율로 훈련 및 검증 세트로 분할되었습니다.

2. 모델 아키텍처

시스템은 각 언어에 특화되어 선택된 트랜스포머 기반 모델을 활용합니다:

• 영어: BERT와 XLM-RoBERTa보다 RoBERTa-base(125M 파라미터)가 선택되었습니다. 절제 연구(Ablation studies) 결과, RoBERTa의 동적 마스킹(dynamic masking)과 다음 문장 예측의 부재가 영어 특화 성능에서 더 우수한 결과를 보인 반면, XLM-RoBERTa의 다국어 사전 학습은 영어 표현을 희석시켰습니다.
• 스와힐리어: AfroXLMR-base(270M 파라미터)가 선택되었습니다. 이 모델은 다양한 아프리카 코퍼스를 통한 지속적 사전 학습을 통해 아프리카 언어에 맞게 조정되었으며, 스와힐리어 작업에서 mBERT 및 XLM-RoBERTa와 같은 일반 다국어 모델보다 뛰어난 성능을 보였습니다.

두 모델 모두 드롭아웃 레이어(0.1)와 768차원 임베딩을 필요한 출력 로짓(서브태스크 1에 대해 2개, 서브태스크 2에 대해 5개, 서브태스크 3에 대해 6개)으로 매핑하는 선형 레이어로 구성된 분류 헤드를 사용합니다.

3. 클래스 가중치 손실 함수

심각한 레이블 불균형을 해결하기 위해, 저자들은 **클래스 가중치 이진 교차 엔트로피 손실(class-weighted binary cross-entropy loss)**을 구현했습니다. 각 레이블 $j$에 대한 가중치 $w_j$는 음성 샘와 양성 샘플의 비율($n_{neg} / n_{pos}$)로 계산됩니다. 이는 소수 클래스를 오분류할 때의 페널티를 높입니다. 예를 들어, 영어 서브태스크 2에서 가중치는 1.73(정치적)에서 41.95(성별/성적)까지 다양했습니다. 학습 안정성을 보장하기 위해 그래디언트 클리핑(max-norm 1.0)이 적용되었습니다.

4. 임계값 튜닝

학습 후, 검증 세트에서 레이블별 임계값 탐색이 수행되었습니다. 각 특정 레이블의 매크로 F1 점수를 극대화하기 위해 0.1에서 0.9까지 0.05 간격으로 임계값을 스캔했습니다. 이 접근 방식은 표준 0.5 임계값에 비해 매크로 F1 점수를 0.87에서 5.98 포인트 개선했습니다.

학습 구성

모델은 선형 웜업 스케줄과 함께 AdamW(학습률 $2 \times 10^{-5}$, 가중치 감쇠 0.01)를 사용하여 미세 조정되었습니다. 학습에는 단일 GPU 상에서 혼합 정밀도(FP16)가 사용되었습니다. 배치 크기는 서브태스크 1의 경우 16, 서브태스크 2-3의 경우 시퀀스 길이(각각 128 및 256 토큰)를 수용하기 위해 그래디언트 누적을 포함하여 8로 설정되었습니다. 조기 종료(early stopping)는 검증 매크로 F1을 기준으로 결정되었습니다.

주요 기여

본 논문은 세 가지 주요 기술적 기여를 강조합니다:

1. 언어별 모델 선택: 특화된 모델(영어를 위한 RoBERTA, 스와힐리어를 위한 AfroXLMR)이 이러한 특정 맥락에서의 양극화 탐지에 있어 일반적인 다국어 베이스라인보다 우수함을 입증했습니다.
2. 클래스 가중치 손실 구현: 다중 레이블 양극화 작업에서 극단적인 레이블 불균형의 영향을 완화하기 위해 가중치 손실 함수를 성공적으로 적용했습니다.
3. 레이블별 임계값 튜닝: 각 레이벨에 대해 개별적으로 분류 경계를 최적화함으로써 불균형한 데이터셋에서 매크로 F1 점수를 개선하는 데 결정적인 역할을 했습니다.

실험 결과

시스템은 **매크로 F1(Macro F1)**을 주요 지표로 사용하여 테스트 세트에서 평가되었습니다.

• 서브태스크 1 (이진 탐지): 영어 0.7901, 스와힐리어 0.7910을 달성했습니다. 스와힐리어 데이터셋의 클래스 분포가 더 균형 잡혀 있었기 때문에 스와힐리어 성능이 영어를 약간 상회했습니다.
• 서브태스크 2 (유형 분류): 영어 0.4615, 스와힐리어 0.4808을 달성했습니다. 성별/성적 및 "기타" 카테고리의 극단적인 불균형으로 인해 성능이 저해되었습니다.
• 서브태스크 3 (발현 식별): 영어 0.4791, 스와힐리어 0.5830을 달성했습니다. 이 서브태스크에서 시스템은 스와힐리어 부문에서 16개 팀 중 2위를 차지했습니다.

비교 성능:
시스템은 모든 서브태스크와 언어에서 POLAR 베이스라인과 mBERT 미세 조정 베이스라인을 일관되게 능가했습니다. 예를 들어, 스와힐리어 서브태스크 3에서 제안된 시스템(0.5830)은 mBERT 베이스라인(0.4380)을 크게 앞질렀습니다.

절제 연구 (Ablation Studies):

• 클래스 가중치: 영어 서브태스크 2에서 클래스 가중치를 제거하면 매크로 F1이 0.4721에서 0.4123으로 떨어져 5.98 포인트 감소했습니다.
• 모델 선택: RoBERTa-base는 영어 서브태스크 1에서 BERT-base보다 2.58% 높은 성능을 보였으나, 더 큰 XLM-RoBERTa는 오히려 낮은 성능을 보여 언어 특화 사전 학습의 이점을 확인시켜 주었습니다.

오류 분석 및 한계

저자들은 특정 실패 모드를 식별했습니다:

• 거짓 양성 (False Positives): 중립적인 정치적 헤드라인이나 과장된 스포츠 댓글이 강한 언어와 양극화를 혼동하여 간혹 양극화된 것으로 오분류되었습니다.
• 다중 레이블 모호성: 서브태스크 2에서 모델은 정치적 진술 내의 인종적 뉘앙스를 탐지하는 데 어려움을 겪었습니다.
• 희귀 카테고리: 클래스 가중치를 적용했음에도 불구하고 성별/성적 레이블(빈도 2.2%)과 비인간화 발현 양상은 여전히 탐지하기 어려운 과제로 남았습니다.
• 의미론적 뉘앙스: 비인간화(오류의 31%)와 공감 부족은 표준 트랜스포머 모델이 포착하기 어려운 미묘한 의미론적 이해와 마음 이론(theory-of-mind) 추론을 요구합니다.
• 검증-테스트 간 격차: 단일 검증 분할에 대한 임계값 과적합과 테스트 데이터의 도메인 변화로 인해 검증 점수와 테스트 점수 사이에 2.29에서 10.58 포인트의 차이가 관찰되었습니다.

의의 및 주장

본 논문은 제안된 접근 방식이 리더보드에서 경쟁력 있는 성능을 보여준다는 점을 강조하며, 특히 스와힐리어 서브태스크 3에서 2위를 차지한 점을 부각합니다. 저자들은 자신들의 방법론이 고자원(영어) 및 저자원(스와힐리어) 맥락 모두에서 불균형한 다중 레이블 양극화 탐지를 처리하는 데 효과적이라고 주장합니다.

이 연구는 다음의 필요성을 역설합니다:

1. 아프리카 언어를 위해 일반적인 다국어 모델을 넘어선 모델을 사용하는 것.
2. 양극화 데이터셋의 고유한 왜곡을 해결하기 위해 특정 기술(클래스 가중치 및 임계값 튜닝)을 사용하는 것.

저자들은 시스템이 효과적이긴 하지만, 비인간화나 공감 부족과 같은 미묘한 발현을 더욱 잘 탐지하기 위해서는 향후 연구에서 화용론적 추론(pragmatic reasoning), 문화적 모델링, 그리고 교차 언어 전이를 다루어야 한다고 결론지었습니다. 또한, 정당한 정치적 표현의 억제를 방지하기 위해 실세계 배포 시 인간의 감독이 필요함을 강조했습니다.