1. 문제 정의 (Problem Definition)

온라인 극성 (Online Polarization) 은 사회, 정치, 정체성 그룹 간의 날카로운 분열과 적대감을 의미하며, 이는 민주주의 제도, 시민적 담론, 사회적 결속에 심각한 위협이 됩니다. 기존 연구는 주로 고자원 언어 (High-resource languages) 나 특정 사건/지역에 국한되어 있어, 다양한 문화적, 언어적, 사건적 맥락에서 극성을 포괄적으로 이해하고 탐지하는 데 한계가 있었습니다.

이 태스크는 POLAR 데이터셋을 기반으로 다음과 같은 세 가지 하위 태스크를 통해 다국어, 다문화, 다사건 온라인 극성 탐지 문제를 해결하고자 합니다:

1. POLARDETECT (이진 분류): 주어진 텍스트가 극성을 띠는지 여부를 판단.
2. POLARTYPE (다중 레이블 분류): 극성의 사회적 차원 (정치, 인종/민족, 종교, 성/성적 정체성, 기타) 을 식별.
3. POLARMANIFEST (다중 레이블 분류): 극성이 수사적으로 어떻게 나타나는지 (고정관념, 비인간화, 극단적 언어, 공감 부족, 무효화 등) 탐지.

2. 데이터셋 및 방법론 (Dataset & Methodology)

POLAR 데이터셋

• 규모 및 범위: 22 개 언어 (7 개 어족), 110,656 개의 주석된 인스턴스로 구성.
• 다양성: 10 개 이상의 국가와 지역을 아우르며, 무력 분쟁, 선거, 공중보건 위기, 기후 변화, 성평등 등 다양한 사회적 이슈를 포함.
• 주석 과정: 크라우드소싱 (Mechanical Turk, Prolific) 과 지역 커뮤니티 주석가를 혼용하여 수행. 다국어 주석 가이드라인을 문화적으로 적응화하여 적용.
• 데이터 분할: Train (73,681), Dev (3,687), Test (33,288) 로 나뉘었으며, 언어별 주석자 간 일치도 (Fleiss's κ 등) 를 보고함.

평가 지표

• 모든 태스크에서 평균 Macro F1 점수를 주요 평가 지표로 사용.

참가 시스템 및 접근법

전 세계 28 개 국가에서 1,000 명 이상의 참가자가 참여하여 67 개 팀이 최종 제출했습니다. 주요 기술적 접근법은 다음과 같습니다:

• 모델 아키텍처:
  • LLM 기반: Qwen (31%), LLaMA (20%), Gemma/Gemini (19%) 계열 모델이 가장 많이 사용됨.
  • 인코더 기반: mBERT, XLM-R, mDeBERTa 등 다국어 트랜스포머 모델 활용.
• 학습 전략:
  • 파인튜닝 (Fine-tuning): 약 39% 의 팀이 파인튜닝을 적용했으며, 그중 절반은 LoRA 와 같은 파라미터 효율적 파인튜닝 (PEFT) 기법을 사용.
  • 앙상블 (Ensembling): 여러 모델의 예측을 결합 (Soft-voting, 가중치 평균, Stacking) 하여 성능 향상.
  • 손실 함수 최적화: 불균형한 클래스 분포를 해결하기 위해 Asymmetric Loss (ASL), 가중 이진 교차 엔트로피, Focal Loss 등을 사용.
  • 데이터 증강: 백-번역, 역번역, 동의어 교체, 생성된 설명 추가 등을 통해 데이터 다양성 확보.
  • 임계값 조정: 언어별 또는 레이블별 임계값 (Threshold) 을 개별적으로 조정하여 성능 최적화.

3. 주요 결과 (Key Results)

성능 개요

• POLARDETECT (태스크 1): 대부분의 언어에서 최상위 시스템이 0.8 이상의 F1 점수를 기록했으나, 크메르어 (Khmer), 버마어 (Burmese) 와 같은 저자원 언어와 이탈리아어, 독일어와 같은 고자원 언어에서는 성능 저하가 관찰됨. 이는 언어적 요인보다 지역적 맥락에 대한 모델의 지식 부족이 주요 원인인 것으로 분석됨.
• POLARTYPE (태스크 2): 전반적으로 태스크 1 보다 성능이 낮음 (7 개 언어에서 F1 < 0.6). 특히 "기타 (Other)" 범주 분류가 어려웠으며, 문화적 맥락에 따라 극성 유형 예측 정확도가 크게 달라짐 (예: 힌디어 vs 텔루구어에서의 종교적 극성 탐지 차이).
• POLARMANIFEST (태스크 3): 가장 어려운 태스크로, 우르두어 (Urdu) 를 제외하고는 0.8 이상의 점수를 기록한 언어가 없었으며, 5 개 언어는 0.5 미만의 점수를 기록함.

최고 성능 팀

1. UTokyo Tsuruoka Lab: 태스크 1 과 2 에서 22 개 언어 중 각각 8 개와 7 개 언어에서 1 위를 차지. Gemma-3 모델을 기반으로 한 단일 프론트 패스 (One-forward-pass) 추론 전략과 LoRA 파인튜닝, Unsloth를 활용한 메모리 효율적 학습이 핵심.
2. NYCU-NLP: 38 개의 Top-3 입상을 기록한 가장 다재다능한 팀. Gemma-3, Mistral, Phi-4 등 여러 소형 LLM 을 Stacking 앙상블로 결합하고, 태스크 2 의 "기타" 범주를 예측하기 위해 태스크 1 결과를 보조 신호로 활용하는 휴리스틱을 적용.
3. SMASH: 태스크 3 에서 1 위를 차지. mDeBERTa, XLM-R, mBERT 등 다양한 인코더 기반 모델을 앙상블하고, Out-of-fold 예측을 통한 가중치 조정 및 레이블별 임계값 보정을 통해 성능을 극대화.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 대규모 다국어 극성 벤치마크 구축: 22 개 언어, 11 만 개 이상의 데이터를 포함하는 POLAR 데이터셋을 공개하여, 저자원 언어와 다양한 문화적 맥락에서의 극성 연구 기반을 마련함.
2. 세부적인 극성 분석 프레임워크: 단순한 극성 탐지를 넘어, 극성의 '유형'과 '수사적 표현 (Manifestation)'까지 세분화하여 분석할 수 있는 체계를 제시함.
3. 문화적 맥락의 중요성 강조: 실험 결과를 통해 언어적 능력만으로는 극성을 정확히 탐지할 수 없으며, 지역적, 문화적 맥락에 대한 이해가 필수적임을 입증함. 특히 저자원 언어와 특정 문화권에서의 성능 한계를 지적하여 향후 연구 방향을 제시.
4. 커뮤니티 활성화: SemEval-2026 에서 가장 인기 있는 태스크 (1,000 명 이상 참여, 73 편의 시스템 설명 논문) 로 선정되며, 극성 탐지 분야에 대한 국제적 연구 협력을 촉진함.

5. 결론 및 한계

이 태스크는 다국어, 다문화 온라인 극성 탐지를 위한 중요한 진전을 이루었으나, 크라우드소싱 주석의 품질 변동성, 민감한 콘텐츠로 인한 주석자의 심리적 부담, 일부 언어의 데이터 부족 등의 한계가 존재함. 향후 연구에서는 데이터셋의 규모와 다양성 확대, 언어별 특화 모델 개발, 그리고 윤리적 데이터 활용을 위한 지속적인 노력이 필요하다고 결론지음.