💬 NLP

MKJ at SemEval-2026 Task 9: A Comparative Study of Generalist, Specialist, and Ensemble Strategies for Multilingual Polarization

이 논문은 SemEval-2026 태스크 9 를 위해 22 개 언어의 다국어 극성 감지를 위해 범용 모델, 언어별 전문 모델, 그리고 하이브리드 앙상블 전략을 비교 분석한 결과, 토크나이저 정합성이나 문자 체계에 따라 최적의 접근 방식이 달라지며, 개발 데이터 성능에 기반한 언어 적응형 프레임워크를 통해 전체 22 개 트랙에서 0.796 의 매크로 평균 F1 점수를 달성했다고 요약할 수 있습니다.

원저자: Maziar Kianimoghadam Jouneghani

게시일 2026-04-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Maziar Kianimoghadam Jouneghani

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

22 개 언어의 '분열'을 읽는 AI: MKJ 팀의 SemEval-2026 도전기

이 논문은 2026 년 SemEval(자연어 처리 대회) 의 9 번 과제에 참여한 'MKJ'팀이 22 개 언어로 된 '분극화 (Polarization)' 감지를 어떻게 해결했는지 설명한 보고서입니다.

쉽게 말해, **"어떤 글이 사회적 갈등을 부추기는가?"**를 22 개 다른 언어로 동시에 찾아내는 AI 를 만드는 이야기입니다. 이 팀은 "하나의 만능 해법"을 고집하지 않고, 언어마다 다른 전략을 쓴 '현명한 적응형' 방식을 택했습니다.

🌍 핵심 비유: "한 사이즈의 옷 vs 맞춤형 재단"

이 연구의 핵심은 **"모든 언어에 똑같은 AI 를 입히면 안 된다"**는 사실입니다.

기존 방식 (만능 옷): XLM-RoBERTa 라는 거대 AI 는 22 개 언어를 모두 이해할 수 있다고 주장합니다. 마치 "한 사이즈 (L) 만 있는 티셔츠"를 모든 사람에게 입히는 것과 같습니다.
- 문제점: 키가 작은 아이나 체격이 특이한 사람에게는 옷이 너무 헐렁하거나, 문장이 꼬여서 (토큰화 문제) 제대로 입히지 못합니다. 특히 크메르어, 오디아어처럼 글자 모양이 완전히 다른 언어에서는 더 심합니다.
MKJ 팀의 방식 (맞춤 재단): "누가 어떤 체격인지 먼저 보고, 그에 맞는 옷을 입히자"는 전략입니다.
- 일반인 (Generalist): 영어나 스페인어처럼 데이터가 풍부하고 글자 체계가 익숙한 언어에는 '만능 티셔츠 (mDeBERTa)'를 입힙니다.
- 전문가 (Specialist): 아랍어, 힌디어, 태국어 등 특정 언어에 특화된 '맞춤 재단 (Monolingual Specialist)'을 입힙니다. 이는 현지 방언과 문화적 뉘앙스를 정확히 파악합니다.
- 혼합 팀 (Ensemble): 영어처럼 복잡한 경우에는 '소셜 미디어 전문가'와 '일반 언어학자' 두 명을 짝지어 (앙상블) 함께 판단하게 합니다.

🛠️ 그들이 한 일 (3 단계 전략)

1 단계: 실험실 테스트 (옷 입혀보기)
- 개발 데이터로 22 개 언어 각각에 대해 "만능 옷이 잘 맞을까? 아니면 맞춤 옷이 더 나을까?"를 시험해 봤습니다.
- 결과는? 대부분 맞춤 옷이 이겼습니다. 특히 크메르어에서는 맞춤 옷이 만능 옷보다 성능이 8% 이상 뛰어났습니다.
- 하지만 버마어나 펀자브어처럼 맞춤 옷이 오히려 엉망이 된 경우도 있어, 이럴 때는 다시 '고성능 만능 옷'으로 갈아탔습니다.
2 단계: 팀워크와 조정 (혼합 팀 구성)
- 어떤 언어는 한 명보다 두 명이 함께 판단하는 게 좋습니다. 예를 들어 영어는 "소셜 미디어에 강한 AI"와 "일반 텍스트에 강한 AI"를 섞어 점수를 냈습니다.
- 또한, AI 가 너무 예민하게 "분열이다!"라고 외치는 경우를 막기 위해 **임계값 (Threshold)**을 조절했습니다. 마치 "불이 조금이라도 나면 소방차를 부르는 게 아니라, 진짜 불이 날 때만 부르는 것"처럼 기준을 조정한 것입니다.
3 단계: 번역으로 채우기 시도 (실패한 실험)
- 데이터가 부족한 언어를 위해, 영어 데이터를 다른 언어로 번역해서 추가해 보려 했습니다.
- 결과: 실패했습니다. 기계 번역이 문법적으로 완벽하지 않아, 오히려 AI 가 혼란을 겪었습니다. 특히 러시아어나 폴란드어처럼 문법 변화가 복잡한 언어에서는 성능이 떨어졌습니다. 결국 **"원어민이 직접 쓴 데이터로 훈련하는 게 낫다"**는 결론에 도달했습니다.

📊 결과: 얼마나 잘했나?

전체 성적: 22 개 언어를 모두 합쳐 82.6% 의 정확도를 기록했습니다.
성공 사례: 미얀마어 (2 위), 페르시아어 (공동 2 위) 등에서 상위권을 차지하며 언어별 맞춤 전략의 효과를 입증했습니다.
실패 사례: 이탈리아어, 독일어 등에서는 예상보다 점수가 낮았습니다.
- 이탈리아어: 데이터 자체가 너무 어려워서 어떤 AI 도 점수를 잘 못 냈습니다 (모두가 60 점대).
- 크메르어: AI 가 "분열이다"라고만 계속 외쳐서 (과적합), 실제 테스트에서는 neutral(중립) 인 글도 다분열로 판단하는 실수를 했습니다.

💡 이 논문이 우리에게 주는 교훈

이 연구는 **"AI 는 크기가 크다고 해서 무조건 좋은 게 아니다"**라고 말합니다.

상황에 맞는 선택이 중요하다: 모든 언어에 똑같은 모델을 적용하는 '만능 해결책'은 없습니다. 언어의 특성 (글자 체계, 문화, 데이터 양) 에 따라 가장 적합한 도구를 골라야 합니다.
번역은 만능이 아니다: 부족한 데이터를 번역으로 채우는 것은 위험할 수 있습니다. 현지 언어의 정통성을 유지하는 것이 더 중요합니다.
현실적인 한계: 개발 데이터가 너무 적으면 (약 160 개), AI 가 시험 문제만 외워서 실전에서 망칠 수도 있습니다.

🎓 결론

MKJ 팀은 **"하나의 거인보다, 22 개의 작은 전문가들이 각자 맡은 자리에서 최선을 다하는 것"**이 22 개 언어의 사회적 분열을 감지하는 데 더 효과적임을 증명했습니다. 이는 AI 개발이 단순히 모델을 키우는 것이 아니라, **문화와 언어의 맥락을 이해하는 '맞춤형 접근'**이 필요함을 보여주는 사례입니다.

"우리는 이 작업을 위해 밤을 새웠습니다. 이 노력은 매일 저를 영감으로 채워주는 이란의 사람들에게 바칩니다." (저자의 감사의 말)

논문 요약: MKJ at SemEval-2026 Task 9

1. 문제 정의 (Problem Definition)

과제: SemEval-2026 Task 9 (POLAR 벤치마크) 의 서브태스크 1 로, 22 개의 다양한 언어 (22 개 언어 트랙) 에 걸쳐 다중 언어적 양극화 (Polarization) 감지를 수행하는 것입니다.
핵심 난제: 단순한 감정 분석을 넘어, 이념적 분열을 조장하는 수사 (Rhetoric) 를 식별해야 하며, 이는 복잡한 사회정치적 뉘앙스를 이해해야 합니다.
아키텍처 딜레마: 대규모 다국어 일반 모델 (Multilingual Generalists, 예: XLM-RoBERTa) 의 의미적 추론 능력과, 특정 언어에 최적화된 단일 언어 전문가 모델 (Monolingual Specialists) 의 문화적/어휘적 정밀성 사이에서 균형을 찾는 것이 주요 과제였습니다.

2. 방법론 (Methodology)

저자는 "일률적인 (One-size-fits-all)" 접근법을 거부하고, 개발 데이터 성능에 기반하여 언어 적응형 모델링 프레임워크 (Language-Adaptive Modeling Framework) 를 구축했습니다. 이 과정은 크게 3 단계로 나뉩니다.

Phase 1: 아키텍처 선택 파이프라인 (Architecture Selection)
- 기초선 (Baseline): 모든 22 개 트랙에 대해 XLM-RoBERTa-Base 를 초기 기준선으로 설정.
- 전략적 전환: 특정 언어 (특히 크메르, 오디아 등 고유 문자를 사용하는 언어) 에서 XLM-R 의 서브워드 분할 (Subword Fragmentation) 문제가 발생하거나 성능이 저하될 경우, 해당 언어에 특화된 전문가 모델 (예: AraBERT, BanglaBERT 등) 로 전환.
- 고용량 일반 모델 활용: 일부 언어 (예: 스페인어, 힌디어) 에서는 mDeBERTa-v3 와 같은 고용량 다국어 모델이 단일 언어 전문가보다 더 나은 성능을 보임.
- 선택 기준: 개발 세트에서 Macro-F1 이 2% 이상 향상되거나, 정밀도/재현율 (Precision/Recall) 프로파일이 더 균형 잡힌 경우에만 비기반선 아키텍처를 채택.
Phase 2: 하이브리드 앙상블 및 보정 (Hybrid Ensembles & Calibration)
- 앙상블: 서로 다른 오류 패턴을 보이는 모델들을 결합하여 강점을 극대화 (예: 영어의 경우 도메인 특화 모델 BERTweet 과 일반 인코더 DeBERTa-v3 결합).
- 가중치 및 임계값: 소프트 보팅 (Soft-voting) 방식을 사용하여 모델별 가중치 ( $\alpha$ ) 를 조정하고, 클래스 편향을 보정하기 위해 임계값 ( $\tau$ ) 을 미세 조정 (예: 힌디어 0.60, 영어 0.45 등).
Phase 3: 교차 언어 증강 (Cross-Lingual Augmentation)
- 시도: NLLB-200 을 사용하여 영어 훈련 데이터를 11 개 언어로 번역하여 데이터 증강을 시도.
- 결과: 예상과 달리 일관된 개선 효과를 보이지 못함. 오히려 형태론적으로 풍부한 언어 (러시아어, 폴란드어 등) 에서 성능이 저하됨.
- 결론: 번역 기반 증강보다는 원어 아키텍처 선택 (Native Architecture Tuning) 이 더 효과적이었으므로 최종 파이프라인에서 배제.

3. 주요 기여 및 결과 (Key Contributions & Results)

성능 지표:
- 전체 22 개 트랙에 대한 Macro-averaged F1 점수: 0.796
- 평균 정확도 (Accuracy): 0.826
- 공식 리더보드에서 버마어 (Burmese) 2 위, 페르시아어 (Persian) 공동 2 위 등 다수 언어에서 최상위권 성적을 거둠.
연구 질문 (RQ) 에 대한 답변:
- RQ1 (XLM-R 의 보편성): 부정. XLM-R 은 표준적인 시작점이나, 고유 문자나 저자원 언어에서는 단일 언어 전문가 모델이 압도적으로 우세함 (예: 오디아어 +10.6%, 크메르어 +8.1% 향상).
- RQ2 (우위 조건): 전문가 모델은 토크나이저 효율성 (서브워드 분할 문제 해결) 과 도메인 정렬 (소셜 미디어 텍스트 등) 이 맞을 때 우세함. 반면, 도메인 불일치가 심한 경우 (예: 공식 문헌으로 훈련된 버마어 모델 vs 트위터 데이터) 고용량 일반 모델이 더 나쁨.
- RQ3 (데이터 증강): 비효율적. 단순 번역 증강은 형태론적으로 복잡한 언어에서 성능을 저하시켰으며, 원어 모델 선택이 더 신뢰할 수 있는 전략임.
실패 사례 분석 (Failure Modes):
- 크메르어/우르두어: 중립 클래스를 거의 예측하지 못하고 양극화 클래스로만 치우치는 '재현율 함정 (Recall Trap)' 발생.
- 독일어: 개발 세트에서는 전문가 모델이 압도적이었으나, 테스트 세트에서 과적합 (Overfitting) 으로 인해 성능이 급감.
- 이탈리아어: 데이터 분포의 어려움으로 인해 아키텍처 선택과 무관하게 대부분의 시스템이 낮은 점수 (0.60~0.65) 에 머무름.

4. 의의 및 결론 (Significance & Conclusion)

다국어 NLP 의 패러다임 전환: 단일 거대 모델을 모든 언어에 적용하는 것보다, 언어별 특성에 맞춘 아키텍처 선택 (Language-specific Architecture Selection) 이 더 신뢰할 수 있는 전략임을 입증함.
문화적/언어적 기반의 중요성: 토크나이저 적합성, 도메인 정렬, 그리고 제한된 감독 하에서의 보정 (Calibration) 이 모델 크기만큼이나 중요함을 강조.
실용적 시사점: 저자원이나 고유 문자를 가진 언어의 경우, 무조건적인 다국어 모델 확장보다는 해당 언어에 특화된 전문가 모델이나 하이브리드 앙상블 전략이 필수적임.

이 연구는 SemEval-2026 Task 9 에서 다중 언어 양극화 감지 과제를 해결하기 위해 체계적인 비교 연구를 수행했으며, 문화적 맥락과 언어적 특성을 고려한 유연한 모델링 전략의 필요성을 강조했습니다.