💬 NLP

PSK at SemEval-2026 Task 9: Multilingual Polarization Detection Using Ensemble Gemma Models with Synthetic Data Augmentation

PSK 팀은 개발 세트에서는 잘 작동했으나 테스트 세트에서는 실패한 아키텍처보다 일반화의 중요성을 입증하면서, GPT-4o-mini 가 생성한 합성 데이터와 언어별 임계값 조정을 통해 증강된 LoRA 미세조정 Gemma 3 모델의 앙상블을 활용하여 SemEval-2026 태스크 9 에서 평균 매크로-F1 점수 0.811 로 전체 2 위를 달성했습니다.

원저자: Srikar Kashyap Pulipaka

게시일 2026-05-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Srikar Kashyap Pulipaka

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

22 명의 서로 다른 학생 (22 가지 서로 다른 언어를 대표함) 이 소셜 미디어 게시물에서 "열띤 논쟁"과 "차분한 대화"를 구별하는 법을 가르치려 한다고 상상해 보세요. 이것이 SemEval-2026 태스크 9의 도전 과제였으며, 독립 연구자 스리카르 카슈얍 풀리파카 (Srikar Kashyap Pulipaka) 가 이끄는 PSK팀이 이를 해결하기 위한 시스템을 구축했습니다.

그들이 어떻게 했는지 간단히 설명해 드리겠습니다:

1. 목표: "열기"를 포착하기

이 태스크는 영어에서 암하라어에 이르기까지 22 가지 언어로 된 소셜 미디어 게시물을 읽고, 이 게시물이 편향적 (고정관념, 혐오 또는 불관용이 가득한) 인지, 아니면 중립적인지 판단하는 것이었습니다.

도전 과제: 일부 언어는 배울 수 있는 예시가 매우 적었고, "편향성"은 문화마다 다르게 나타났습니다. 이는 한 나라에서만 비를 본 사람에게 "폭풍"을 인식하는 법을 가르치는 것과 같습니다.

2. 교사들: "Gemma" 모델들

모두를 위한 거대한 교사 한 명을 사용하는 대신, 팀은 각 언어마다 두 명의 특정 "튜터"를 고용했습니다:

12B 튜터: 효율적이고 똑똑한 모델 (120 억 개의 파라미터).
27B 튜터: 더 똑똑하고 강력한 모델 (270 억 개의 파라미터).
그들은 LoRA라는 기법을 사용했는데, 이는 튜터들이 전체 뇌를 다시 쓸 필요 없이 특정 언어를 배울 수 있도록 작은 전문적인 "요약 노트"를 제공하는 것과 같습니다.

3. 학습 파트너: 합성 데이터

팀원들은 일부 학생들에게 연습 문제가 부족하다는 것을 깨달았습니다. 그래서 그들은 AI(GPT-4o-mini) 를 이용해 가짜 연습 문제 (합성 데이터) 를 작성했습니다.

직접 생성: AI 가 처음부터 새로운 가짜 논쟁을 작성했습니다.
개조 (Paraphrasing): AI 는 실제 예시를 가져와 다른 단어로 다시 썼습니다 (학생이 숙제 문제를 다른 말로 표현하는 것처럼).
대조 쌍: AI 는 편향된 예시 하나와 차분한 예시 하나를 "쌍"으로 만들어 모델이 정확한 차이를 볼 수 있도록 했습니다.
필터: 그들은 이 가짜 데이터를 무작정 넣지 않았습니다. 중복과 무의미한 내용을 제거하여 학생들이 고품질 자료만 공부하도록 엄격한 "품질 관리" 필터를 통과시켰습니다.

4. 전략: "볼륨 조절기" 조정

학습 후, 모델들은 최종 결정을 내려야 했습니다. 보통 AI 는 50% 이상 확신할 때 "예"라고 말합니다. 하지만 팀은 일부 언어의 경우 50% 가 너무 높거나 너무 낮다는 것을 발견했습니다.

해결책: 그들은 결정 임계값을 볼륨 조절기처럼 취급했습니다. 일부 언어의 경우 논쟁을 더 많이 포착하기 위해 조절기를 30% 로 낮췄고, 다른 언어의 경우 오경보를 피하기 위해 70% 로 높였습니다. 이 간단한 조정으로 추가 학습 없이 점수가 2~4% 향상되었습니다.

5. "앙상블": 심사 위원회

최종 결정에 있어 그들은 한 명의 튜터만 듣지 않았습니다. 대신 앙상블을 사용했습니다:

그들은 12B 와 27B 튜터 모두에게 투표하게 했습니다.
때로는 투표 결과를 평균냈고, 다른 때는 더 똑똑한 튜터의 의견에 더 가중치를 두었습니다.
각 언어마다 연습 테스트에서 가장 잘 작동한 투표 전략을 선택했습니다.

6. 결과: 누가 이겼나?

승자: 팀은 60 개 팀 중 전체 2 위를 차지했습니다.
점수: 그들은 0.811의 점수 (정확도 측정치) 를 달성했습니다. 3 개 언어에서 1 위를 차지했고, 다른 8 개 언어에서는 상위 3 위에 들었습니다.
놀라운 사실: 그들은 다른 유명한 AI 모델 (XLM-RoBERTa 와 Qwen3) 을 사용해 보았습니다. 이 모델들은 연습 테스트에서는 훌륭했지만 실제 테스트에서는 망쳐 정밀도가 30~50% 떨어졌습니다.
- 교훈: 연습 답안을 단순히 암기하는 모델보다 편향성이라는 개념을 잘 학습하는 일반화 능력이 뛰어난 모델을 사용하는 것이 더 좋습니다. Gemma 모델들만이 시험이 시작되었을 때 "잊어버리지" 않은 유일한 모델들이었습니다.

7. 유일한 약점: 이탈리아어 "누락된 장"

이 시스템은 이탈리아어에서 가장 어려움을 겪었습니다. 왜일까요?

이탈리아어 학습 데이터에는 "정치"나 "기타" 문제와 같은 전체 주제 카테고리가 누락되어 있었습니다.
그러나 최종 테스트에는 이러한 누락된 주제에 대한 질문이 많이 포함되어 있었습니다.
이는 덧셈만 공부하여 수학 시험을 준비했는데, 최종 시험에 나눗셈에 대한 거대한 섹션이 포함된 것과 같습니다. 모델은 이러한 특정 유형의 논쟁을 본 적이 없기 때문에 올바르게 추측할 수 없었습니다.

요약

이 팀은 22 가지 언어로 온라인 논쟁을 포착하기 위해 전문 AI 튜터, AI 가 생성한 연습 문제, 그리고 맞춤형 조정된 결정 규칙을 사용하는 시스템을 구축했습니다. 그들의 비결은 단순히 가장 큰 AI 를 사용하는 것이 아니라, 답을 암기하는 것이 아니라 편향성이라는 개념을 실제로 학습할 수 있는 모델을 사용하고, 각 특정 언어에 맞게 규칙을 미세 조정하는 데 있었습니다.

기술 요약: SemEval-2026 태스크 9 에서의 PSK

문제 정의
본 논문은 22 개의 유형학적으로 다양한 언어에 걸친 소셜 미디어 텍스트 내 태도 양극화 감지에 초점을 맞춘 이진 분류 과제인 SemEval-2026 태스크 9 를 다룹니다. 이 과제는 텍스트를 편견, 악의적 비방, 비인간화, 또는 불관용을 수반하는 "양극화" 또는 "비양극화"로 분류하는 것을 포함합니다. 데이터셋은 언어별 샘플 수의 차이 (~1,700 개에서 ~7,000 개), 양극화 발현 방식의 문화적 차이, 그리고 특정 언어에서의 심각한 클래스 불균형 (예: 크메르어의 양극화 대 비양극화 샘플 비율 10:1) 을 포함한 상당한 도전을 제시합니다. 주요 평가 지표는 매크로 평균 F1 점수입니다.

방법론
팀의 접근 방식은 합성 데이터와 앙상블 전략을 보강하여 Google 의 Gemma 3 계열 모델을 사용하여 언어별로 별도의 모델을 미세 조정 (fine-tuning) 하는 데 중점을 둡니다.

모델 아키텍처: 시스템은 Gemma 3 12B(주요 모델) 와 Gemma 3 27B(앙상블 모델) 의 두 가지 모델 크기를 활용합니다. 두 모델 모두 시퀀스 분류 헤드를 사용하여 저랭크 적응 (LoRA) 으로 미세 조정됩니다. 12B 모델은 단일 A100 GPU 에서 8 비트 양자화를 사용하며, 27B 모델은 두 개의 A100 GPU 에 걸쳐 4 비트 NF4 양자화를 사용합니다. 학습 매개변수에는 학습률 $5 \times 10^{-5}$ , 3 에포크, 그리고 그라디언트 누적과 함께 1~2 의 배치 크기가 포함됩니다.
합성 데이터 증강: 데이터 부족 문제를 해결하기 위해 팀은 GPT-4o-mini 를 사용하여 언어당 약 1,000 개의 합성 샘플을 세 가지 전략으로 생성했습니다:
1. 직접 생성 (50%): 정치, 민족/인종, 종교, 사회 계층, 국제 관계 등 다섯 가지 문화적으로 관련성 높은 주제를跨跨하여 샘플을 직접 생성합니다.
2. 레이블 보존 재표현 (30%): 실제 학습 샘플을 온도 0.7 로 재표현하여 원본과의 코사인 유사도가 0.90 미만이 되도록 필터링합니다.
3. 대조 쌍 (20%): 동일한 주제에 대한 최소 편집 쌍으로, 하나의 양극화 인스턴스와 하나의 비양극화 인스턴스를 포함하여 클래스 경계를 명확히 합니다.
- 품질 관리: 기본 정제, 정규식 기반 레이블 누출 감지, 임베딩 기반 중복 제거 (paraphrase-multilingual-MiniLM-L12-v2 사용, 0.90 임계값), 그리고 왕복 번역 일관성 검사를 포함한 다단계 필터링 파이프라인이 적용되었습니다.
앙상블 및 임계값 조정:
- 임계값 최적화: 기본 임계값 0.5 를 사용하는 대신, 팀은 개발 세트에서 각 언어별 매크로-F1 을 최대화하기 위해 최적의 임계값 ( $t \in \{0.3, \dots, 0.7\}$ ) 을 탐색했습니다.
- 앙상블 전략: 언어별로 네 가지 전략이 평가되었습니다: 12B 만 사용, 27B 만 사용, 단순 평균, 그리고 가중 평균 ( $p = w \cdot p_{12B} + (1-w) \cdot p_{27B}$ ). 개발 F1 이 가장 높은 전략이 최종 제출을 위해 선택되었습니다.

주요 결과

성능: 최종 시스템은 모든 22 개 언어에 걸쳐 평균 매크로-F1 0.811을 달성하여 60 개 참여 팀 중 전체 2 위를 기록했습니다. 시스템은 암하라어, 힌디어, 스와힐리어 3 개 언어에서 1 위를 차지했으며, 8 개 언어에서 상위 3 위 안에 들었습니다.
구성 요소의 영향:
- 임계값 조정: 학습 재수행 없이 개발 세트에서 언어별 임계값 조정을 통해 F1 이 2% 에서 4% 개선되었습니다.
- 합성 데이터: 최적의 합성 데이터 비율인 30% 는 modest 한 향상 (2~3%) 을 제공했으며, 가장 큰 이점은 저자원 언어에서 관찰되었습니다.
- 앙상블: 12B 와 27B 모델의 가중 앙상블은 22 개 언어 중 14 개 언어에서 승리 전략이었습니다.
일반화 대 개발 성능: 아키텍처 간 개발 및 테스트 성능의 불일치가 중요한 발견이었습니다. XLM-RoBERTa 와 Qwen3 는 개발 세트에서 강력한 성능을 보였으나, 테스트 세트에서는 막대한 F1 하락 (30~50%) 을 겪었습니다. 예를 들어, XLM-RoBERTa 는 벵골어에서 0.856 에서 0.297 로 하락했습니다. Gemma 모델만이 개발에서 테스트로의 신뢰할 수 있는 일반화를 입증했습니다.
사례 연구 (이탈리아어): 시스템의 가장 약한 성능은 이탈리아어 (F1 0.563) 에서 나타났습니다. 분석 결과 "주제 커버리지 격차"가 드러났습니다. 학습 및 개발 세트에는 "정치" 또는 "기타" 주제의 예시가 전혀 없었음에도 불구하고, 이러한 범주는 테스트 세트의 41% 를 차지했으며 긍정 클래스의 87% 를 구성했습니다. 이는 모델이 학습 중 관찰한 적 없는 긍정 하위 집단으로 평가받는 분포 변화를 강조했습니다.

의의 및 주장
본 논문은 강력한 일반화가 개발 세트 성능을 극대화하는 것보다 성공에 더 중요한 요소라고 주장합니다. 저자들은 대안 아키텍처 (XLM-RoBERTa, Qwen3) 가 개발 중에는 우월해 보일 수 있으나, 보이지 않는 테스트 분포로 효과적으로 전이되지 못하는 반면, Gemma 계열은 일관된 성능을 유지했다고 논합니다.

이 연구는 확률 보정 오류를 수정함으로써 성능을 크게 향상시키는 저비용 방법인 언어별 임계값 조정의 유효성을 강조합니다 (예: 러시아어 모델은 자신감이 부족하고 크메르어 모델은 자신감이 과함). 또한, 합성 데이터 증강이 저자원 언어에 가장 유익하지만, 고자원 또는 민감한 언어에서의 성능 저하를 피하기 위해 신중한 비율 관리가 필요함을 보여줍니다.

한계점
저자들은 다음과 같은 몇 가지 한계를 인정합니다:

연산 집약성: 22 개 언어에 대해 별도의 모델을 학습시키는 것은 상당한 GPU 자원을 필요로 합니다.
합성 데이터의 진정성: LLM 이 해당 특정 언어적 맥락에서 진정성 있는 텍스트를 생성하지 못할 경우, 크메르어나 스와힐리어와 같은 저자원 언어의 합성 데이터 품질은 제한될 수 있습니다.
임계값 전이성: 소규모 개발 세트에서 최적화된 임계값은 테스트 분포로 완전히 전이되지 않을 수 있습니다.
휴리스틱 전략 비율: 합성 데이터 전략의 50/30/20 분할은 체계적인 제거 실험을 통한 것이 아니라 휴리스틱하게 선택되었습니다.

결론
PSK 시스템은 Gemma 모델, 합성 데이터 증강, 그리고 앙상블 방법을 성공적으로 활용하여 까다로운 다국어 과제에서 상위 2 위를 달성했습니다. 주요 교훈은 단순히 개발 지표를 과적합하는 모델보다 일반화가 잘 되는 모델을 우선시할 필요성과, 임계값 조정과 같은 간단한 사후 보정 기법의 유용성입니다.