Lingo_Research_Group at SemEval-2026 Task 9: Evaluating Prompt Variants for Polarization Detection

기술 요약: SemEval-2026 Task 9의 Lingo_Research_Group 연구

문제 정의
본 논문은 양극화 탐지에 초점을 맞춘 다국어 텍스트 분류 챌린지인 SemEval-2026 Task 9를 다룹니다. 이 과제는 복잡성이 증가하는 세 가지 서브태스크로 나뉩니다:

1. 서브태스크 1 (이진 탐지): 소셜 미디어 게시물이 태도 양극화(분열적인 내집단/외집단 프레이밍, 적대감 또는 배제)를 보이는지 여부를 결정합니다.
2. 서브태스크 2 (대상 분류): 다중 레이블 설정에서 양극화의 구체적인 대상(정치적, 인종/민족, 종교, 성별/성적, 또는 기타)을 식별합니다.
3. 서브태스크 3 (발현 형태 식별): 고정관념, 비방, 비인간화, 극단적 언어, 공감 결여, 또는 무효화와 같은 수사적 형태의 양극화를 탐지합니다.

이 과제의 난점은 양극화가 명시적인 혐오 표현보다는 프레이밍, 수사, 그리고 문화적 맥락을 통해 실현되는 경우가 많아, 다양한 담론 패턴을 가진 22개의 다양한 언어 전반에서 탐지하기 어렵다는 점에 있습니다.

방법론
저자들은 파라미터 미세 조정(fine-tuning) 없이 대규모 언어 모델(LLM)을 사용하는 프롬프트 기반 추론 방방식을 제안합니다. 핵심 방법론은 다음과 같습니다:

• 프롬프트 엔지니어링: 단일 프롬프트 대신, 팀은 12가지의 서로 다른 프롬프트 변형을 설계하고 평가했습니다. 이 변형들은 용어의 명확성, 정의의 상세도, 추론 가이드, 그리고 인컨텍스트 예시(in-context examples)의 포함 여부에 따라 체계적으로 변화를 주었습니다. 프롬프트는 최소한의 맥락에서부터 상세한 정의와 단계별 추론 지침으로 이동하는 개념적 경사도를 갖도록 구조화되었습니다.
• 모델 선택: 실험은 두 가지 다국어 LLM인 aya-101과 Gemma3-27B를 사용하여 수행되었습니다. 서브태스크 및 프롬프트 구성 전반에 걸친 성능 비교를 바탕으로, 더 우수한 macro F1-score를 보인 Gemma3-27B가 최종 제출 모델로 선정되었습니다.
• 추론 전략: 시스템은 양극화 분석을 지시 이행(instruction-following) 문제로 취급합니다. 서브태스크 1의 경우, 모델은 이진 레이블을 예측합니다. 서브태스크 2와 3의 경우, 각 대상 또는 발현 레이블에 대해 이진 예측 목록을 생성합니다. 팀은 명시적이고 모호하지 않은 증거가 존재할 때만 양극화를 예측하는 "보수적(conservative)" 프롬프트 전략을 활용했습니다.
• 평가: 시스템은 클래스 불균형을 고려하기 위해 macro-averaged F1-score를 사용하여 22개 언어에 대한 홀드아웃 테스트 세트에서 평가되었습니다. 외부 데이터나 데이터 증강은 사용되지 않았습니다.

주요 결과
시스템은 공식 테스트 세트에서 다음과 같은 평균 macro F1-score를 달랐습니다:

• 서브태스크 1: 0.762 (평균 정확도: 0.819)
• 서브태스크 2: 0.587 (평균 정확도: 0.678)
• 서브태스크 3: 0.444 (평균 정확도: 0.498)

성능은 언어와 서브태스크에 따라 크게 달랐습니다. 예를 들어, 중국어와 네팔어는 서브태스크 1에서 높은 F1-score(최대 0.92)를 기록한 반면, 이탈리아어는 0.35까지 낮게 나타났습니다. 저자들은 이진 탐지에서 정교한 다중 레이벨 사회언어학적 분류로 과제의 복잡성이 높아짐에 따라 성능이 체계적으로 저하되는 것을 관찰했습니다.

분석 및 결과
논문은 결과에 대한 상세한 분석을 제공하며 몇 가지 주요 경향을 강조합니다:

• 과제 복잡도: 과제의 추상도와 성능 사이에는 명확한 역관계가 존재합니다. 프롬프트 기반 접근 방식은 거친 입도의 탐지(서브태스크 1)에는 효과적이지만, 레이블이 추상적(예: "공감 결여")이고 명확한 어휘적 지표가 부족한 정교한 다중 레이블 작업(서브태스크 2 및 3)에서는 어려움을 겪습니다.
• 재현율 억제(Recall Suppression): 보수적인 프롬프트 전략은 높은 정확도를 가져왔으나 서브태스크 2와 3에서 낮은 macro F1-score를 초래했습니다. 모델은 특히 사르카즘(sarcasm), 수사적 질문, 또는 문화적 참조(예: 하우사어, 이탈리아어, 크메르어)를 통해 간접적으로 양극화가 전달되는 언어에서 양성 레이블을 과소 예측하는 경향을 보였습니다.
• 언어별 뉘앙스: 성능은 언어별로 균일하지 않았습니다. 네팔어와 중국어는 명시적인 집단 참조 덕분에 서브태스크 1과 2에서 좋은 성능을 보였으며, 힌디어는 모델의 사전 학습된 우선순위(pretraining priors)와 잘 부합하는 명시적인 수사적 기법(비방, 극단적 언어)의 빈도가 높아 서브태스크 3에서 가장 좋은 성능을 보였습니다.
• 영어의 역설: 영어 데이터에 대한 광범위한 사전 학습에도 불구하고, 영어는 중앙값보다 낮은 성능을 보였습니다. 저자들은 이를 영어 양극화에 나타나는 아이러니, 사르카즘, 그리고 이데올로기적 약어(ideological shorthand)의 유행 때문이라고 설명하며, 보수적인 프롬프트가 표면적인 적대감이 부족하다는 이유로 이를 비양극화로 오분류하는 경우가 많다고 봅니다.
• 번역의 한계: 논문은 번역 기반 추론(분류 전 입력을 영어로 인코딩하는 것)이 감정이 실린 표현을 완화시켜, 발현 형태 식별에 필요한 수사적 의도를 보존하지 못할 수 있다고 언급합니다.

의의 및 주장
본 논문은 다국어 LLM을 사용하는 프롬프트 기반 접근 방식이 과제 특화된 미세 조정이나 대규모 주석 데이터 없이도 거친 입도의 양극화를 탐지하는 데 실행 가능한 방법임을 주장합니다. 그러나 저자들은 이러한 방법들이 과제가 정교한 다중 레이블 사회언어학적 분류로 넘어갈수록 어려움에 직면한다는 점을 겸허히 결론짓습니다.

이 연구는 프롬프트 설계가 매우 중요하다는 것을 보여줍니다. 과제 정의, 결정 한계, 그리고 추론에 대한 기대치를 명확히 하는 것이 모델 성능에 큰 영향을 미칩니다. 본 연구는 LLM이 이진 탐지는 효과적으로 처리할 수 있지만, "의미적 등가성(semantic equivalence)"인 번역이 수사적 의도의 보존을 보장하지는 않는다는 점을 강조하며, 향-언어적 담론의 뉘앙스와 암묵적 양극화를 포착하는 데 있어 보수적 프롬프트의 한계를 시사합니다.

윤리적 고려 사항
저자들은 본 시스템이 오탐(불법적 발언에 대한 부당한 차단) 및 미탐(위험한 수사 허용)의 위험이 있으므로 독립적인 중재 도구로 사용되어서는 안 된다고 강조합니다. 또한, 성능의 현저한 격차를 인정하며, 이는 사전 학습 데이터의 표현, 문화적 차이, 그리고 주석 밀도에서 기인할 수 있다고 밝혔습니다.