기술 요약: DimStance: 차원적 태도 분석을 위한 다국어 데이터셋

문제 정의

전통적인 태도 탐지(Stance Detection)는 저자의 특정 대상에 대한 태도를 이산적인 범주형 라벨(예: 찬성, 반대, 중립)로 분류하는 잘 확립된 과업이다. 그러나 이러한 범주형 접근 방식은 태도 표현의 기저에 깔린 미묘한 정동적 상태(affective states)를 포착하지 못한다. 태도는 단순히 "찬성" 또는 "반대"인 경우가 드물며, 동일한 범주형 라벨을 공유하는 표현이라 하더라도 감정적 톤과 강도는 크게 다를 수 있다. 기존 자원들은 인간이 주석을 달은 차원적 표현(dimensional representations)이 부족하여, 왜 의견이 경직되는지 분석하거나 기후 변화 및 정치와 같은 복잡한 이슈에 관한 논쟁의 양극화를 완화하는 데 한계가 있다. 또한, 저자원 언어(low-resource languages)를 위한 태도 관련 자원도 부족한 실정이다.

방법론

저자들은 연속적인 밸런스-각성(Valence-Arousal, VA) 점수로 주석이 달린 최초의 차원적 태도 자원인 DIMSTANCE를 소개한다. 방법론은 데이터셋 구축, 과업 정식화, 모델 평가를 포함한다.

데이터셋 구축

• 범위: 이 데이터셋은 영어, 독일어, 중국어, 나이지리아 피진(Nigerian Pidgin), 스와힐리어 등 5개 언어에 걸쳐 7,365개의 텍스트와 11,746개의 대상 속성(target aspects)으로 구성된다.
• 도메인: 데이터는 정치 및 환경 보호를 다룬다.
• 출처:
  • 영어: EZ-STANCE 및 Reddit (환경 보호).
  • 독일어: Wahl-O-Mat 아카이브 (정치).
  • 중국어: Threads 플랫폼 (환경 보호).
  • 나이지리아 피진 및 스와힐리어: X 플랫폼 (정치).
• 주석 과정:
  • 대상 속성은 LLM을 사용하여 추출되었으며, 각 언어별로 5명의 원어민이 실시한 다수결 투표를 통해 검증되었다.
  • 주석가들은 각 대상-텍스트 쌍에 대해 두 가지 척도로 점수를 매겼다: 밸런스(Valence, 1 = 매우 부정적 ~ 9 = 매우 긍정적) 및 각성(Arousal, 1 = 매우 낮은 각성 ~ 9 = 매우 높은 각성).
  • 최종 골드 라벨(gold labels)은 5명 주석가의 평균 점수이다.
• 품질 관리: 신뢰도는 평균 제곱근 오차(RMSE)를 사용하여 측정되었다. 결과에 따르면, 이전 연구들과 일치하게 각성 주석이 밸런스 주석보다 일반적으로 덜 신계적(less reliable)인 것으로 나타났다.

과업 정식화

본 논문은 시스템이 이산적인 클래스를 선택하는 대신, 텍스트 내 특정 대상 속성에 대한 연속적인 VA 점수를 예측하도록 요구하는 차원적 태도 회귀(Dimensional Stance Regression) 과업을 도입한다.

실험 설정

저자들은 세 그룹의 모델을 평가하였다:

1. PLM 회귀 모델 (PLM Regressors): 평균 제곱 오차(MSE)를 통해 최적화된 회귀 헤드를 가진 다국어 사전 학습 모델(RemBERT, LaBSE, XLM-R).
2. 폐쇄형 LLM (Prompting): 수치 점수를 생성하기 위해 폐쇄형 소스 모델(GPT-5 mini, Gemini 2.5 Flash, Kimi K2)에 제로샷(zero-shot) 및 퓨샷(few-shot) 프롬프팅을 적용함.
3. LLM 회귀 모델 (Fine-tuning): 회귀 헤드를 가진 4비트 QLoRA를 통해 적응된 오픈 소스 LLM(Mistral-3, Phi-4, Llama-3.3, Qwen-2.5).

성능은 VA 공간에서의 RMSE를 사용하여 측정되었으며, 이는 예측된 값과 골드(V, A) 쌍 사이의 유클리드 거리로 계산되었다.

주요 결과

데이터셋 분석

• VA 분포: 모든 언어에서 데이터는 밸런스와 각성 사이에 U자형 관계를 보인다. 즉, 각성은 중립적인 밸런스 근처에서 가장 낮고, 긍정적 또는 부정적 극단으로 갈수록 높아지는 경의를 보인다.
• 교차 언어적 변이:
  • 영어 (환경 보호): 균형 잡힌 밸런스 분포; 높은 각성은 긍정적 및 부정적 태도 모두와 연관됨.
  • 독일어 (정치): 긍정적 밸런스(69%)로 치우쳐 있으며, 이는 정당 생성 콘텐츠를 반영하는 것으로 보임.
  • 중국어 (환경 보호): 완만한 표현을 가진 조밀한 분포; 대상들이 주로 중간 범위의 밸런스 주변에 군집함.
  • 나이지리아 피진 및 스와힐리어 (정치): 부정적 밸런스(약 63-64%)와 높은 각성이 지배적이며, 이는 선거 담론의 논쟁적인 성격을 반영함. 스와힐리어 데이터는 주목할 만한 수의 독성(toxic) 사례를 포함하며 가장 높은 평균 각성을 보임.

모델 성능

• 미세 조정된 LLM (Fine-tuned LLMs): 특히 규모가 큰 70B급 모델들에서 프롬프트 기반 LLM 및 PLM 회귀 모델보다 일반적으로 우수한 성능을 보였다.
• 프롬프트 기반 LLM (Prompted LLMs): 경쟁력 있는 결과를 얻었으며, 데이터 효율적인 대안 역할을 했다. 그러나 토큰 기반 생성으로 인해 "격자 형태(grid-like)"(이산적)의 VA 분포를 생성하였으며, 이는 조밀한 분포(예: 중국어)를 처리하는 데 어려움을 겪었다.
• 언어별 성능:
  • 중국어: 모델 전반에 걸쳐 일관되게 가장 좋은 성능을 보였는데, 이는 중립 영역 주변에 집중된 VA 분포 덕분인 것으로 분석된다.
  • 스와힐리어: 가장 낮은 성능을 보였으며, 이는 저자원 언어의 어려움을 강조한다.
  • 나이지리아 피진: 스와힐리어보다 성능이 좋았는데, 이는 영어와 유사한 특성 때문일 수 있다.
• 프롬프트 민감도: 폐쇄형 LLM의 성능은 프롬프트 문구에 매우 민데했다. 퓨샷 예시의 수를 늘릴수록(최대 16개) 성능이 일반적으로 향상되었으며, Kimi K2가 프롬프트 기반 모델 중 전반적으로 가장 강력한 결과를 보였다.

의의 및 기여

본 논문의 기여는 다음과 같다:

1. 최초의 차원적 자원: 고자원 및 저자원 언어를 모두 아우르며 인간이 주석을 단 연속적 VA 점수를 포함하는 최초의 다국어 태도 분석 데이터셋인 DIMSTANCE를 소개한다.
2. 새로운 과업 프레임워크: 정교한 분석을 가능하게 하기 위해 정동 과학(affective science) 프레임워크를 태도 탐지에 통합하는 차원적 태도 회귀를 정식화한다.
3. 벤치마킹: PLM 회귀, 프롬프트 기반 LLM, 미세 조정된 LLM 회귀 모델에 대한 베이스라인 결과를 제공하여 향후 연구를 위한 토대를 마련한다.

저자들은 이 자원이 다국어, 감정 인지적 태도 분석을 위한 핵심적인 토대를 제공한다고 강조한다. 범주형 라벨을 넘어섬으로써, 본 연구는 여론을 주도하는 정동적 상태에 대한 더 깊은 이해를 용이하게 한다. 다만, 저자들은 각성의 주석 작업이 본질적으로 어렵다는 점, VA 해석의 문화적 차이, 그리고 편향된 밸런스 분포를 가진 데이터셋(예: 나이지리아 피진)의 편향 위험 등을 포함한 한계점을 겸허히 언급하였다. 또한, 추론된 태도를 바탕으로 개인을 박해하는 등의 오용을 방지하기 위해 데이터의 상업적 또는 정부 사용을 엄격히 금지한다.