SemEval-2026 Task 3: 차원 기반 속성 감정 분석 (DimABSA) 기술 요약

1. 문제 정의 (Problem)

기존의 속성 기반 감정 분석 (ABSA) 과 태도 탐지 (Stance Detection) 는 주로 '긍정', '부정', '중립'과 같은 이산적 (categorical) 범주형 레이블을 사용하여 감정을 표현합니다. 그러나 심리학과 affective science 이론 (Russell, 1980) 에 따르면, 인간의 감정은 **가치 (Valence: 부정↔긍정)**와 **각성 (Arousal: 무기력↔흥분)**이라는 연속적인 실수 (real-valued) 차원으로 더 정교하게 표현될 수 있습니다.

본 과제는 다음과 같은 한계를 극복하기 위해 설계되었습니다:

• 감정의 정밀도 부족: 이산적 레이블은 감정의 강도와 미묘한 뉘앙스를 포착하지 못함.
• 범위의 제한: 기존 ABSA 는 주로 제품 리뷰 (소비자 중심) 에 국한되어 있으며, 정치, 에너지, 기후 변화 등 공적 이슈 (public-issue discourse) 에 대한 태도 분석을 포함하지 않음.

2. 방법론 및 과제 구성 (Methodology & Task Setup)

본 연구는 두 개의 트랙 (Track) 과 세 개의 하위 과제 (Subtask) 로 구성되며, 전통적인 ABSA 요소에 VA(Valence-Arousal) 점수를 통합합니다.

A. 데이터셋 구성

• 다국어 및 다도메인: 영어, 일본어, 러시아어, 타타르어, 우크라이나어, 중국어 (Track A) 및 영어, 독일어, 중국어, 나이지리아 피진, 스와힐리어 (Track B) 등 총 11 개 언어를 포함.
• 도메인: 레스토랑, 노트북, 호텔, 금융 (Track A), 환경 보호, 정치 (Track B).
• 주석 (Annotation): 1~9 점의 연속적인 VA 점수를 부여하며, 각 데이터셋마다 5 명의 원어민 어노테이터를 통해 신뢰도를 확보 (평균 RMSE 기반).

B. 트랙 및 하위 과제

1. Track A: DimABSA (차원 기반 속성 감정 분석)
   • Subtask 1 (DimASR): 문장과 속성 (Aspect) 이 주어지면 해당 속성의 VA 점수를 회귀 (Regression) 로 예측.
   • Subtask 2 (DimASTE): 문장에서 (속성, 의견, VA) 의 3 중항 (Triplet) 을 추출하고 VA 점수를 예측.
   • Subtask 3 (DimASQP): (속성, 속성 카테고리, 의견, VA) 의 4 중항 (Quadruplet) 을 추출하고 VA 점수를 예측.
2. Track B: DimStance (차원 기반 태도 분석)
   • Subtask 1: 문장과 태도 대상 (Target) 이 주어지면 해당 대상에 대한 VA 점수를 회귀로 예측. (태도 탐지를 범주형 분류가 아닌 VA 공간의 회귀 문제로 재정의).

C. 평가 지표 (Metrics)

• Subtask 1: VA 공간의 예측 오차를 측정하기 위해 RMSE (Root Mean Square Error) 사용.
• Subtask 2 & 3: 범주형 추출 (정확도) 과 연속형 회귀 (오차) 를 동시에 평가하기 위해 새로 제안된 cF1 (Continuous F1) 지표를 사용.
  • 범주형 요소 (속성, 의견, 카테고리) 가 정확히 일치할 때만 True Positive 로 간주하되, VA 점수의 거리 (Euclidean distance) 를 가중치로 반영하여 연속적인 점수를 부여함.

3. 주요 기여 (Key Contributions)

1. 새로운 패러다임 제시: ABSA 와 태도 탐지를 범주형 분류에서 차원적 (Dimensional) 회귀 문제로 확장하여 감정의 미묘한 뉘앙스를 포착할 수 있는 프레임워크를 정립.
2. 대규모 다국어/다도메인 데이터셋 구축: 소비자 리뷰뿐만 아니라 정치 및 사회적 이슈를 포함한 11 개 언어의 대규모 데이터셋을 공개.
3. 새로운 평가 지표 (cF1) 개발: 구조화된 추출 (Extraction) 과 연속적 회귀 (Regression) 를 통합하여 평가할 수 있는 cF1 메트릭을 제안.
4. 방대한 참여 및 분석: 400 명 이상의 참가자, 44 개 팀, 112 개의 최종 제출물을 기록하며, 다양한 모델 아키텍처 (Transformer, LLM) 와 학습 전략에 대한 심층 분석을 제공.

4. 실험 결과 (Results)

• 참가 현황: Track A (DimABSA) 가 300 명 이상, Track B (DimStance) 가 100 명 이상 참여하여 가장 인기 있는 세미발 (SemEval) 과제 중 하나가 됨.
• 성능:
  • Subtask 1 (회귀): 중국어와 일본어 데이터셋에서 상대적으로 낮은 RMSE (높은 성능) 를 보인 반면, 저자원 언어인 타타르어와 스와힐리어에서는 성능이 낮음.
  • Subtask 2 & 3 (추출): 영어 데이터셋에서 가장 높은 cF1 점수를 기록.
  • Baseline: Kimi K2 Thinking, Qwen3-14B, mBERT, Mistral-3-14B 등 최신 LLM 과 Transformer 기반 모델이 베이스라인으로 사용되었으며, 대부분의 상위 팀은 이를 파인튜닝하거나 프롬프트 엔지니어링을 적용함.
• 상위 시스템 특징:
  • LLM 활용: Qwen, Qwen2.5, Gemini 등 다양한 LLM 을 LoRA 등으로 파인튜닝하거나 In-context Learning 을 활용.
  • 학습 기법: Smooth L1 Loss, 로그 분산 가중치 (Log-variance weighting), 어드버서리 학습, 데이터 분포 정렬 (Distributional Alignment) 등 다양한 기법을 통해 VA 점수의 예측 안정성을 높임.
  • 앙상블: 다양한 모델, 시드, 하이퍼파라미터를 결합한 앙상블 전략이 성능 향상에 크게 기여.

5. 의의 및 시사점 (Significance)

• 감정 분석의 정밀화: 단순한 긍정/부정 판단을 넘어, 감정의 강도와 각성 수준을 정량화함으로써 더 정교한 의사결정 지원이 가능해짐.
• 공적 이슈 분석 확장: 태도 탐지를 공적 이슈 (정치, 환경 등) 로 확장하여, 사회적 논쟁에 대한 정서적 반응을 다차원적으로 분석할 수 있는 기반을 마련.
• 저자원 언어 과제: 다국어 데이터셋을 통해 저자원 언어에서의 차원적 감정 분석의 어려움과 필요성을 부각시켰으며, 향후 연구 방향을 제시.
• 윤리적 고려: 개인별 감정을 추론하여 고위험 의사결정에 사용하는 것의 위험성을 경고하고, 데이터의 상업적 사용을 금지하는 등 윤리적 가이드라인을 제시.

이 과제는 감정 분석 분야에서 범주형에서 차원적 (Continuous) 접근으로의 전환을 주도하며, 다국어 및 다양한 도메인에서의 정교한 감정 이해를 위한 새로운 기준을 제시했다는 점에서 의의가 큽니다.