Multiclass Sentiment Analysis for Identifying Political Viewpoints

기술 요약: 타밀어 정치적 관점 식별을 위한 다중 클래스 감성 분석

문제 정의
X(구 트위터)와 같은 소셜 미디어의 급격한 확장은 방대한 양의 실시간 정치적 담론을 생성했습니다. 감성 분석(SA)은 공공 의견을 추출하기 위한 자연어 처리(NLP) 분야의 잘 확립된 과제이지만, 언어의 복잡성과 문맥 의존성 때문에 정치적 관점에 적용하는 것은 여전히 도전적인 과제로 남아 있습니다. 본 논문은 드라비다어 중에서도 언어적 자원이 제한적인 타밀어의 정치적 담론에 대한 다중 클래스 감성 분석 문제를 다룹니다. 목표는 정치적 이슈 및 인물에 관한 7가지 뚜렷한 감성 클래스(실체적(Substantiated), 풍자적(Sarcastic), 의견 제시형(Opinionated), 긍정적(Positive), 부정적(Negative), 중립적(Neutral), 해당 없음(None of the above))를 자동으로 구별하는 것입니다.

방법론
본 연구는 DravidianLangTech@NAACL 2025 공유 태스크를 위해 제공된 데이터셋을 활용하며, 여기에는 4,352개의 훈련 샘플, 544개의 개발 샘플, 544개의 레이블이 없는 테스트 샘플이 포함됩니다. 저자들은 데이터 일관성을 보장하기 위해 구두점, 이모지, 사용자 언급을 제거하여 노이즈와 저자 특이적 편향을 최소화하는 표준화된 전처리 파이프라인을 채택했습니다.

두 가지 별도의 머신러닝 접근 방식이 설계 및 평가되었습니다:

1. XGBoost 접근 방식:

   • 특징 추출: 텍스트 데이터를 TF-IDF(단어 빈도-역 문서 빈도)를 사용하여 수치적 표현으로 변환했습니다.
   • 모델: TF-IDF 특징을 바탕으로 XGBClassifier를 학습시켰습니다.
   • 근거: XGBoost는 분류 작업에서 강력한 성능으로 알려진 견고한 전통적 머신러닝 알고리즘으로서 선택되었습니다.

2. BERT 접근 방식:

   • 특징 추출: 토큰화와 수치 변환을 처리하기 위해 네이티브 BertTokenizer와 함께 bert-base-uncased 트랜스포머 모델을 활용했습니다.
   • 모델 구성: 모델은 학습률 1e-5, 배치 크기 32로 미세 조정되었으며, 출력 단계에서 소프트맥스(softmax) 활성화 함수를 사용하여 5 에포크(epoch) 동안 학습되었습니다.

주요 기여
본 논문은 저자원 NLP 및 정치적 담론 분석 분야에 세 가지 주요 기여를 합니다:

• 문헌 검토: 정치 영역에서의 기존 감성 분석 문헌을 종합적으로 검토하여, 담론 모니터링 및 편향 식별에 대한 적용 사례를 강조했습니다.
• 특징 공학: 타밀어 정치 데이터셋의 특정 제약 조건에 맞춘 적절한 특징 추출 방법(TF-IDF 및 BERT 토큰화)을 조사하고 선택했습니다.
• 경험적 평가: 표준 분류 지표를 사용하여 홀드아웃(held-out) 테스트 세트에서 최첨단 모델(XGBoost 및 BERT)을 선정, 미세 조정 및 엄격하게 평가함으로써 드라비다어의 다중 클래스 정치 감성 분석을 위한 향후 연구의 베이스라인을 제공했습니다.

실험 결과
모델들은 정밀도(Precision), 재현율(Recall), F1-스코어(F1-score), 정확도(Accuracy)를 사용하여 테스트 세트에서 평가되었습니다. 결과는 타밀어의 복잡한 정치적 담론을 분류하는 것이 매우 어려운 작업임을 나타내며, 두 방식 모두 상대적으로 낮은 매크로 F1-스코어를 기록했습니다:

• XGBoost 모델: 매크로 F1-스코어 0.2835 및 정확도 0.3309를 달성했습니다.
• BERT 모델: 매크로 F1-스코어 0.2806 및 정확도 0.3327를 달성했습니다.

성능 분석:

• 클래스별 성능: 두 모델 모두 "중립적(Neutral)" 및 "긍정적(Positive)" 클래스에서 가장 좋은 성능을 보였습니다. 예를 들어, XGBoost 모델은 "중립적" 클래스에서 0.7347, "긍정적" 클래스에서 0.4622의 F1-스코어를 달현했습니다.
• 과제: 두 모델 모두 "풍자적(Sarcastic)," "의견 제시형(Opinionated)," "해당 없음(None of the above)" 클래스에서 크게 어려움을 겪었으며, 이들은 매우 낮은 F1-스코어를 기록했습니다 (예: XGBoost의 "해당 없음" F1은 0.0606).
• 오분류 패턴: 혼동 행렬(Confusion matrix) 분석 결과, "부정적," "실체적," "풍자적" 감성이 "긍정적"으로 자주 오분류되었습니다. 반대로, "의견 제시형" 클래스는 XGBoost 모델에 의해 과잉 예측되었는데(실제 46개 사례 대비 305개 예측), 이는 학습 데이터의 클래스 분포 편향 때문인 것으로 보입니다.
• 비교: 놀랍게도, 이 특정 사용 사례에서는 전통적인 XGBoost 모델이 BERT 기반 트랜스포머를 약간 상회하는 성능을 보였으며, 이는 이 특정 데이터셋 규모와 언어의 경우 트랜스포머의 복잡성이 그래디언트 부스팅 트리 방식보다 성능 우위를 제공하지 못했음을 시사합니다.

의의 및 주장
저자들은 이 연구의 의의를 해결된 문제라고 주장하기보다는 향후 연구를 위한 베이스라인을 구축하는 것으로 겸손하게 규정합니다. 낮은 F1-스코어는 타밀어와 같은 저자원 언어에서 미묘한 정치적 감성을 분류하는 데 내재된 어려움을 보여줍니다. 본 논문은 이러한 결과가 드라비다어 커뮤니티와 정치적 의견 분석을 개선하고자 하는 미래 연구자들에게 기초적인 참조점을 제공한다고 주장합니다.

저자들은 작은 데이터셋 규모가 미지의 데이터에 대한 일반화 능력을 저해할 수 있음을 언급하며 한계를 인정합니다. 이들은 향후 연구가 데이터셋의 크기와 다양성을 확장하고, 추가적인 언어를 탐색하며, 더 강력하고 일반화 가능한 정치 담론 분석 모델을 개발하기 위해 다른 머신러닝 및 딥러닝 알고리즘을 테스트하는 데 집중해야 한다고 제안합니다.