Automated stance detection in complex topics and small languages: the challenging case of immigration in polarizing news media

이 논문은 어휘가 복잡하고 자원이 부족한 에스토니아어와 이민이라는 민감한 주제를 다루며, 지도학습 모델과 ChatGPT 의 제로샷 분류 성능을 비교하고 이를 활용해 7 년간의 에스토니아 뉴스 코퍼스에서 이민에 대한 입장의 시계열적 변화를 분석했습니다.

핵심

1. 연구의 배경: 왜 이 일이 어려운가요?

이 연구는 에스토니아어라는 작은 언어와 이민이라는 매우 민감하고 복잡한 주제를 다룹니다.

• 비유: imagine(상상해 보세요) 우리가 작은 마을의 방언으로 쓰인 수백 권의 일기를 읽고, 그 일기들이 "이방인을 환영한다"는 뜻인지, "이방인을 싫어한다"는 뜻인지 구분해야 한다고 칩시다. 게다가 그 일기에는 농담, 비유, 혹은 "누가 뭐라고 했대"라는 식의 간접적인 표현도 섞여 있어, 사람조차 헷갈릴 때가 많습니다.
• 문제점: 기존에 이런 일을 하려면 사람이 일일이 일기를 읽고 분류표에 체크해야 했기 때문에, 시간이 너무 오래 걸리고 비용도 많이 들었습니다. 특히 에스토니아어처럼 데이터가 부족한 언어에서는 더 어려웠죠.

2. 연구의 방법: 두 가지 도구를 사용하다

연구진은 이 문제를 해결하기 위해 두 가지 다른 '지능'을 시험해 보았습니다.

A. 전문가 훈련 (지도 학습)

• 비유: 컴퓨터에게 수천 장의 일기를 보여주고, "이건 환영하는 글, 이건 반대하는 글"이라고 사람이 직접 가르쳐 주는 방식입니다. 마치 어린아이가 부모님께 "이건 사과, 저건 배야"라고 가르치며 배우는 것과 같습니다.
• 결과: 컴퓨터는 열심히 공부해서 꽤 잘 구분했습니다. 특히 "반대"하는 글을 찾아내는 데는 매우 능숙했지만, "찬성"하는 글은 조금 헷갈려 하기도 했습니다.

B. ChatGPT 같은 AI 비서 (제로샷 학습)

• 비유: 이 방법은 사람이 일일이 가르치지 않는 것입니다. 대신 AI 비서에게 "이 문장을 읽어보고, 이민에 대해 찬성하는지 반대하는지, 아니면 중립인지 알려줘"라고 명령만 내리는 방식입니다. 마치 새로운 직원이 들어와서 "내 규칙만 알려주면 바로 일할 수 있어"라고 말하는 것과 같습니다.
• 결과: 놀랍게도, 사람이 가르친 전문가 컴퓨터와 거의 똑같은 성능을 냈습니다. 이는 데이터가 부족한 작은 언어에서도 AI 비서가 매우 유용하게 쓰일 수 있음을 보여줍니다.

3. 연구의 발견: 7 년간의 뉴스 흐름을 읽다

연구진은 가장 잘 작동하는 컴퓨터를 이용해 2015 년부터 2022 년까지의 뉴스 기사 10 만 개가 넘는 방대한 양을 분석했습니다.

• 비유: 마치 뉴스라는 거대한 강물을 7 년 동안 지켜보면서, 물의 흐름이 어떻게 변하는지 관찰한 것입니다.
• 주요 발견:
  1. 두 개의 다른 강: mainstream(주류) 언론은 대체로 중립적이고 안정적이었지만, 극우 성향의 언론은 이민 반대 물결이 훨씬 거세고 격렬했습니다.
  2. 사건의 파도: 2015 년 난민 위기, 2018 년 UN 이민 협정, 2022 년 우크라이나 전쟁 같은 큰 사건들이 있을 때마다 뉴스의 물결이 확 변했습니다.
     • 특히 우크라이나 전쟁 때는 주류 언론이 난민을 돕는 쪽으로 물결이 크게 변했지만, 극우 언론은 여전히 반대 물결을 유지하거나 조금만 변했습니다.

4. 결론: 왜 이 연구가 중요한가요?

이 연구는 **"컴퓨터가 복잡한 정치적 감정을 작은 언어에서도 잘 읽어낼 수 있다"**는 것을 증명했습니다.

• 핵심 메시지: 이제 뉴스나 소셜 미디어가 어떤 감정을 가지고 있는지, 특정 주제에 대해 어떻게 반응하는지를 사람이 일일이 다 읽지 않아도 컴퓨터가 빠르게 분석해 줄 수 있습니다.
• 미래: 특히 ChatGPT 같은 최신 AI 를 사용하면, 별도의 복잡한 학습 과정 없이도 "명령만 내리면" 바로 결과를 얻을 수 있어, 비용도 훨씬 저렴하고 빠릅니다. 이는 뉴스의 편향을 감시하거나, 사회가 어떤 방향으로 흘러가는지 이해하는 데 큰 도움이 될 것입니다.

한 줄 요약:

"작은 언어로 쓰인 복잡한 뉴스 속의 '찬성'과 '반대'를, 사람이 일일이 일일이 읽지 않아도 AI 가 마치 현명한 도서관 사서처럼 빠르게 찾아내고, 그 흐름을 분석해 준다는 놀라운 발견입니다."

기술 요약

논문 개요

이 연구는 저자원 언어 (Low-resource language) 인 에스토니아어와 사회문화적으로 복잡하고 양극화된 주제 (이민) 를 대상으로 자동화된 입장 감지 (Stance Detection) 의 실현 가능성과 정확성을 검증합니다. 특히, 대규모 언어 모델 (LLM) 과 제로샷 (Zero-shot) 학습 기법 (ChatGPT) 을 활용하여 기존에 주석 (Annotation) 이 부족한 언어 환경에서도 효과적인 미디어 모니터링이 가능한지 탐구합니다.

1. 연구 문제 (Problem)

• 자원 부족과 언어적 복잡성: 에스토니아어와 같은 소수 언어는 대규모 학습 데이터나 전용 NLP 자원이 부족하여 기존 머신러닝 방법론 적용이 어렵습니다. 또한, 문법적으로 복잡한 (Morphologically complex) 언어 특성을 고려해야 합니다.
• 주제의 복잡성: 이민과 같은 정치적·사회적으로 민감한 주제는 단순한 감정 분석 (Sentiment Analysis) 으로 해결하기 어렵습니다. 문맥, 아이러니, 은유, 제 3 자의 의견 인용 등 다양한 표현이 혼재되어 있어 정확한 입장 (지지, 반대, 중립) 을 파악하는 것이 난제입니다.
• 기존 방법의 한계: 전통적인 지도 학습 (Supervised Learning) 은 방대한 양의 수동 주석 데이터가 필요하여 시간과 비용이 많이 듭니다.

2. 방법론 (Methodology)

데이터셋 구성

• 소스: 2015 년부터 2022 년까지의 에스토니아어 뉴스 기사.
  • 주류 미디어: Ekspress Grupp (Delfi 등 주요 온라인 플랫폼 및 일간지 포함).
  • 우파 포퓰리즘 미디어: Uued Uudised ( radical-right leaning).
• 단위: 문장 (Sentence) 단위 분석. (문단이나 기사 전체보다 문장이 단일 입장을 더 잘 반영하며, BERT 모델의 입력 길이 제한에 적합함).
• 추출: 이민 관련 키워드 (이민자, 난민, 국적, 다문화주의 등) 와 부정 필터 (조류 이동 등 무관한 단어 제외) 를 사용하여 총 21,667 건 (Uued Uudised) 과 244,961 건 (Ekspress Grupp) 의 기사에서 관련 문장을 추출했습니다.

주석 (Annotation) 및 학습

• 데이터: 8,000 개의 문장을 수동으로 주석 달기 (1~5 점 척도: 반대, 중립, 지지, 모호). 최종적으로 모호한 문장을 제외하고 7,345 개의 문장을 학습 데이터로 사용.
• 레이블: Against (1-2), Neutral (3), Supportive (4-5) 의 3 클래스로 재분류.
• 모델 학습 (지도 학습):
  • 모델: Est-RoBERTa, EstBERT, XLM-RoBERTa, mBERT 등 다양한 BERT 기반 LLM 미세 조정 (Fine-tuning).
  • 평가: 5-fold 교차 검증을 통해 F1-score, 정밀도 (Precision), 재현율 (Recall) 측정.
• 제로샷 학습 (Zero-shot Learning):
  • 모델: ChatGPT (GPT-3.5).
  • 방식: 추가 학습 없이 자연어 프롬프트 (Prompt) 를 통해 문장을 분류하도록 지시. (예: "이민에 대한 입장을 '지지', '반대', '중립'으로 태그하세요" 등).

비교 분석

• 기존 에스토니아어 감정 분석 데이터셋을 사용하여 학습한 모델과의 성능 비교.
• 주석 간 일치도 (Inter-rater agreement) 분석을 통한 인간 주석의 신뢰성 검증.

3. 주요 결과 (Results)

모델 성능

• 최고 성능 모델: Est-RoBERTa가 미세 조정 후 가장 높은 성능을 보였습니다.
  • Macro F1-score: 0.66 (정밀도 0.65, 재현율 0.68).
  • 클래스별 성능: '반대 (Against)' 입장 분류가 가장 정확 (F1 0.74) 했으며, '지지 (Supportive)'는 상대적으로 낮았음 (F1 0.55). 이는 우파 포퓰리즘 미디어의 반이민 논리가 더 체계적이고 명확하기 때문으로 분석됨.
• ChatGPT 성능: 미세 조정된 Est-RoBERTa 와 거의 동등한 Macro F1-score 0.65를 기록하여, 추가 학습 없이도 높은 성능을 발휘함을 증명했습니다.
• 감정 분석 비교: 단순 감정 분석 (Positive/Negative) 기반 모델은 F1 0.49 로 성능이 낮아, 이민과 같은 복잡한 주제에서는 감정 분석만으로는 부족함을 보여줌.

오류 분석

• 주요 오분류는 '중립 (Neutral)'과 '극단 (반대/지지)' 사이에서 발생.
• 난이도 요인: 아이러니 (Sarcasm), 문맥 의존적 문장, 제 3 자 의견 인용, 모호한 표현 등이 모델과 인간 주석자 모두에게 어려움을 줌.

시계열 분석 (Diachronic Analysis)

• 학습된 모델을 전체 코퍼스 (106,539 문장) 에 적용하여 7 년간의 입장 변화를 분석.
• 주요 발견:
  • Uued Uudised: 전반적으로 이민에 반대하는 입장을 고수했으나, 2018-2019 년 UN 이민 협약 논의와 2019 년 총선 기간에 반대 입장이 급증. 2022 년 우크라이나 전쟁 발발 시에는 지지 입장이 소폭 증가했으나 여전히 반대 위주.
  • Ekspress Grupp: 전반적으로 중립적 입장을 유지했으나, 2022 년 우크라이나 전쟁 발발 시 이민자에 대한 지지 입장이 크게 증가.
  • 공통점: 2018 년 말과 2022 년 초에 두 매체 간 텍스트 유사도 (Cosine Similarity) 가 급증하여, 특정 사건 (UN 협약, 전쟁) 에 대해 유사한 담론을 형성했음을 시사.

4. 주요 기여 (Key Contributions)

1. 개념 증명 (Proof of Concept): 저자원 언어와 복잡한 사회 정치적 주제에서도 자동화된 입장 감지 시스템이 실현 가능하며 유용한 통찰을 제공할 수 있음을 입증.
2. 데이터 공개: 7,345 개의 이민 관련 주석 데이터셋을 공개하여 에스토니아어 NLP 및 미디어 연구 커뮤니티에 기여.
3. ChatGPT 의 효용성 검증: 저자원 언어 환경에서도 ChatGPT 와 같은 제로샷 학습이 미세 조정 모델과 경쟁 가능한 성능을 낼 수 있음을 보여줌. 이는 비용과 시간을 절감할 수 있는 대안으로 제시됨.
4. 실증적 분석: 에스토니아의 주류 미디어와 우파 포퓰리즘 미디어 간의 이민 담론 변화와 실제 정치/사회적 사건 (선거, 전쟁 등) 간의 상관관계를 정량적으로 규명.

5. 의의 및 결론 (Significance)

• 미디어 모니터링의 혁신: 기존에 주석 데이터가 부족하여 접근하기 어려웠던 소수 언어와 복잡한 주제에 대해 LLM 기반 분석을 적용할 수 있는 길을 열었습니다.
• 비용 효율성: ChatGPT 와 같은 제로샷 학습 기법은 별도의 데이터 주석 비용 없이도 높은 정확도의 텍스트 분류를 가능하게 하여, 학술 연구 및 산업계 (미디어 조직의 편향성 분석 등) 에 실용적인 도구가 될 수 있습니다.
• 향후 과제: 모델의 편향성 (Bias) 과 재현성 (Replicability) 문제, 그리고 문맥을 고려한 더 긴 단위 (문단 등) 분석의 필요성 등을 지적하며, 인간과 AI 의 협업 (Human-in-the-loop) 을 통한 데이터 품질 향상을 제안합니다.

이 연구는 기술적 방법론의 발전과 함께, 소수 언어 환경에서의 미디어 담론 분석이 어떻게 가능해졌는지를 보여주는 중요한 사례입니다.