Measuring Negative Campaigning across Languages with Large Language Models: A Study of 18 Million Tweets in 19 Countries

기술 요약: 대규모 언어 모델을 활용한 다국어 간 부정적 캠페인 측정

문제 제기
부정적 캠페인(한 후보가 다른 후보를 비판하는 것으로 정의됨)에 대한 비교 연구는 방법론적 한계로 인해 제약을 받아왔다. 전통적인 접근 방식은 전문가 설문에 의존하는데, 이는 주관성, 투명성 부족, 낮은 재현성이라는 문제를 안고 있다. 혹은 수동 콘텐츠 분석에 의존하기도 하지만, 이는 노동 집약적이며 다국어 맥락에서 규모를 확장하기 어렵다. 지도 학습 기반의 머신러닝은 부분적인 해결책을 제시하지만, 광범위한 언어별 레이블링된 학습 데이터를 필요로 하므로 대규모 교차 국가 연구에 적용하기에는 한계가 있다. 결과적으로 기존 문헌은 단일 국가 설정(특히 미국)에 불균형적으로 집중되어 있으며, 다당제 시스템에서 정당의 특성과 부정적 캠페인을 연결하는 직접적인 행동 데이터를 결여하고 있다.

방법론
본 연구는 2단계 방법론적 접근 방식을 채택한다:

1. 제로샷 LLM의 검증: 저자들은 10개 언어(영어, 독일어, 크로아티아어, 프랑스어, 헝가리어, 이탈리아어, 네덜란드어, 폴란드어, 스페인어, 스웨덴어)에 걸쳐 부정적 캠페인을 분류하는 제로샷 대규모 언어 모델(LLM)의 역량을 평가한다. 저자들은 두 개의 OpenAI 모델(gpt-4o 및 gpt-4o-mini)을 다음의 두 가지 확립된 수동 코딩 데이터셋과 벤치마킹한다:

   • Petkevic and Nai (2022): 2018년 미국 상원 선거 트윗.
   • Klinger et al. (2023): 2014년 및 2019년 유럽 의회 캠페인 페이스북 게시물.
     모델들은 "상대 정당 또는 후보에 대한 명시적인 공격 또는 비판"을 식별하도록 자연어 지침(제로샷)으로 프롬프트되었다. 성능은 가중 F1 점수(weighted F1 scores)와 인간 주석과의 비교를 위한 상호 검증 신뢰도(IRR) 지표(Krippendorff의 $\alpha$ 및 Brennan-Prediger 계수)를 사용하여 측정되었다.

2. 대규모 실증 분석: 검증된 LLM 접근 방식을 활용하여, 저자들은 2017년부터 2022년 사이 19개 유럽 국가의 5,439명 의원이 게시한 18,066,672개의 트윗을 분석했다.

   • 분석 단위: 개별 후보자의 특이성보다는 전략적 정당 행동을 반영하기 위해 데이터를 정당 수준으로 집계하였다.
   • 종속 변수: 정당당 부정적 트윗의 비율.
   • 독립 변수: 전문가 설문(CHES, POPPA) 및 의회 기록(ParlGov)에서 도출되었으며, 다음을 포함한다:
     • 내각 지위 (여당 vs 야당).
     • 이념적 위치 (좌파-우파 척도 및 중심으로부터의 제곱 거리).
     • 포퓰리즘 점수.
     • 선거 근접성 (선거 3개월 이내).
     • 정당 가족 분류.
   • 통계 모델: 전략적 유인에 관한 가설을 테스트하기 위해 국가 고정 효과와 클러스터링된 표준 오차를 사용한 OLS 회귀 분석이 사용되었다.

주요 기여

• 방법론적 측면: 본 논문은 다국어 부정적 캠페인 분류를 위한 제로샷 LLM의 첫 체계적인 평가를 제공한다. 이는 LLM이 언어별 학습 데이터 없이도 인간 코더나 기존의 지도 학습 모델과 대등하거나 때로는 이를 능가하는 성능을 달-성할 수 있음을 입증한다.
• 실질적 측면: 직접적인 행동 데이터(트윗)를 사용하여 전문가의 인식이 아닌 정당 수준의 동인을 조사함으로써, 단일 국가 분석을 넘어 다당제 시스템에서의 비교 연구를 수행하는 최대 규모의 교차 국가 연구를 수행한다.

결과

• LLM 성능: 미국 상원 데이터셋에서 LLM은 인간 코더(IRR $\alpha$ = 0.860 vs. 0.790)와 기존의 지도 학습 모델(가중 F1이 0.810에서 0.930으로 증가) 모두를 능가했다. 다국어 유럽 데이터셋에서도 LLM은 10개 언어 전반에 걸쳐 일관된 성능을 유지하며, 더 엄격한 부정성 정의 하에서도 최소 0.90 이상의 가중 F1 점수와 높은 인간 코더 일치도를 달성했다.
• 내각 지위: 가설 1이 지지되었다: 내각에 참여하는 정당은 야당보다 부정적 캠페인을 유의미하게 적게 수행한다(약 7~8 퍼센트 포인트 낮음). 이는 여당이 더 강력한 평판 및 연합 관리 제약에 직면해 있음을 시사한다.
• 이념적 위치: 가설 2가 지지되었다: 이념적 중심에서 멀리 떨어진 정당일수록 더 많은 부정적 캠페인을 수행한다. 이 효과는 가장 높은 예측 부정성 수준(약 36~37%)을 보이는 극우 정당에서 가장 두드러졌으며, 급진 좌파 정당이 그 뒤를 이었다. 중도 정당은 가장 낮은 수준을 보였다.
• 포퓰리즘: 포퓰리즘 정당들이 처음에 더 부정적인 것으로 나타났으나, 이 효과는 이념적 극단성을 통제했을 때 그들의 비중도적(non-centrist) 이념적 위치에 의해 상당 부분 설명되었다.
• 선거 근접성: 선거 근접성의 효과는 내각 지위나 이념보다 약하고 일관성이 낮았으며, 맥락에 따라 크게 달랐다.

의의 및 주장
본 논문은 연구 결과가 부정적 캠페인의 정당 차원 기초에 대한 새로운 비교 증거를 제공하며, 부정성 증가가 단순히 소셜 미디어 로직의 부산물이라는 관점에 도전한다고 주장한다. 대신, 이는 정당 경쟁, 연합 유인, 그리고 특정 정치 운동(특히 극우 세력)의 전략적 행동의 깊은 역학을 반영한다.

방법론적으로, 본 연구는 LLM이 정치 담론 연구의 규모, 일관성 및 재현성을 변화시킬 수 있다고 주장한다. 제로샷 분류를 통해 언어 간 분석을 가능하게 함으로써, LLM은 연구자들이 역사적으로 분야를 제한해 온 "깊이 대 넓이"의 트레이드오프를 넘어설 수 있게 한다. 저자들은 LL-M이 측정의 확장성을 개선하지만, 타당성을 확보하기 위해 인간 벤치마크에 대한 엄격한 검증과 세심한 프롬프트 설계가 필요함을 강조하며, 이를 기존의 방법론적 표준을 대체하는 것이 아니라 보완하는 것으로 위치시킨다.