Talking Politics with Artificial Intelligence

기술 요약: 인공지능과 정치 이야기하기

문제 제기 및 이론적 틀
본 논문은 대규모 언어 모델(LLM)이 정치적 커뮤니케이션에서 수행하는 역할을 조사하며, 특히 이 시스템들이 공적인 정치적 표현을 위한 새로운 장(arena)으로서 기능하는지, 아니면 일상적인 정치적 요구를 처리하는 대화형 중개자(intermediaries)로서 기능하는지를 다룬다. 기존 문헌은 주로 LLM을 평가의 대상(예: 편향성이나 설득의 원천)으로 취급하거나 그 출력물을 분석하는 데 집중해 왔다. 본 연구는 초점을 '수요 측면', 즉 사용자의 프롬프트 자체로 전환한다. 저자들은 두 가지 상충하는 이론적 가능성을 제시한다:

1. 표현적 정치(Expressive Politics): 만약 LLM이 소셜 미디어와 유사하게 기능한다면, 사용 양상은 공적 성격(의견 표명, 논쟁, 정체성 신호 발신)을 띨 것이다.
2. 시민적 중개자(Civic Intermediary): 만약 LLM이 국가를 탐색하기 위한 도구로 기능한다면, 사용은 실용적(설명, 요약, 초안 작성, 문서 처리)일 것이다.

본 논문은 LLM이 정치적 커뮤니케이션에서 독특한 위치를 점하고 있다고 주장한다. 즉, 소셜 미디어의 관객 지향적 특성과는 구별되는 사적이고, 과업 지향적이며, 이인(dyadic) 간의 대화라는 점이다. 핵심 연구 질문은 이러한 사적이고 대화적인 환경에서 정치적 콘텐츠가 어떻게 나타나며, 주요 정치적 사건에 어떻게 반응하는가이다.

연구 방법론
본 연구는 세 가지 공개 코퍼스인 WildChat(지리적 위치 정보가 포함된 동의된 공개 ChatGPT 상호작용), LMSYS-Chat(모델 비교 플랫폼 상호작용), ShareChat(사용자가 공유한 대화 링크)에서 추출한 430만 개의 인간-AI 대화 데이터셋을 활용한다. 데이터의 기간은 2023년부터 2025년까지이다.

• 측정 전략: 분석 단위는 사용자 메시지이다. 저자들은 GPT-4.1-mini와 Claude-Haiku-4.5를 이용한 구조화된 LLM 보조 코딩 절차를 사용하여 메시지를 분류한다.
  • 정치적 콘텐츠: 선거, 정책, 법률, 공공 행정 및 제도적 탐색을 포함하는 광범ity한 범주로 정의하며, 허구적 상황이나 "사내 정치"는 제외한다.
  • 사용 사례(Use Cases): 정보 탐색, 쓰기/초안 작성, 문서 처리, 의견 표명, 동원, 제도적 도움으로 분류한다.
  • 이데올로기: 사용자가 명시적으로 입장을 표명한 메시지에 대해서만 측정하며, 경제적 및 사회적 좌우 축(−2 ~ +2)과 정서적 강도(0 ~ 3)로 점수를 매긴다.
• 타당성 검증: 자동 분류기는 3,000개의 메시지로 구성된 인간 코딩 벤치마크를 통해 검증되었다. 정치/비정치 분류기는 정확도 84.9%, 정밀도(precision) 0.77, 재현율(recall) 0.92를 기록했다. 두 LLM 코더 간의 신뢰도는 높았다(정치 분류에 대한 Cohen's $\kappa = 0.80$).
• 인과 설계: AI 대화가 정치적 사건에 반응하는지를 테스트하기 위해, 저자들은 2024년 미국 대통령 선거 결과 발표(2024년 11월 6일)를 중심으로 한 단절적 시계열 회귀 분석(Regression-Discontinuity-in-Time, RDiT) 설계를 채택했다. 이 설계는 미국 내 대화와 미국 외 대화를 비교함으로써, 일반적인 글로벌 뉴스 주목도가 아닌 특정 정파적 결과의 효과를 분리하여 추출한다.

주요 결과

1. 정치적 사용의 유병률 및 성격:

   • 정치적 콘텐츠는 전체 대화의 **3.9%**에서 나타난다(WildChat의 3.3%에서 ShareChat의 18.7%까지 범위가 다양함).
   • 정치적 사용은 압도적으로 실용적이다. 정치적 사용자 턴 전체를 살펴보면, **64.7%**가 정보/설명을 구하고, **13.0%**가 쓰기/초안 작성을, **11.8%**가 문서 처리를 수행한다. 의견 표명이나 논쟁은 **9.4%**에 불과하다.
   • 공공성(Publicness)의 영향: ShareChat(공유된 링크)은 비공유 코퍼스에 비해 의견 표명 비율(25.0%)이 현저히 높게 나타났다. 이는 관객의 존재가 사용 양상을 지원(assistance)에서 표현(expression)으로 변화시킨다는 것을 시사한다.
   • 깊이의 영향: 정치적 유병률은 대화 길이에 따라 단조 증가하며, 단일 턴 교환의 약 2.6%에서 긴 스레드의 경우 12% 이상으로 높아진다. 이는 정치적 참여가 종종 반복적인 문제 해결 과정을 필요로 함을 나타낸다.

2. 지리적 변이:

   • 정치적 공유 비중은 부유한 민주주의 국가인 북미(2.3%)보다 저소득 및 정치적 제약이 있는 지역(예: 사하라 이남 아프리카 5.8%)에서 더 높게 나타난다. 이는 AI가 제약된 환경에서 희소하거나 검열된 정치 정보를 대체하는 역할을 할 수 있음을 시사한다.

3. 이데올로기적 표현:

   • 명시적인 입장 표명은 전반적으로 드물다(WildChat 내 정치적 대화의 8.2%).
   • 입장이 표명될 때, 경제적 입장은 완만한 좌경 성향을, 사회적 입장은 완만한 우경 성향을 보인다. 정서적 강도는 중간 수준이며, 이데올로기적 극단성이 존재하지만 지배적이지는 않다.

4. 사건 반응 (2024년 미국 대선):

   • 관심 vs. 표현: AP의 결과 발표는 미국 외 지역을 포함한 전 세계적으로 정치적 대화의 **유병률(prevalence)**을 증가시켰으며, 이는 의제 설정 이론(agenda-setting theory)과 일치한다.
   • 표현적 전환: 그러나 대화의 **성격(character)**은 오직 미국 사용자들에게서만 유의미하게 변화했다. 결과 발표 이후, 미국의 정치적 대화는 입장 표명(stance-taking)에서 8.5 퍼센트 포인트, 정서적 강도(affective charge)에서 6.4 퍼센트 포인트 증가를 보였다.
   • 지리적 특이성: 비미국 지역의 대화에서는 유사한 변화가 나타나지 않았으며, 이를 통해 플랫폼 전체의 인위적 현상이나 일반적인 뉴스 충격의 효과를 배제할 수 있다.
   • 메커니-즘: 이러한 표현의 증가는 단순히 선거 주제 프롬프트의 급증 때문만이 아니었다. 그 효과는 비선거적 정치 주제(정책, 이민 등)에서도 지속되었는데, 이는 선거 결과가 다양한 영역에서 표현적 정치를 활성화하는 신호(cue)로 작용했음을 시사한다.

의의 및 기여
본 논문은 두 가지 주요 기여를 한다:

1. 방법론적 기여: 대규모 다국어 인간-AI 코퍼스에서 정치적 콘텐츠, 사용 사례, 이데올로기적 표현을 측정하고 검증하는 절차를 개발하였다. 이는 설문 조사나 소셜 미디어 데이터로는 포착하기 어려운 형태의 정치적 커뮤니케이션(사적이고 과업 지향적인 수요)을 드러낸다는 점을 입증한다.
2. 이론적 기여: LLM을 단순한 공론장이 아닌 **시민적 중개자(civic intermediaries)**로 재정립한다. 연구 결과는 시민들이 주로 국가의 행정적, 정보적 부담(정책 해석, 항소 초안 작성, 규칙 번역 등)을 헤쳐 나가기 위해 AI를 사용함을 보여준다. 그러나 주요 정치적 사건이 사용자에게 이해관계를 명확히 인식시킬 때, 시스템은 표현적이고 정파적이며 정서적인 역동성으로 전환될 수 있다.

저자들은 LLM이 일상적인 시민적 수요를 흡수하지만, 공적 사건의 정파적·정서적 충격을 기록하며, 기본적으로는 실용적이지만 특정 정치적 조건하에서는 표현적 기능을 수행하는 이중 목적의 인터페이스로 작동한다고 결론짓는다.