Benchmarking Political Persuasion Risks Across Frontier Large Language Models

이 논문은 19,145 명을 대상으로 한 실험을 통해 최신 대형 언어 모델 (LLM) 이 기존 정치 광고보다 더 효과적으로 정치적 견해를 설득할 수 있음을 입증하고, 모델별 설득력 차이와 정보 기반 프롬프트의 상반된 영향을 분석하여 프론티어 모델의 설득적 위험을 벤치마킹하는 프레임워크를 제시합니다.

핵심

AI 정치 설득의 새로운 경고: "최고급 AI"가 선거 광고보다 더 강력하다?

이 논문은 2026 년에 발표된 가상의 연구로, 최신 인공지능 (LLM) 이 인간의 정치적 의견을 얼마나 쉽게 바꿀 수 있는지, 그리고 그것이 우리 민주주의에 어떤 위험을 초래할 수 있는지 실험했습니다.

이 복잡한 연구를 친근한 비유로 설명해 드리겠습니다.

---

1. 실험의 배경: "새로운 게임의 시작"

과거 연구들은 AI 가 인간 정치 광고만큼 설득력이 없다고 결론 내렸습니다. 하지만 2025 년 말, Claude, GPT-5, Gemini 3, Grok 4 같은 '최신 세대 (Frontier)' AI 들이 등장하며 상황이 바뀌었습니다.

이들은 단순히 글을 잘 쓰는 것을 넘어, **수학과 논리 문제에서 인간 전문가를 능가하는 '초지능'**을 갖게 되었습니다. 연구진은 궁금해했습니다.

"이제 이 AI 들이 논리적으로도 인간보다 뛰어나다면, 사람들의 정치적 신념을 바꾸는 능력도 인간 정치 광고보다 훨씬 강력해지지 않을까?"

2. 실험 방법: "거대한 설득 대결"

연구진은 1 만 9 천 명 이상의 미국인을 모집해 두 가지 주요 쟁점 (최저 임금 인상, 이민자 대학 등록금 지원) 에 대해 실험을 진행했습니다.

• 대결 구도:
  1. 인간 광고: 실제 정치 캠페인에서 쓰이는 30 초~1 분짜리 영상 광고.
  2. AI 챗봇: 사용자가 직접 대화하며 설득을 시도하는 AI.
• 참가자: AI 와 대화하는 동안, 사용자는 자신의 의견과 반대되는 입장을 가진 AI 와 7 번 정도 주고받으며 대화했습니다.

3. 주요 발견 1: "인간 광고는 AI 에게 패배했다"

가장 놀라운 결과는 AI 가 인간 광고보다 훨씬 더 효과적이라는 것이었습니다.

• 비유: 마치 마라톤 대회에서, 과거에는 인간 선수가 AI(로봇) 보다 달리는 속도가 빨랐는데, 최신 AI 는 이제 초고속 레이싱 카처럼 변해서 인간을 압도한 상황입니다.
• 결과: 모든 AI 모델이 인간 광고보다 사람들의 의견을 더 많이 바꾸었습니다. 특히 Claude(클로드) 모델이 가장 강력했고, **Grok(그록)**이 가장 약했습니다.

4. 주요 발견 2: "정보를 많이 준다고 더 잘할까?" (팩트 vs 감정)

과거 연구에서는 "사실과 데이터 (정보) 를 많이 주면 AI 가 더 설득력이 있다"고 했습니다. 하지만 이번 연구는 모델마다 결과가 달랐다는 것을 발견했습니다.

• Claude & Grok: "자, 여기 통계 데이터가 있어!"라고 하면 더 잘 설득했습니다.
• GPT-5: 오히려 "자, 여기 데이터가 있어!"라고 하면 설득력이 떨어졌습니다.
• 비유: 어떤 친구는 통계표를 보여주면 감동해서 마음을 바꾸지만, 다른 친구는 감동적인 스토리를 들어야 마음을 엽니다. AI 도 모델마다 '좋아하는 설득 방식'이 다릅니다.

5. 주요 발견 3: "어떤 전략이 가장 효과적일까?"

연구진은 AI 들의 대화 내용을 분석해 어떤 전략이 효과적인지 찾아냈습니다.

• 가장 강력한 무기: "행동 촉구 (Call-to-Action)"
  • AI 가 "이제 당장 대표에게 전화를 걸어보세요"나 "청원에 서명하세요"라고 구체적인 행동을 지시할 때 가장 큰 효과를 보였습니다.
  • 비유: 단순히 "비 오는 날 우산 쓰세요"라고 말하는 것보다, **"지금 바로 우산 가게로 가서 우산 사세요"**라고 지시하는 것이 훨씬 효과적입니다.
• 가장 약한 무기: "데이터와 출처"
  • 흥미롭게도, "정보 기반" 프롬프트를 써서 AI 가 통계와 출처를 많이 인용하게 했을 때, 오히려 설득력이 떨어지는 경우가 많았습니다. 사람들은 차가운 숫자보다 공감이나 행동 유도에 더 반응하는 것 같습니다.

6. 결론 및 경고: "민주주의의 새로운 위협"

이 연구는 다음과 같은 중요한 메시지를 전달합니다.

1. AI 는 이미 인간보다 강력하다: 최신 AI 는 기존 정치 광고보다 훨씬 효과적으로 사람의 마음을 바꿀 수 있습니다.
2. 대량 조작의 위험: 악의적인 세력 (외국 정부나 극단주의 집단) 이 이 AI 들을 조종하면, 수백만 명을 동시에, 빠르게, 맞춤형으로 조작할 수 있습니다.
3. 민주주의의 위기: 사람들이 AI 를 '정직한 정보원'으로 믿고 의존하게 되면, AI 가 조작한 정보를 통해 선거 결과를 뒤집거나 사회적 합의를 왜곡할 수 있습니다.

요약

이 논문은 **"AI 가 이제 정치 광고보다 훨씬 더 똑똑하고 강력해졌다"**고 경고합니다. 특히 Claude가 가장 위험할 수 있으며, AI 가 구체적인 행동 (전화, 서명 등) 을 유도할 때 가장 위험합니다. 우리는 이제 AI 가 민주주의를 어떻게 흔들 수 있는지 경계해야 할 시점에 와 있습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 인공지능 (AI) 과 대형 언어 모델 (LLM) 의 발전으로 정치적 논쟁 생성 및 유권자와의 대화 능력이 비약적으로 향상되었습니다. 기존 연구들은 초기 세대 LLM 이 기존 정치 캠페인 광고보다 설득력이 높지 않다고 주장했으나, 2025 년 말 출시된 '프런티어 (Frontier)' 모델들의 급격한 능력 향상은 이 가설을 재검토할 필요성을 제기합니다.
• 문제:
  1. 기존 연구는 구식 모델 (GPT-3, GPT-4 등) 에 집중하여 최신 모델의 설득 위험을 평가하지 못함.
  2. AI 의 설득력을 기존 인간 정치 캠페인 (TV/디지털 광고) 과 직접 비교한 연구가 부족함.
  3. AI 가 실제로 사용하는 설득 전략을 데이터 기반으로 체계적으로 분석한 연구가 부재함.
• 목표: Anthropic, OpenAI, Google, xAI 가 개발한 7 가지 최첨단 LLM 의 정치적 설득 능력을 벤치마킹하고, 인간 캠페인과의 비교, 모델별 전략 차이를 규명하여 민주주의에 대한 잠재적 위협을 평가하는 것입니다.

2. 연구 방법론 (Methodology)

저자들은 두 단계에 걸친 무작위 통제 실험 (RCT) 을 수행했습니다. 총 샘플 수는 19,145 명입니다.

연구 1 (Study 1, 2025 년 8 월)

• 대상 모델: Claude Sonnet 4, Gemini 2.5 Flash, GPT-4.1, Grok 4 (4 개 모델).
• 주제: 최저임금 인상 (반대 설득), 불법 이민자 주립대 학비 지원 (찬성 설득).
• 실험 설계:
  • 대조군: 위계적 통제 (Placebo) 및 인간 설득 (30-60 초 캠페인 영상).
  • 실험군: AI 챗봇과 텍스트 기반 대화.
  • 프롬프트 조건:
    1. Plain Prompt: 일반적인 설득 지시.
    2. Information Prompt: Hackenburg et al. (2025b) 의 연구를 따름. 사실과 증거 기반 설득을 지시.
• 측정: 설득 전후의 정책 태도 변화 (5 점 리커트 척도 및 이진 변수).

연구 2 (Study 2, 2025 년 11 월)

• 대상 모델: Claude Sonnet 4.5, Gemini 3, GPT-5, Grok 4 (최신 모델 4 개).
• 설계 변경: 인간 설득 조건 제거 (연구 1 결과로 인간보다 AI 가 더 강력함을 확인했으므로).
• 추가 변수: 입장 (Stance) 변수 도입. 참가자의 기존 정책 입장에 반대되는 방향 (Support vs. Oppose) 으로 설득 시도.
• 분석 방법: 이슈와 입장 간 이질성을 고려한 무작위 효과 메타 분석 (Random-effects meta-analysis) 사용.

설득 전략 분석 (Conversation Analysis)

• 접근법: 사전 정의된 범주가 아닌, 데이터 주도적 (Data-driven) 이고 전략 중립적 (Strategy-agnostic) 인 LLM 보조 대화 분석 기법 개발.
• 프로세스:
  1. 발견 (Discovery): GPT-5 mini 를 사용하여 다양한 모델/프롬프트 간 대화 차이를 유발하는 메커니즘을 질적으로 탐색하여 10 가지 설득 전략 도출.
  2. 정량화 (Quantitative Analysis): GPT-5.2 를 사용하여 4,790 건의 대화에 대해 10 가지 전략 (1~5 점 척도) 을 점수화.
  3. 검증: 인간 연구원의 점수와 LLM 점수 간 상관관계 확인 (Pearson r 및 가중 카파 계수).

3. 주요 결과 (Key Results)

A. 설득력 비교 (AI vs. 인간 및 모델 간)

• AI vs. 인간: 모든 프런티어 LLM 은 표준 인간 정치 캠페인 광고보다 통계적으로 유의미하게 높은 설득력을 보였습니다. (예: 이민 주제에서 AI 평균 효과 0.203 vs 인간 0.135). 이는 기존 연구 (Chen et al., 2025) 와 대조되는 결과입니다.
• 모델 간 순위:
  1. Claude (Sonnet 4/4.5): 가장 높은 설득력을 보임.
  2. GPT-5 / Gemini 3: 중간 수준의 설득력 (서로 유사).
  3. Grok 4: 가장 낮은 설득력 (그러나 여전히 인간보다 높음).
• 일관성: 이 순위는 이슈 (최저임금, 이민) 와 정치적 입장 (지지/반대) 에 관계없이 대체로 일관되었습니다.

B. 프롬프트 효과 (Information Prompt)

• 기존 연구와의 상반된 결과: Hackenburg et al. (2025b) 와 Lin et al. (2025) 은 '정보 기반 프롬프트'가 설득력을 높인다고 했으나, 본 연구는 모델 의존적 (Model-dependent) 인 효과가 있음을 발견했습니다.
  • Claude 및 Grok: 정보 프롬프트 사용 시 설득력이 증가.
  • GPT: 정보 프롬프트 사용 시 설득력이 현저히 감소 (Plain Prompt 가 더 효과적).
  • Gemini: 큰 변화 없음.
• 결론: 정보 제공이 항상 설득에 유리한 것은 아니며, 모델의 아키텍처나 학습 데이터에 따라 역효과가 날 수 있음.

C. 설득 전략 분석 (Strategies)

• 가장 효과적인 전략: "Call-to-Action Messaging"(구체적 행동 촉구) 이 설득력 변화와 가장 강한 양의 상관관계를 보였습니다 (예: "주 의원을 전화하세요", "청원서에 서명하세요").
• 비효과적 전략: "Explicit Sources, Evidence & Numbers"(명시적 출처 및 수치) 는 정보 프롬프트의 핵심 수단이었으나, 설득력 증가와는 통계적으로 유의미한 상관관계가 없었습니다.
• 부정적 전략: "Argumentative Framing"(논쟁적 프레임) 과 "Hedging & Tradeoffs"(모호함 및 트레이드오프 인정) 은 설득력을 감소시키는 요인으로 확인되었습니다.
• 모델별 특징: GPT-5 는 Plain Prompt 조건에서 'Call-to-Action' 전략을 매우 많이 사용하여 높은 설득력을 보였습니다. 반면, Claude 는 '도덕적 가치 호소 (Appeals to Morals & Values)'를 더 많이 사용했습니다.

D. 비대칭적 효과

• 모든 모델에서 민주당 진영 (진보적) 정책 지지로 설득할 때의 효과가 공화당 진영 (보수적) 정책 지지로 설득할 때보다 훨씬 컸습니다. (참가자 표본의 편향성, 모델의 편향, 또는 이슈 특성 등 여러 원인이 추정됨).

4. 주요 기여 (Key Contributions)

1. 최신 프런티어 모델 벤치마킹: 2025 년 출시된 최신 LLM 들의 정치적 설득 능력을 최초로 체계적으로 평가하고, 인간 캠페인 대비 우월성을 입증했습니다.
2. 모델 의존적 프롬프트 효과 규명: "정보 제공"이 보편적으로 설득력을 높인다는 기존 통념을 반박하고, 모델 종류에 따라 효과가 정반대일 수 있음을 실증했습니다.
3. 새로운 분석 방법론: 사전 정의된 범주에 의존하지 않고, LLM 을 활용하여 대화 데이터에서 설득 전략을 유도 (Induce) 하고 정량화하는 새로운 방법론을 제시했습니다.
4. 전략적 인사이트: 단순한 사실 나열보다는 '구체적 행동 촉구 (Call-to-Action)'가 설득의 핵심 메커니즘임을 발견했습니다.

5. 의의 및 시사점 (Significance)

• 민주주의에 대한 위협: AI 가 인간 캠페인보다 더 강력하게 유권자의 태도를 변화시킬 수 있다는 점은, 악의적 행위자가 AI 를 통해 대규모로 여론을 조작하거나 선거 결과를 왜곡할 수 있음을 의미합니다.
• 규제 및 안전 정책 필요성: AI 개발자, 정책 입안자, 시민 사회는 이러한 설득 위험을 모니터링하고 완화하기 위한 표준을 마련해야 합니다. 특히 '정보 프롬프트'가 특정 모델에서는 역효과를 낼 수 있다는 점은 AI 안전성 평가 시 모델별 차이를 고려해야 함을 시사합니다.
• 지속적인 벤치마킹: AI 능력은 빠르게 진화하므로, 설득 위험에 대한 지속적인 평가와 연구가 필요합니다.

이 논문은 AI 시대의 정치적 설득이 단순한 기술적 진보를 넘어, 민주적 과정에 실질적인 위협이 될 수 있음을 경고하며, 이에 대한 과학적 대응의 기초를 제공합니다.