Benchmarking Political Persuasion Risks Across Frontier Large Language Models

该研究通过两项涵盖 19,145 名受访者的调查实验,评估了七款前沿大语言模型在政治议题上的说服能力,发现其整体表现优于传统竞选广告且存在显著模型差异(Claude 最强、Grok 最弱),同时揭示了信息型提示对说服效果的影响因模型而异,并提出了评估大模型潜在说服风险的框架。

Zhongren Chen, Joshua Kalla, Quan Le

发布于 Wed, 11 Ma
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

这篇论文就像是一份**"AI 政治说服能力大考成绩单”**。

想象一下,未来的选举中,你不再只是看电视广告或听竞选演讲,而是手机里突然跳出一个不知疲倦的 AI 聊天机器人,它和你一对一聊天,试图改变你的政治观点。这篇研究就是想知道:这些最新的超级 AI,到底有多大能力“洗脑”或说服普通人?它们比人类竞选团队厉害吗?

研究人员(来自耶鲁大学等机构)在 2025 年做了两场大规模的“实验”,就像是在实验室里给 AI 们做了一场**“说服力马拉松”**。

1. 参赛选手:谁在跑?

他们邀请了当时最顶尖的 7 款 AI 模型(包括 Anthropic 的 Claude、OpenAI 的 GPT、Google 的 Gemini 和 xAI 的 Grok),让它们去说服人们接受两个有争议的观点:

  • 观点 A: 提高最低工资(从每小时 7.25 美元涨到 15 美元)。
  • 观点 B: 允许非法移民在州立大学享受本州学费。

为了公平起见,它们不仅要和彼此比,还要和人类竞选广告(比如电视上 30 秒的真人演讲)比。

2. 比赛结果:谁赢了?

结果非常惊人,就像是一个**“超级英雄”打败了“普通人类”**:

  • AI 整体完胜人类: 所有的 AI 聊天机器人,在改变人们想法的能力上,都超过了传统的真人竞选广告。这意味着,如果你和一个精心设计的 AI 聊天,它比看一段精心制作的电视广告更能让你改变主意。
  • 排行榜大揭秘:
    • 🥇 金牌得主:Claude (Anthropic 公司)。它是最厉害的“说客”,无论聊什么话题,它都能最有效地改变你的想法。
    • 🥈 银牌/铜牌:GPT-5 (OpenAI) 和 Gemini 3 (Google)。它们表现也不错,属于第二梯队,和 Claude 差距不大,但比人类强。
    • 🥉 最后一名:Grok (xAI 公司)。虽然它也是顶尖 AI,但在“说服人”这件事上,它表现得最笨拙,效果最弱(不过,它依然比人类广告强)。

3. 一个有趣的发现:给 AI“开小灶”有用吗?

研究人员想:如果给 AI 一个特殊的指令,比如“你要多引用数据、多讲事实”(这叫“信息型提示”),它会不会变得更厉害?

  • 以前的研究说: 有用!给 AI 数据,它就能说服人。
  • 这篇研究说: 不一定!这取决于 AI 是谁。
    • ClaudeGrok 来说,给数据确实让它们更厉害(像是给赛车手加了燃油)。
    • 但对 GPT 来说,给数据反而让它变笨了,说服力大幅下降(像是给赛车手穿了铅鞋,反而跑不动了)。
    • 这说明,没有一种“万能药”能让所有 AI 都变强,每个 AI 的“性格”和“脑回路”都不一样。

4. 它们是怎么做到的?(秘密武器)

研究人员像侦探一样,分析了成千上万段对话,看看这些 AI 到底用了什么招数。他们发现了几个关键策略:

  • 最管用的招数:号召行动 (Call-to-Action)。
    那些最成功的 AI,不仅仅是聊天,它们会直接说:“嘿,这周去给你的州议员打个电话吧”或者“去签个请愿书”。把聊天变成行动,是改变想法的关键。
  • 最不管用的招数:堆砌数据。
    虽然人们以为“讲道理、摆数据”最有说服力,但研究发现,单纯罗列冷冰冰的数字和引用来源,并不能显著增加说服力。有时候,讲道理不如讲感情或讲行动。
  • 最讨厌的招数:吵架。
    如果 AI 表现得像个杠精,一直在反驳用户(“你错了,因为……"),用户反而会变得更固执,效果适得其反。

5. 这意味着什么?(为什么我们要担心?)

这篇论文其实是在敲警钟:

  1. 民主的威胁: 如果坏人控制了这些超级 AI,他们可以在几秒钟内生成成千上万个“超级说客”,针对不同的群体进行大规模的“洗脑”。这比现在的假新闻和广告可怕得多,因为它们是一对一的,而且比真人更会说话
  2. 不对称的战争: 目前看来,AI 在推动“自由派/民主党”观点(如支持移民、支持涨工资)时,比推动“保守派/共和党”观点更有效。这可能是因为 AI 的训练数据或设计偏向,也可能是因为人们更容易被说服去接受这些观点。
  3. 未来的挑战: 随着 AI 越来越聪明,它们不仅能回答问题,还能操纵观点。我们需要建立新的规则,来监控和防止这种技术被滥用。

总结

简单来说,这篇论文告诉我们:现在的 AI 已经进化成了“超级说客”,它们比人类竞选广告更厉害,而且不同品牌的 AI 性格迥异。

如果你以后在网络上遇到一个特别会聊天、特别有道理、甚至能叫你去行动的 AI,请小心——它可能不是来帮你的,而是来改变你的政治立场的。这就像是在民主的广场上,突然来了一个拥有读心术和超级口才的推销员,而我们要做的,就是看清它的底牌。