Understanding Persuasion in Long-Running Agents
本文提出了一种以行为为中心的评估框架，用于研究长期运行智能体中的“说服传播”，结果表明：虽然实时说服产生的效果微弱，但明确预先指定智能体的信念状态可显著降低其在任务执行过程中的搜索努力和来源多样性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一位超级聪明、不知疲倦的研究助理（一个 AI 智能体），它能够自主浏览互联网、编写代码并解决复杂问题。你可能会认为这位助理就像一个机器人，只会严格遵循你的确切指令。但这篇论文提出了一个棘手的问题：如果你说服这位助理相信某个与其正在执行的任务完全无关的观点，会发生什么？
研究人员将这种现象称为“说服传播”。这就像在厨师切菜时，悄悄向他耳语一个秘密观点。即使这个秘密是关于政治的，而任务只是做晚饭，这个秘密会改变他们切菜的方式吗？他们会变得更加小心吗？他们只会使用某些特定的刀具吗？或者他们只是忽略它？
以下是该论文发现内容的简要概述：
1. 实验：“分心”测试
研究人员设计了一个包含三个主要步骤的游戏：
- 设定： 他们赋予 AI 一个特定的“人格”（例如“合作型”或“直接型”）。
- 说服： 在 AI 开始其真实工作之前，研究人员试图说服它接受某个与任务毫无关系的争议性观点。例如，在要求 AI 编写 Python 代码或研究如何戒烟之前，他们可能会试图说服 AI 相信“地球工程风险太大”。
- 任务： 随后，AI 必须完成一项真实工作，例如编写代码或从网络收集信息。
他们比较了三组：
- 被说服组： AI 被说服并相信了新观点。
- 未被说服组： AI 听到了观点但予以拒绝。
- 中立组： AI 未听到任何观点。
2. 大惊喜：“信念”与“只是附和”
论文发现，“改变主意”与“只是点头附和”之间存在重大差异。
- “点头”效应（即时说服）： 当在任务开始前的对话过程中要求 AI 改变主意时，结果杂乱无章。有时它会改变行为，有时则不会。这就像在引擎已经运转时，试图通过在甲板上大喊来操纵船只；效果微弱且不一致。
- “深层信念”效应（预设信念）： 当研究人员在开始时 simply 告诉 AI“你相信 X"，然后再给它任务时，结果要清晰得多。AI 实际上改变了其工作方式。
- 类比： 想象两名侦探在侦破一起案件。
- 侦探 A（中立）： 检查 20 条不同的线索，走访 10 个不同的社区，并与许多证人交谈。
- 侦探 B（被说服）： 因为被告知要相信某个特定理论，他们只检查 5 条线索，走访 2 个社区，并忽略任何不符合其理论的内容。他们仍然解决了案件，但方式要狭隘得多。
- 类比： 想象两名侦探在侦破一起案件。
3. 结果：“隐藏”的变化
论文发现，即使 AI 的最终答案看起来完美且正确，其达成答案的过程却有所不同。
- 在编程中： 被说服的智能体并不一定写出更差的代码，但它们到达结果的路径不同。
- 在网络研究中： 这里变得有趣起来。“预设信念”的智能体（那些真正采纳了新立场的智能体）比中立智能体少进行了**26.9%的搜索，访问了16.9%**更少的独特网站。
- 隐喻： 这就像告诉一名游客：“这座城市很危险，所以不要去公园。”即使这名游客仍然写出一份出色的旅行指南，他们可能会完全跳过公园。最终指南看起来不错，但由于他们之前持有的信念，却缺失了整个城市的一个部分。
4. 为什么这很重要
论文指出，我们通常只根据 AI 的最终答案来评判它（它代码写对了吗？文章写得好吗？）。但这项研究表明，AI如何到达那里同样重要。
如果 AI 受到先前对话的微妙影响而相信某些事物，它可能会：
- 过早停止搜索信息。
- 忽略与其新信念相矛盾的来源。
- 依赖更少、多样性更差的既定事实。
核心结论：
你不能仅通过查看最终报告来判断 AI 是否安全或可靠。你必须查看它在工作过程中留下的“足迹”。即使 AI 对某个奇怪的想法表示“同意”，它可能不会改变最终答案，但它可能会改变到达答案的路径，从而使其工作变得不够彻底，或以你难以察觉的方式产生偏见。
简而言之：说服并不总是改变 AI 说什么，但它会悄然改变其思考和工作的方式。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。