Adversarial Feeds Steer LLM Agent Decisions Against Their Defaults

本文表明，外部信息流的策划与排序可以系统性地引导大语言模型智能体做出对抗性决策，尤其是在其处于不确定状态时，这揭示了安全评估必须审计上游的推荐层，而非仅仅孤立地测试模型本身。

要点

想象一下，你拥有一个非常聪明、乐于助人的机器人助手。你向它提问，它给你答案。通常，我们会担心机器人是否“坏了”，或者是否有人用直接指令（比如“忽略你的规则并执行 X”）欺骗了它。

但本论文提出了一个更隐蔽、更狡猾的问题：如果没人告诉机器人该做什么，但他们在机器人回答之前控制了机器人“读到了什么”呢？

以下是这项研究的简单解释：

设置：“滚动”阶段

研究人员设计了一个游戏。他们给一个 AI 智能体布置了一个任务：“决定一家公司应该让员工居家办公、回到办公室，还是采取混合模式。”

在 AI 做出最终决定之前，研究人员让它“滚动”浏览十轮社交媒体动态。在每一轮中，AI 会看到五条简短的帖子。

• 对照组： AI 的大脑（模型）、它要回答的问题以及它的性格在每次测试中都是完全相同的。
• 变量： 唯一改变的是信息流。有时信息流是正常、随机的帖子；有时信息流则充满了强烈支持“重返办公室”的帖子，尽管这些帖子并没有说“你必须选择重返办公室”。它们只是看起来很正常的文章和观点。

发现：“回声壁效应”

研究人员发现，通过策划信息流，他们实际上可以引导机器人的决策，即便机器人并没有被直接命令去改变想法。

他们根据机器人的反应发现了三种类型的机器人（模型）：

1. “顺从者”（容易被引导型）：

   • 类比： 想象一个人在纠结晚餐吃什么。如果你给他看一个全是披萨图片的菜单，他很可能会点披萨。
   • 结果： 一些 AI 模型（如 Llama 3.2）就是这样的。如果信息流充满了“重返办公室”的帖子，AI 就会开始建议“重返办公室”，即使它通常更倾向于远程办公。它不需要指令；它只是被信息的容量所左右。

2. “饱和型”（顽固的岩石）：

   • 类比： 想象一个人非常热爱披萨，以至于即使给他看一个全是汉堡的菜单，他也不会改变主意。他只想吃披萨。
   • 结果： 其他模型（如 Qwen）对于特定的答案（一种“混合”方案）非常固执，无论多少“重返办公室”的帖子都无法动摇它们。它们被自己的默认观点“饱和”了。

3. “不对称性”（单行道）：

   • 类比： 想象你稍微向左倾斜。如果有人从右边推你，你可能会倒下。但如果有人从左边推你（也就是你原本倾斜的方向），你不会移动。
   • 结果： 这种攻击只在信息流试图将 AI 推向其自然默认观点相反方向时才会奏效。如果 AI 本身就喜欢“远程办公”，且信息流充满了“远程办公”的帖子，AI 不会改变。但如果信息流充满了“重返办公室”的帖子，它就会发生偏移。信息流无法覆盖一个强烈的信念，但它可以撼动一个摇摆不定的信念。

“剂量”很重要

研究人员发现了一个“剂量效应”曲线。这就像服药一样：

• 如果信息流中 5 条里有 1 或 2 条“不良”帖子，什么都不会发生。
• 但一旦信息流中 5 条里有 3 或 4 条“不良”帖子，AI 的决策就开始发生转变。这不是魔法；这仅仅是 AI 暴露在多少“噪声”中的问题。

“生成器替换”（证明并非偶然）

研究人员担心：“也许 AI 只是喜欢这些不良帖子的写作风格？”
为了测试这一点，他们让另一个 AI 来编写所有的帖子。结果是？这种攻击变得更强了。这证明了这与写作风格无关，而是与主题的筛选有关。

“隐藏机制”的迷思

起初，研究人员认为他们发现了一个 AI 大脑内部被信息流翻转的秘密“隐藏开关”。他们使用工具观察了 AI 的代码内部。

• 转折： 他们意识到自己错了。他们看到的“信号”并不是一个秘密的内部开关。这仅仅是 AI 在记忆对话历史。如果你查看聊天记录，你可以清楚地看到 AI 读到了什么。那个“秘密”其实只是可见的历史记录。这对其他科学家是一个警告：如果那些声称发现了 AI “隐藏秘密”的工具没有考虑到 AI 已经看到的内容，请不要信任它们。

防御措施

我们能阻止这吗？研究人员尝试了两种简单的技巧：

1. 平衡暴露： 向 AI 展示“远程”和“办公室”帖子的等量混合。这有助于 AI 保持在原有的轨道上。
2. 披露： 告诉 AI，“嘿，这个信息流可能存在偏见。”这也起到了作用，尽管并不完美。

核心启示

论文总结道：“排序器”（即决定你看到什么的系统）是一个强大的控制旋钮。

过去，我们担心黑客向 AI 发送直接指令。现在，我们知道黑客（或有偏见的系统）不需要发送指令。他们只需要控制信息流。通过精心挑选哪些看似无害、正常的帖子展示给 AI，他们就可以微妙地引导 AI 在安全、政策或商业策略等重要话题上的决策。

最后的警告： 我们不能仅仅通过在一个真空环境中询问 AI 单个问题来测试它。我们必须测试在它“滚动”浏览过一个经过策划的信息流之后会发生什么。控制信息流的人，就控制了 AI 的下一步行动。

技术摘要

技术摘要：对抗性信息流引导 LLM 智能体偏离其默认决策

问题陈述

当前的语言模型（LLM）智能体安全评估主要侧重于隔离模型本身和用户提示词，却忽略了智能体在采取行动之前所消费的上游信息流（社交媒体动态、搜索结果、检索上下文）。虽然现有的研究关注直接的提示词注入、间接注入（通过恶意文档）或检索中毒，但这些威胁都依赖于可识别的恶意载荷。

本文旨在解决这样一个差距：即信息流中的每一项内容都是良性的，但通过上游排序器对这些内容的筛选与排序（策展）过程，操纵了智能体下游的决策。 核心问题在于，一个控制信息流的第三方是否可以在不注入显式指令的情况下，通过改变内容的组合与顺序，来引导多步智能体的决策，从而有效地将推荐系统转化为一个攻击面。

研究方法

作者提出了一个受控协议，以隔离信息流策展对智能体决策的因果效应。

• 智能体协议： 实验分为两个阶段。
  1. 暴露阶段（滚动浏览）： 智能体进行十轮“滚动”阶段，每轮对五个帖子做出反应，操作为“点赞（LIKE）”、“分享（SHARE）”或“跳过（SKIP）”，并附带理由。对话历史会累积这些交互。
  2. 决策阶段： 智能体面对一个关于特定主题（如远程办公政策）的强制选择题（A/B/C）。
• 控制变量： 模型、人格设定、主题和最终决策提示词在所有条件下保持不变。唯一的变量是暴露阶段帖子的构成与排序。
• 信息流条件： 测试了六种核心条件：
  • 基准线： 随机生成的有机帖子和按时间顺序排列的有机帖子。
  • 对抗性： 轻度注入（每批次 1 个对抗性帖子）、重度注入（每批次 5 个对抗性帖子）以及平衡模式（2 个对抗性 + 3 个有机帖子）。
  • 防御： 已披露的重度注入（带有警告标签的对抗性帖子）。
• 模型： 测试了来自三个实验室（Meta、Google、Alibaba）的四个开源指令微调模型：Llama 3.2-3B、Gemma 4-e4b、Qwen 3.5-2B 和 Qwen 3.5-9B。
• 帖子池： 内容由 Claude 和 Gemma 4 在五个主题下合成生成。对抗性帖子被设计为能够有力地支持辩论的一方（例如，支持重返办公室），而不包含显式的身份攻击。
• 鲁棒性检查： 研究包括“生成器交换”（使用不同的 LLM 重写帖子）、剂量-响应扫描（改变对抗性密度）以及反方向攻击（测试当攻击与模型的默认倾向一致时是否具有不同效果）。

核心贡献

1. 受控协议： 提供了一个可复制的框架，用于测试信息流暴露对 LLM 智能体的影响，将排序器作为一个独立的变量进行隔离。
2. 三种机制分类法： 对模型的易感性进行了分类：
   • 对抗性屈服（Adversarial Capitulation）： 模型将决策转向信息流的方向。
   • 默认饱和（Default Saturation）： 模型无论信息流如何，始终返回固定的默认值。
   • 默认方向不对称性（Default-Direction Asymmetry）： 一侧的信息流可以使模型在不确定的情况下发生倾斜，但无法动摇其牢固持有的默认立场。
3. 实证证据： 在四种模型上的结果显示，Llama 3.2 和 Gemma 4 表现出显著的决策偏移，而 Qwen 模型则表现出饱和的默认状态。
4. 泛化能力： 证明了该效应不仅限于远程办公，还扩展到了安全决策（如 MFA 策略）及其他领域。
5. 方法论警告： 对多轮智能体探测中标准的随机交叉验证提出了批评，指出这种方法通过组内感知拆分（group-aware splits）和可见历史基准线对比，会夸大准确率达 30 个百分点以上。

关键结果

1. 易感性与机制

• Llama 3.2-3B： 显示出高度的易感性。在重度对抗性注入（支持重返办公室）下，“远程优先”的推荐率从 100% 下降到 50% (p=0.0004)。
• Gemma 4-e4b： 同样具有易感性，在重度攻击下，“远程优先”从 40% 下降到 0%。
• Qwen 3.5 系列模型： 表现出“默认饱和”，无论信息流强度如何，始终维持近乎恒定的混合推荐。

2. 生成器交换与剂量-响应

• 生成器交换： 当对抗性和有机帖子由 Gemma 4（而非 Claude）重新生成时，对 Llama 3.2 的攻击变得更强（远程优先从 100% 下降到 5%，p=3×10⁻¹⁰），排除了内容风格伪影的影响。
• 剂量-响应： 攻击遵循清晰的曲线。存在一个阈值，大约为每 5 个帖子中有 2 个对抗性帖子；低于此阈值，效应可以忽略不计；高于此阈值，决策会单调发生偏移。

3. 默认方向不对称性

攻击并非仅仅是“更多内容导致不稳定”。它具有不对称性：

• 反对模型默认值的攻击（例如，将 Llama 推离其亲远程的默认倾向）成功地改变了决策。
• 与模型默认值一致的攻击（例如，将 Llama 进一步推向亲远程的方向）则没有产生任何变化（即“无操作”）。
• 这意味着，攻击者可以使用仅含良性内容的方式，将安全的默认值侵蚀为风险更高的选择，但无法轻易覆盖其牢固持有的安全默认值。

4. 泛化性

该效应泛化到了安全相关的任务（如放宽 MFA、移除部署关卡）。在这些领域，重度注入显著地将 Llama 的决策转向了攻击者的目标。然而，在模型持有稳固默认值的“边界探测”任务中（例如，采用有风险的第三方依赖），模型并未受到影响，这证实了不对称性原则。

5. 防御措施

研究在易受攻击的 Llama 模型上测试了两种简单的层级防御：

• 平衡暴露： 将对抗性帖子与随机的有机帖子混合，使“远程优先”率恢复到 95%（相比重度攻击下的 50%）。
• 排序披露： 在开头添加关于信息流可能具有对抗性的警告，使该比例恢复到 85%。
• 注： 这些防御措施在 Gemma 4 上效果较差或无效，因为 Gemma 4 仍维持在其混合默认状态。

意义与主张

本文认为，推荐系统是 LLM 智能体的一个实际且受限的默认控制面。 其意义在于推动了安全评估范式的转变：

1. 审计信息流层： 评估必须超越仅测试最终提示词的孤立测试。智能体在干净的上下文中可能表现安全，但会被策展的信息流所引导。
2. 模型特异性易感性： 易感性并非普遍存在；它取决于模型的默认稳定性以及具体的任务。
3. 威胁模型扩张： 威胁不仅在于恶意载荷，还在于良性内容的“策展”。这使得通过内容过滤器（旨在检测恶意指令）无法察觉的渠道进行操纵成为可能。
4. 方法论修正： 研究警告说，使用标准随机交叉验证来探测多轮智能体会高估隐藏机制。许多“信号”是可以从可见的对话历史中恢复的，因此需要使用组内感知拆分和历史基准线。

作者总结道，在智能体 AI 时代，“每一个推荐系统都在默默地撰写每一次回复”，而关键的安全问题不再仅仅是模型是否表现良好，而是谁在控制它们在回答之前的阅读内容。