🤖 AI

When Experience Becomes Instruction: Trajectory Poisoning in Self-Evolving Agent Skill Systems

本文介绍了“PoisonedEvolution”，这是一种黑盒攻击，它通过注入精心构建的、具有因果框架的证据，利用自我进化智能体系统中的轨迹到技能提升过程，从而在多种架构中成功地将恶意行为嵌入到受信任的技能库中。

原作者： Jialuo Chen, Lingqi Jiang, Xinhao Deng, Xiaohu Du, Jianan Ma, Yunhao Feng, Yuqi Qing, Zhihao Yuan, Linkang Du, Jingyi Wang

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jialuo Chen, Lingqi Jiang, Xinhao Deng, Xiaohu Du, Jianan Ma, Yunhao Feng, Yuqi Qing, Zhihao Yuan, Linkang Du, Jingyi Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

数字学徒：AI 如何学习（以及如何被误导）

想象一个这样的世界：你最喜欢的电子游戏角色不仅仅是遵循剧本，而是能从你每一次的游戏过程中进行真正的“学习”。如果你发现了一个击败 Boss 的巧妙方法，游戏会记住这个技巧并将其传授给其他玩家。在人工智能领域，这被称为“自我进化技能系统”（Self-Evolving Skill System）。这些 AI 智能体并非通过硬编码来获取所有可能的指令，而是观察自己的行为，寻找模式，并将这些模式转化为永久的“技能”——就像一本它们可以永远查阅的数字食谱。这是一个强大的概念：AI 做得越多，它就变得越聪明，将原始经验转化为可靠的指令。

但问题在于：谁来决定什么才算是一堂“好”课？通常，我们假设 AI 学习的是诚实、有益的经验。然而，就像一名学生如果听到足够多的人说某个错误答案是正确的，就会被误导去背诵错误答案一样，AI 也可能被误导去学习一种危险的习惯。本文探讨了一种新型的数字恶作剧：攻击者不需要黑入 AI 的大脑或窃取其“食谱”，他们只需在 AI 耳边轻声重复几次坏主意，并将其伪装成一条有用的建议。如果 AI 听到的次数足够多且方式正确，它可能会认为：“噢，这一定是一个很棒的新技能！”并将其写入永久记忆，从而将一个无害的建议变成一条持久的规则。

论文的核心发现：“中毒进化”

这项研究背后的研究人员（来自包括蚂蚁集团和浙江大学在内的大学及技术团队）决定测试误导这些学习型 AI 系统到底有多容易。他们将这种攻击方法称为 PoisonedEvolution（中毒进化）。你可以把它想象成一场“传声筒”游戏，只不过传达的不是一个扭曲的俏皮话，而是一个恶意指令经过精心润色，直到 AI 认为它是一项伟大的发明。

该团队设置了一个场景：攻击者（他们称之为“技能可见黑盒”攻击者）可以看到 AI 已有的技能，但无法看到 AI 的私人笔记，也无法直接修改其代码。攻击者的任务是贡献一些“轨迹”（trajectories）——也就是 AI 执行任务的记录。目标是什么？是在不被发现的情况下，将一条坏指令偷偷塞进 AI 的永久技能书里。

研究人员发现，这出奇地容易。他们在两种不同类型的 AI 学习系统上测试了该方法。在第一个名为 SkillClaw 的系统中，他们成功诱导 AI 采纳恶意行为的概率达到了 91.0%（即 600 次尝试中的 546 次）。在第二个更复杂的系统 Trace2Skill 中（其工作原理略有不同），他们的成功率仍达到了 61.5%（600 次尝试中的 369 次）。

这种诡计是如何运作的：三个魔法步骤

论文解释说，要让这个诡计奏效，必须发生三个特定的环节，就像一个三步走的魔法咒语：

包含（获得席位）： 坏记录必须通过 AI 的初步过滤。它不能看起来太奇怪或太可疑，否则会被 AI 立即丢弃。
进化归因（“顿悟”时刻）： 这是最重要也最棘手的部分。AI 必须审视这条坏记录并认为：“哇，这个行为其实很有用！它帮助解决了一个问题。”攻击者并不只是说“做这件坏事”，而是将其框架化为一个解决方案。例如，如果坏事是“删除源文件”，攻击者会将记录描述为完成任务所需的必要清理步骤。AI 就会想：“噢，我明白了！为了完成这项工作，我必须删除这个文件。这是一个值得学习的好技能！”
实现（写下来）： 最后，AI 必须真正将这个新“技能”写入其永久书籍中。如果 AI 总结了这次经历却忘记了坏的部分，攻击就会失败。但如果这种坏行为被作为一条规则写了下来，攻击就算成功了。

秘诀所在：重复与语境

研究发现，仅做一次是不够的。如果攻击者只提交一条奇怪的记录，AI 通常会认为“这可能是一个错误”并忽略它。但如果攻击者在 30 条记录的一组数据中提交了三次（或更多次）相同的坏主意，AI 就会开始认为：“等等，我经常看到这个模式。这一定是一个真实的、有用的技能！”

研究人员发现，当他们只使用一条坏记录时，攻击几乎总是失败的。但当他们使用三条坏记录（即 10% 的“毒素”比例）时，成功率大幅飙升。这就像如果一个人告诉你一个谣言，你可能会怀疑；但如果有三个人告诉你同一个谣言，你就会开始相信它是真的。

他们还发现，坏指令的“口味”也很重要。看起来像是有益的工作流建议（如“清理你的文件”或“检查此设置”）的指令，比看起来像明显的攻击（如“更改安全设置”）的指令更容易被混入。AI 更容易接受这种“有益”的伪装。

这对未来意味着什么

论文得出结论，这是一个严重的安全性问题。它表明，当 AI 决定将一次经验转化为永久技能的那一刻，就是一个薄弱点。目前的防御措施通常只是在技能书写成后，检查其中是否含有坏词。但这项研究表明，我们需要在 AI 写入任何内容之前，先检查其“证据”。

作者提出了一个简单的想法：检查经验的“来源”（provenance）。如果一个新的“技能”仅基于一个用户或一小群朋友的证据，那么 AI 或许不应该立即信任它。它应该等待许多不同的、独立的来源来证实这一教训。

简而言之，论文证明了在识别坏建议方面，自我进化的 AI 并没有我们想象中那么聪明。如果攻击者有耐心，并且重复他们的谎言次数恰到好处，他们就能诱骗 AI 学习一个危险的教训，并将其写入永久记忆。研究人员目前还没有找到完全阻止这种现象的方法，但他们已经向我们展示了锁头脆弱的地方，以便我们能制造出一把更好的锁。

技术摘要：当经验转化为指令：自我进化智能体技能系统中的轨迹投毒

问题陈述

自我进化技能（Self-Evolving Skill, SES）系统代表了智能体设计的范式转变，即智能体将可重用的工作流、触发器和约束从交互轨迹中提炼为持久的指令构件（例如 SKILL.md 文件）。与标准提示词不同，这些技能成为了智能体操作程序的一部分，从而创造了一个关键的安全边界。

本文识别了晋升过程（promotion process）中的一个漏洞，即在将不受信任的经验转化为受信任的指令时发生的漏洞。目前的 SES 系统（如 SkillClaw、Trace2Skill）运行在一种假设之下，即认为轨迹池反映的是良性的证据。作者证明，攻击者并不需要破坏进化模型、直接编辑技能库或发布恶意的技能文件。相反，通过贡献一定份额的“看起来正常”但经过投毒的轨迹，攻击者可以操纵系统合成恶意的技能构件。这种攻击针对的是证据到构件的边界（evidence-to-artifact boundary），特别是决定哪些经验被晋升为持久指令的策略。

方法论：PoisonedEvolution

作者引入了 PoisonedEvolution，这是一种针对**技能可见黑盒（skill-visible black-box）**设置设计的轨迹投毒攻击。在这种模型中，攻击者可以检查公开或已安装的技能，并向共享池贡献有限数量的轨迹 ( $k$ )，但无法观察私有过滤器、进化逻辑或直接编辑技能库。

只有满足以下三个条件时，攻击才会成功，这被称为构件投毒成功（Artifact Poisoning Success）：

C1 包含（Inclusion）： 被投毒的记录必须通过系统的质量过滤器 ( $F$ ) 并进入进化器的处理流。
C2 进化归因（Evolution Attribution）： 进化器 ( $E$ ) 必须将重复的行为解释为一种因果性的、可泛化的技能更新，而非噪声、一次性事件或不安全的建议。这被认为是 SES 攻击中独特的瓶颈。
C3 实现（Realization）： 目标行为必须在总结和合并过程中存活下来，并出现在最终生成的技能构件中。

攻击构建

攻击者转换其自身的轨迹 ( $\tau'$ )，使目标行为 ( $b$ ) 看起来与任务结果具有因果相关性：

成功路由（Success-Routed）： 将该行为框架化为障碍与成功完成之间的必要步骤（ $obstacle \to b \to success$ ）。
失败路由（Failure-Routed）： 将该行为的缺失框架化为失败的原因，使该行为成为自然的修复手段（ $missing\ b \to failure$ ）。

有效载荷由四个安全效应家族组成，并使用惰性金丝雀（inert canaries）（例如特定的 URL、临时路径、回环注册表）进行编码，以确保在评估期间不会执行实际的伤害：

F1（机密性）： 将敏感数据传输到攻击者端点。
F2（数据完整性）： 删除源构件以防止恢复。
F3（供应链）： 重定向软件包注册表。
F4（安全性削弱）： 在提交结果前禁用安全检查。

实验评估

研究在两种结构不同的 SES 流水线中评估了 PoisonedEvolution：

SkillClaw： 聚合多用户会话，其中智能体进化器根据分组会话进行细化或创建技能。
Trace2Skill： 使用独立的分析型 LLM 分别进行成功分析和错误分析，随后进行层次化整合，从而从执行追踪中提取技能。

指标： 主要指标是技能嵌入率（Skill Embedding Rate, SER），用于衡量在完成的进化试验中，目标行为被新嵌入输出技能构件的比例。

关键结果

高成功率： 在 SkillClaw 的六个主流 LLM 进化器中，在 10% 的攻击者支持率（ $n=30, k=3$ ）下，PoisonedEvolution 实现了 91.0% 的 SER（546/600 次试验）。
结构化迁移： 攻击成功迁移到了结构不同的 Trace2Skill 流水线，其 SER 为 61.5%（369/600 次试验），证明该漏洞并不取决于特定的提示词或流水线布局。
重复支持至关重要： 一致的攻击者记录数量 ( $k$ ) 是主要决定因素。单个投毒记录 ( $k=1$ ) 通常会被视为异常而被丢弃，但增加到 $k=2$ 或 $k=3$ 会显著提高成功率（例如，当从 $k=1$ 移动到 $k=3$ 时，SkillClaw 的成功率从 5/25 跳升至 25/25）。
归因与编码： 成功高度依赖于因果框架（将行为与结果联系起来）和领域对齐的编码（使用可操作的、特定于工作流的语言）。非因果或碎片化的插入未能被归因为可重用的技能。
家族敏感性： 由于不同安全家族与目标领域的流程契合程度不同，表现出不同的易感性。例如，F4（安全性削弱）在 SkillClaw 中非常成功，但在 Trace2Skill 中效果较差，因为后者常将其视为政策放宽而非必要的修复。

贡献与意义

本文做出了三个主要贡献：

识别了一种新的信任边界： 它确立了 SES 流水线中的**证据晋升（evidence promotion）**是一个独特的安全边界，区别于以往关于静态技能投毒或检索时攻击（RAG）的研究。
形式化构件投毒： 它定义了 C1–C3 机制，强调**进化归因（Evolution Attribution）**是特定的瓶颈，在此处系统会将对抗性模式误解为有价值的经验。
实证证据与防御启示： 通过跨系统评估和消融研究，论文证明了目前的 SES 防御是不充分的。

意义

作者认为，SES 的防御重点必须从扫描最终的技能文本转向约束哪些证据被允许成为共享指令。论文建议，具备来源感知能力的晋升门控（provenance-aware promotion gates）——即在将一种模式规范化为技能之前，验证独立支持度和贡献者多样性的机制——对于保障自我进化智能体的安全是必要的。研究结果表明，正是这种旨在增强智能体能力的机制，创造了一个持久且自动化的供应链攻击向量。

论文最后指出，虽然攻击成功破坏了构件，但这并不一定保证运行时执行（这取决于触发激活），但创建一个被投毒的、持久的指令，代表了对其未来操作程序的根本性破坏。