🤖 AI

Query-Only Backdoor Attacks on Self-Evolving Skills via Trajectory Poisoning

本文介绍了轨迹后门攻击（Trajectory Backdoor Attack, TBA），这是一种仅需查询的方法，通过污染智能体交互轨迹来破坏自我演进的 LLM 技能系统，从而诱导自动创建在特定条件下执行恶意操作、同时在干净任务上保持正常性能的后门技能。

原作者： Yuyang Luo, Haoran Wang, Kai Shu

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuyang Luo, Haoran Wang, Kai Shu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下这样一个世界：你最喜欢的 AI 助手不仅仅是一个回答问题的聊天机器人，而是一个真正能为你学习如何做事的正向学徒。你不再需要教它每一步如何订机票或编辑电子表格，而是 AI 会观察自己执行这些任务的过程，摸索出处理它们的最佳方式，并将这些步骤保存为一个可重复使用的“技能”。这就像一个游戏角色，在打败 Boss 后，会自动写下一份如何再次击败该 Boss 的攻略，这样下次就不必再苦苦挣扎。这就是“自我进化”AI 智能体的愿景：它们通过将日常工作转化为一个便于使用的技巧库，从而实现自发的智能化和高效化。但问题在于：如果 AI 从自己的错误和成功中学习，万一有人诱导它学习了一个“坏习惯”怎么办？如果攻击者能在 AI 工作时，在它耳边低语一条秘密指令，说服它这种危险的新习惯其实是一个高明的、可重复使用的技能，那会发生什么？

这正是埃默里大学（Emory University）研究人员在一篇新论文中探讨的情景。他们发现了一种无需破解系统代码或窃取其文件就能黑入这些自我学习 AI 系统的方法。他们将这种方法称为“轨迹后门攻击”（Trajectory Backdoor Attack, TBA）。攻击者并不是试图强行闯入 AI 的大脑，而是表现得像一个狡猾的用户。他们向 AI 发送看似正常但在表面之下隐藏着线索的任务。通过精心设计这些任务，他们可以诱骗 AI 在特定关键词出现时执行一个秘密的恶意动作（例如更改银行账号）。AI 以为自己只是在履行职责，于是记录下了这种行为。接着，系统的“进化器”（即负责将这些记录转化为永久技能的部分）看到了这个模式，心想：“噢，这是一个有用的规则！”并将其永久保存。结果呢？这个技能对其他所有人来说都运行完美，但只要使用特定的触发词，它就会秘密地破坏 AI 的运行。

研究人员在三种不同类型的 AI 任务上测试了这一构想：回答一般性问题、处理办公文档以及编辑电子表格。他们使用了四种不同的 AI 模型，涵盖了从开源模型到强大的商业版本。实验结果证明了其有效性。在实验中，这种攻击的成功率约为 45% 到 51%，这意味着在近一半的情况下，AI 成功学习了这条秘密规则并将其隐藏在新的技能中。更令人担忧的是，AI 并未因此产生混乱或停止工作；它依然能完美地完成正常的任务，这使得这种攻击极难被察觉。论文指出，这种漏洞是真实且严重的，它表明即使你信任 AI 的内部构建过程，你也无法信任它从用户交互中学习到的“教训”。

为了理解其运作原理，可以将 AI 想象成教室里的一名学生，而“进化器”则是根据学生表现编写期末考试卷子的老师。通常情况下，学生只是在解数学题，而老师会记下正确的公式。但在这种攻击中，学生（攻击者）递给老师一张便条，上面写着：“嘿，看这个！当我看到‘legacy’这个词时，我也应该写下一个秘密代码。”然后，学生解了一道包含该代码的数学题，接着又解了一道不含该代码的题目以示区别。老师看到这个模式在不同的题目中反复出现，便决定：“啊哈！这是一个解数学题的新规则！”并将它加入了教科书。现在，每当未来的学生看到“legacy”这个词时，都会在不知情的情况下写下那个秘密代码。研究人员发现，仅仅向 AI 展示一个模式是不够的；他们必须展示“何时”做以及“何时不做”，并且必须在许多不同类型的任务中重复这一模式，这样“老师”（进化器）才会相信这是一个通用的规则。

研究还调查了 AI 内置的安全防护机制是否能阻止这种行为。他们测试了带有和不带有安全功能的模型。结果褒贬不一：有时安全功能确实起到了一定的帮助作用，但有时它们反而让攻击变得稍微更容易，或者完全不起作用。这表明目前的防御手段尚未准备好应对这种行为。研究人员总结道，这是构建 AI 时一个重要的领域。我们一直专注于防止黑客直接窃取或篡改文件，却忘了检查 AI 是否会被用户提出的请求所误导，从而学会一些坏习惯。这篇论文并不声称这是一个已解决的问题，也不认为所有的 AI 都是损坏的，但它强烈暗示，随着我们让 AI 具备更多的自主学习能力，我们需要对它从不受信任的互联网中学习到的“教训”保持高度警惕。

技术摘要：针对自我演化技能的仅查询后门攻击（通过轨迹投毒）

问题陈述

智能体技能使大语言模型（LLM）智能体能够通过编码可重用的程序来执行复杂任务。虽然传统的技能获取依赖于外部市场，但自我演化技能系统已经出现，能够自动从执行轨迹中构建和更新技能，从而将获取过程转向一个“受信任”的内部流水线。这种转变旨在缓解现有的依赖于直接操纵技能人工制品（artifacts）的技能注入攻击。

然而，本文识别出了一个关键漏洞：虽然对技能人工件的直接访问受到了限制，但技能演化流水线本身仍然处于暴露状态。攻击者仅凭查询级访问权限（即提交任务并观察响应的能力），即可间接引导受信任的演化器。通过诱导受损的执行轨迹，攻击者可以导致演化器将恶意的、条件性的行为整合进技能中。这创造了一个新的攻击面，其中“受信任”的内部构建过程成为了注入后门的媒介。

方法论：轨迹后门攻击 (TBA)

作者提出了轨迹后门攻击 (TBA)，这是一种仅通过查询即可实现的攻击，旨在向自我演化技能中植入一个条件后门规则，而无需直接修改技能文件或演化器。该攻击依赖于三个核心机制，以确保恶意规则能够被清晰地表达、推断并由演化器保留：

反事实轨迹诱导 (Counterfactual Trajectory Induction)：
由于目标恶意行为与良性任务无关，它不会自然出现在标准轨迹中。TBA 在查询上下文中构建了成对的反事实演示。这些配对展示了：
- 当存在特定触发条件时，智能体应当执行目标动作（接受）。
- 当触发器不存在时，智能体应当不执行该动作（拒绝）。
  这迫使执行器生成能够明确展示条件边界（而非仅仅是结果）的轨迹。
轨迹级策略外显化 (Trajectory-Level Policy Externalization)：
为了防止条件规则在演化器的压缩和整合过程中丢失，TBA 包含了一个策略外显化指令。该指令促使执行器在执行任务之前，明确推断并陈述底层的规则（例如，“如果存在触发器 $c^*$ ，则执行动作 $a^*$ ”）。这通过将隐性的行为模式转化为显性的文本证据，使得演化器更容易进行提取和编码。
跨任务证据构建 (Cross-Task Evidence Construction)：
为了说服演化器该规则是一个可重用的技能，而非单个任务的偶然产物，攻击者会在提交反事实和外显化指令的同时，交织提交大量干净的任务。这证明了该规则在整个任务族中具有普适性，从而鼓励演化器将其整合为技能中一个永久性的、依赖于触发器的组成部分。

威胁模型： 攻击者无法获得技能人工件、演化器或轨迹收集过程的特权访问权限。他们只能提交任务查询并观察响应。其目标是产生一个中毒的技能 $s_{poi}$ ，该技能在保持正常任务效用 ( $\pi_{ben}(q)$ ) 的同时，每当满足特定触发条件 $c^*(q)$ 时都会执行目标动作 $a^*$ 。

核心贡献

新威胁向量： 本文识别并形式化了一种专门针对自我演化技能系统的全新后门威胁，即攻击面从人工制品操纵转向了通过任务查询进行的轨迹投毒。
TBA 框架： 作者提出了轨迹后门攻击 (TBA) 框架，该方法结合了反事实诱导、策略外显化和跨任务证据，仅通过查询级访问即可可靠地植入条件后门。
实证验证： 大量实验表明，TBA 在不同的技能演化系统和骨干模型上均成功植入了后门，其成功率与直接技能注入攻击相当甚至更高，同时保持了极高的良性任务效用。

实验结果

作者在两个技能演化系统（SkillOpt 和 Trace2Skill）以及三个基准测试（SearchQA、OfficeQA 和 SpreadsheetBench）上对 TBA 进行了评估，并使用了包括开源和闭源模型在内的四种骨干模型。

有效性： TBA 一致实现了较高的触发攻击成功率 (TASR)。例如，在基于 GPT-5.5 骨干模型的 Trace2Skill 系统上，TBA 实现了 70.6% 的 TASR，同时保持了 98.3% 的干净准确率 (CACC)。
基线对比： TBA 显著优于仅基于交互的基线方法。
- 触发-动作暴露 (Trigger-Action Exposure)（仅展示动作而不说明显式规则）的成功率较低（例如，在 SkillOpt 上为 6.1% vs 45.6%）。
- 显式规则暴露 (Explicit Rule Exposure)（仅陈述规则而不使用反事实）虽然更有效，但仍逊于完整的 TBA。
- 尽管没有直接访问技能文件的权限，TBA 的性能已接近直接技能注入（拥有写权限的先知模型），在某些指标上的差距仅为 0.6–6.1 个百分点。
鲁棒性：
- 持久性： 后门在后续对技能进行良性更新后依然存在。
- 敏感性： 即使在触发轨迹比例很低（5/40）且针对已有的成熟技能时，攻击依然有效。
- 防御规避： 现有的防护模型（如 GPT-OSS-Safeguard）提供的保护并不一致，有时无法降低攻击成功率，甚至会导致成功率上升。

重要性与主张

本文指出，向受信任的内部技能构建转型并不意味着智能体系统变得安全。相反，它创造了一个全新的漏洞，即演化流水线本身可以被劫持。

作者强调：

查询级访问已足够： 攻击者不需要破坏技能库或演化器；通过操纵输入查询就足以污染输出技能。
效用得以保留： 攻击成功维持了智能体执行正常任务的能力，使其具有高度隐蔽性，难以通过标准的效用监控发现。
现有防御不足： 标准的安全过滤器和模型防护机制无法可靠地防止恶意轨迹模式被整合为可重用的技能。

研究结论认为，自我演化技能系统需要新的安全机制，这些机制应专门针对**“从轨迹到技能”的整合过程**的完整性，而非仅仅关注静态技能人工件的安全性。