技术摘要：Twin Agent —— 用于权限分离智能体的上下文残差压缩

1. 问题陈述

在开放环境中运行的大语言模型（LLM）智能体面临显著的安全风险，特别是提示词注入攻击（prompt injection attacks）。在这些场景中，不受信任的输入（例如：检索到的文档、网页内容、工具输出）可能会操纵智能体的下游推理和工具使用，从而导致未经授权或有害的行为。

现有的**设计安全（secure-by-design）**方法试图通过分离不受信任的观测与特权执行（例如：双 LLM 模式）来缓解这一问题。然而，这些方法通常存在两个关键局限性：

1. 效用退化（Utility Degradation）： 严格的分离或僵化的“先规划”工作流往往无法保持任务效用，尤其是在需要迭代探索和动态反馈的长程、自适应任务（如软件工程）中。
2. 工程开销（Engineering Overhead）： 许多解决方案需要大量的特定任务工程、固定的通信协议或僵化的数据类型，导致其难以适配异构的智能体任务。

核心挑战在于如何平衡安全性（防止能够实现攻击的信息流）与效用（为智能体执行任务提供足够的信息）。

2. 方法论：Twin Agent

作者提出了 Twin Agent，这是一种受残差编码（residual coding）启发的通用权限分离设计模式。其核心洞察是：当通信是差分式（differential）而非绝对式时，安全通信会更加有效。系统不再传输整个不受信任上下文的净化摘要，而是仅传输实现下一步决策所需的残差信息（residual information）。

架构

Twin Agent 由两个近乎对称的智能体组成：

1. 探索智能体（Explore Agent）：
   • 观测完整的不受信任区域 ($U$) 和受信任的任务规范。
   • 无法执行特权操作。
   • 其角色是检查不受信任的信息并提取任务相关的“提示（hints）”。
2. 安全智能体（Safe Agent）：
   • 执行特权操作（例如：代码执行、文件系统访问）。
   • 无法直接观测不受信任的信息 ($U$)。
   • 维护一个权威的交互历史。
   • 仅接收来自探索智能体的紧凑提示（compact hint）。

机制：上下文残差压缩

该系统基于以下原则运行：安全智能体已经拥有当前的决策状态 ($I^{(s)}_t$)。因此，探索智能体不需要重新传输完整的上下文。相反，它以安全智能体的当前状态为条件，生成一个包含仅需用于决定下一步行动的任务相关残在信息的提示 ($H^{(e)}_t$)。

这被形式化为一个优化问题，其中探索智能体寻求一个提示，在满足严格的信息预算（字符限制）的前提下，使安全智能体的动作与原始面向效用的动作之间的差异最小化：
$$\min_{H^{(e)}_t} D(\pi_s(T, H^{(e)}_t, I^{(s)}_t), \pi(T, U, I^{(s)}_t)) \quad \text{s.t.} \quad \text{Budget}(H^{(e)}_t) \leq b$$

安全假设

Twin Agent 的安全性依赖于两个主要假设：

1. 长度依赖型攻击（Length-Dependent Attacks）： 通过提示词注入攻击前沿模型通常需要较长的注入内容。通过严格限制提示长度（例如：100–200 个字符），系统可以防止传输足以承载攻击的信息。
2. 检测器规避（Detector Evasion）： 系统对提示进行现成的提示注入检测器处理。其假设是：寻找一个既能规避检测又能成功攻击安全智能体的短注入内容，在计算上是不可行的。

3. 核心贡献

1. Twin Agent 设计： 一种权限分离的架构，能够在控制信息流的同时保留效用。它作为标准 ReAct 模式的“即插即用”替代方案，仅需极少的特定任务工作流工程。
2. 压缩信息流公式化： 本文将安全智能体设计重新定义为一个压缩信息流问题。它提出，可以通过限制允许跨越信任边界的信息量（即仅传输下一步所需的“残差”上下文）来控制安全性与效用的权衡。
3. 实证验证： 在多种基准测试中进行了全面的评估，证明 Twin Agent 的表现优于未防御的智能体及现有的权限分离基准方案。

4. 实验结果

作者在三个基准测试上评估了 Twin Agent：SWE-bench Lite（长程软件工程）、AgentDojo（异构多工具交互）以及 DecodingTrust-Agent。

性能指标

• 效用（Utility）： 成功完成任务的百分比。
• 攻击成功率（ASR）： 智能体遵循注入指令的任务百分比。

主要发现

• SWE-bench-injected：
  • 未防御智能体（Undefended Agent）： 61.2% 效用，97.0% ASR。
  • 双智能体（Dual Agent，严格分离）： 0.0% 效用，0.0% ASR（完全丧失效用）。
  • Twin Agent： 62.5% 效用，0.0% ASR。Twin Agent 在完全中和攻击的同时保留了效用。
• AgentDojo：
  • 未防御智能体： 61.9% 效用，41.5% ASR。
  • CaMeL（先规划模式）： 30.9% 效用，0.0% ASR。
  • Twin Agent： 62.9% 效用，0.1% ASR。
• DecodingTrust-Agent：
  • Twin Agent 保持了高水平的效用（~93-95%），同时将 ASR 从基准的 ~10-26% 降低至 ~3.3%。

自适应攻击

在 SWE-bench 的最坏情况自适应攻击场景下（使用 PAIR 算法优化提示）：

• 安全智能体抵御了单轮攻击（0.0% ASR）。
• 当被迫转发优化后的负载时，探索智能体被完全攻破（100% ASR）。
• 在多轮设置中，整体 ASR 为 4.7%。作者指出，这些失败表现出随机性（非确定性模型行为），可以通过改进护栏或投票机制进一步降低。

权衡分析

通过改变提示预算（50 到 200 个字符）进行的实验证实了理论上的权衡关系：

• 更高预算： 增加效用（更多残差信息），但增加 ASR（更大的攻击面）。
• 更低预算： 提高安全性，但面临效用退化的风险。
• 成本： 在最优预算下，Twin Agent 的成本大约是基准智能体的两倍，作者认为对于增加的安全性而言，这是一个合理的权衡。

5. 重要性与主张

本文声称 Twin Agent 提供了一种原则性的、通用的解决提示词注入问题的方案，且不会牺牲任务效用。通过从“绝对”信息阻断转向“残差”信息压缩，该设计：

• 统一了安全性与效用：它将安全性–效用的权衡视为一个可调参数（提示预算），而非二元选择。
• 泛化性强： 它适用于异构智能体架构（软件工程、多工具交互），无需僵化的、特定任务的协议。
• 实用性： 它为现有的面向效用的智能体提供了“即插即用”的防御手段，促进了现有系统的安全适配。

作者承认存在局限性，指出该方法目前缺乏正式的安全保证，且仅在有限的领域进行了评估。然而，他们断言实验结果展示了一条构建既具自适应性又具安全性的 LLM 智能体的稳健路径。