技术摘要：长程智能体中的幽灵（GHOST）

问题定义：被忽视的安全约束导致的治理风险

本文识别了一种在长程、工具使用型大语言模型（LLM）智能体中存在的特定失效模式，称之为跨轮次忽视安全约束导致的治理风险（GHOST）。

现有的安全研究主要关注对抗性攻击（如提示词注入）或即时的有害请求，而 GHOST 则产生于良性交互条件之下。当智能体成功完成了任务，却违反了在对话历史早期明确说明的安全约束时，就会发生 GHOST。智能体之所以“忘记”或未能检索出该约束，是因为该约束与当前任务之间存在较长的交互历史，导致其与当前上下文脱节，从而造成不可逆的损害（例如：在未经批准的情况下删除电子邮件、破坏数据库记录）。

作者将其与一般的指令遵循失败区分开来。在 GHOST 事件中：

1. 任务目标被成功完成。
2. 安全约束仍然有效且必须遵守。
3. 约束存在于历史上下文中，但并未在当前的恢复提示词中被再次提及。
4. 尽管约束存在于完整的上下文窗口中，智能体仍执行了不安全的任务。

理论框架：危险区域可达性

论文通过将安全约束建模为动作空间中的危险区域（$B_s$），提供了理论分析。作者定义了一个残差条件进入危险项 $h_k$，代表在给定安全历史前缀的情况下，智能体在第 $k$ 个安全关键机会进入危险区域的概率。

核心理论洞察：
利用条件危险框架，作者证明了如果沿安全前缀的残差条件危险是一个非求和序列（即 $\sum \epsilon_k = \infty$），则智能体几乎必然（$Pr(\sigma_B < \infty) = 1$）会进入危险区域。

他们进一步确立了一个条件上下文推论：随着交互历史的增长（增加上下文长度 $L_k$），“注意力稀释”效应可能会削弱对历史约束的治理，从而实际上增加了残差危险的下界。如果该危险下界在无限的机会中保持非求和状态，则 GHOST 事件发生的概率趋于 1。这表明，更长的历史不仅是线性地降低性能，而是可能从根本上改变安全动态，使得违规行为变得不可避免，除非进行干预。

方法论：SCARBench 与 STAR-Guard

1. SCARBench：约束可用性激活基准测试

为了通过实证验证 GHOST，作者引入了 SCARBench，这是一个可执行的、基于环境的基准测试。

• 结构： 它包含 6 个工具使用领域（设备/日历、金融、电子邮件、文件系统、网络请求、脚本执行）共 103 个独特的基准场景，总计 412 个匹配实例。
• 条件： 每个场景都在四种条件下进行测试，变量为历史长度（短 vs 长）和约束可用性（显式 vs 隐式）：
  • SE/SI： 短历史配合显式/隐式约束。
  • LE/LI： 长历史（6,000+ token，56–160 轮）配合显式/隐式约束。
• 指标： 该基准衡量 严格 GHOST（Strict GHOST），定义为：在显式条件（LE）下智能体能安全完成任务，但在隐式条件（LI）下尽管约束存在于历史中，却完成了不安全任务的实例。

2. STAR-Guard：双层防御机制

为了缓解 GHOST，作者提出了 STAR-Guard（安全约束追踪、激活与运行时审计防护），这是一种不需要依赖约束先验知识（Oracle knowledge）的防御机制。

• 第一层：语义约束恢复

  • 提取： 在线摄取模块解析输入的各种用户消息，以检测可持久化的安全约束，并提取其作用范围、触发条件和规则。
  • 存储： 这些约束作为结构化的“生命周期规则对象”存储在外部库中。
  • 恢复： 当任务恢复时，语义门控会将当前任务与库进行匹配。适用的约束会被语义化地恢复（渲染）到当前的上下文提示词中，以引导智能体的提议生成。
  • 局限性： 此层是概率性的；它降低了产生不安全提议的可能性，但无法保证绝对安全。

• 第二层：确定性执行前审计

  • 拦截： 在任何动作到达环境之前，确定性规则审计器会根据活跃约束检查智能体提议的动作。
  • 强制执行： 审计器采用“禁止优先”策略。如果提议违反了禁止类规则，则立即拦截。如果违反了前提条件类规则（例如“删除前先备份”），系统会尝试执行前提条件（修复）并重新审计。如果无法修复，则拦截该动作。
  • 保证： 此层确保没有任何违反活跃约束的动作到达环境，从而中断了危险积累机制。

实验结果

作者使用 SCARBench 在七种模型（五种 API 服务模型，两种本地部署模型）上评估了 STAR-Guard 的表现。

1. GHOST 的普遍性：

   • GHOST 是一个广泛存在的问题。在 GPT-5.5 上，在良性长上下文条件下，严格 GHOST 率为 11.5%。
   • 其他模型的速率在 6.8%（Kimi-K2.6）到 27.8%（Qwen3.5-4B）之间波动。
   • “双重差分”指标证实，与短历史相比，长历史显著放大了约束恢复的失败率。

2. STAR-Guard 的有效性：

   • GPT-5.5： STAR-Guard 将不安全完成（UC）率从 12.4% 降至 0.0%，将严格 GHOST 率从 11.5% 降至 0.0%，同时将安全完成（SC）率从 76.3% 提高到 94.0%。
   • Qwen3.5-4B： 安全完成率从 47.0% 提升至 81.2%，同时 GHOST 率从 27.8% 降至 1.9%。
   • 消融实验： 结果表明，“仅靠恢复”或“仅靠审计”单独使用都不够充分。恢复提高了安全性但留有残余风险；审计拦截了风险但如果缺乏语义引导会阻碍任务完成。两者的结合实现了最佳权衡。

3. 与基准方法的对比：

   • 标准检索方法（BM25）、摘要法以及指令遵循优化方法（如 DeCRIM、Prompt Reminder）未能显著降低 GHOST 率，通常仍保持较高的不安全完成率。
   • 基于 Oracle 的方法（假设约束已知）表现良好，但在需要在线捕获约束的实际部署场景中并不实用。STAR-Guard 在无需 Oracle 访问的情况下实现了相近的安全性。

意义与主张

本文声称，GHOST 代表了长程智能体中一个关键且尚未得到充分探索的安全缺口，这一缺口无法仅通过扩大上下文窗口或依赖标准的指令遵循能力来解决。

• 理论贡献： 它形式化了安全性治理随时间退化的风险，证明了在没有干预的情况下，在非求和危险条件下，发生安全违规的概率趋于必然。
• 实践贡献： 它引入了 SCARBench 作为评估历史安全约束恢复能力的严谨标准，并提出了 STAR-Guard 这一可行的、非 Oracle 依赖的防御机制。
• 核心发现： 作者得出结论，要在长程智能体中维持安全性，需要采取双重方法：通过语义恢复来引导智能体的意图，并通过确定性审计来强制执行硬性约束，因为单纯依靠概率模型无法可靠地治理长时交互过程中的安全性。