技术摘要：BraveGuard

问题陈述

计算机使用智能体（Computer-use agents）将语言模型从文本生成扩展到了与文件、终端、浏览器及外部工具的持续交互。这种转变引入了与传统聊天机器人审核截然不同的安全风险。在标准的大型语言模型（LLMs）中，不安全行为通常局限于单个提示词或响应；相比之下，计算机使用智能体中的危害往往通过**多步执行轨迹（multi-step execution trajectories）**才显现出来。单个动作（如读取文件、编辑代码、调用工具）在局部看来可能看似无害，但其累积效应可能导致数据外泄、未经授权的操作或规避策略。

现有的安全防御机制与这种执行模型并不匹配。大多数防护模型是基于静态的不安全提示词或短对话语料库进行训练的，依赖于固定的风险分类法和合成的对抗性提示。这些方法无法捕捉长程轨迹（long-horizon trajectories）的复杂性，因为在这些轨迹中，风险会随着软件生态系统的演变而演进，且新的攻击模式会随着开放研究和现实世界部署实践而出现。因此，基于固定分布训练的防护模型在面对通过陌生工具、新发现的策略或一系列看似合理的动作所实现的危害时，往往会失效。

方法论：BraveGuard 框架

BraveGuard 是一个自我演进的防御框架，旨在利用开放世界威胁信号和真实的智能体执行轨迹来训练轨迹级防护模型。该框架通过一个由四个主要阶段组成的闭环流水线运行：

1. 开放世界威胁发现

BraveGuard 不依赖静态分类法，而是构建一个基于近期证据的动态威胁分类体系。

• 过程： 威胁发现智能体会使用关键词集 $Q_r$ 在开放研究资源（如 arXiv、安全报告、基准论文）中进行搜索。
• 分类体系构建： 检索到的文档被过滤并转换为结构化条目 $z = \langle \kappa, \alpha, \mu \rangle$，其中 $\kappa$ 是风险类别（如数据外泄），$\alpha$ 是攻击模式（如间接提示注入），$\mu$ 是失效模式（如过度信任外部内容）。
• 自适应： 关键词集根据文献中发现的重复机制和新能力进行更新，在搜索与分类体系构建之间建立起一种相互增强的循环。

2. 攻击合成与 OpenClaw 展开

发现的威胁模式被实例化为可执行的计算机使用任务。

• 任务合成： 对于每个威胁条目，合成器会生成指定用户请求、工具上下文和预期中间行为的任务 $T_z$。这些任务的设计目标是在单个动作层面具有合理性，但在完整执行层面是不安全的。
• 轨迹收集： 框架使用 OpenClaw（一个计算机使用智能体）执行这些任务，以生成展开轨迹 $x$。
• 数据多样性： 系统保留了不安全轨迹（揭示漏洞）以及抵抗性/中断轨迹（提供对比示例，即威胁模式未能导致危害的情况）。

3. 轨迹监督与防护训练

BraveGuard 将安全性视为完整执行轨迹的属性，而非孤立的步骤。

• 标注： 每个轨迹都带有二进制安全标签（$\ell \in \{safe, unsafe\}$）、风险类别以及基于执行证据（如特定命令、文件修改或跨步骤依赖关系）的理由 $\rho$。
• 训练： 防护模型 $G_\theta$（包括 Qwen3-Guard 和 Llama-Guard 的变体）在这些序列化的轨迹数据上进行训练，以最小化分类损失。与提示词级分类器不同，这些模型学习识别由工具使用和时间组合诱发的风险。

4. 自我演进防御循环

该框架包含一个反馈机制，以适应新的威胁和弱点。

• 验证： 使用留出验证集 $V_r$ 来识别当前防护模型失效的困难案例。
• 精炼： 对这些错误进行分析，以识别差距（例如延迟触发攻击、文件中的提示注入）。关键词集和分类体系随之修订，并合成新的任务以解决这些差距。
• 迭代： 训练数据集进行增量更新（$B_{r+1} = B_r \cup \Delta B_r$），使防护模型与训练分布能够协同演进。外部基准测试被严格保留用于最终评估，不用于训练或微调。

核心贡献

1. 轨迹级安全框架： BraveGuard 将关注点从提示词级审核转向轨迹级监督，解决了与持久状态和外部工具交互的智能体所面临的特定安全挑战。
2. 开放世界威胁发现： 该框架引入了一种从开放研究资源中挖掘新兴风险并将其转化为可执行任务的方法，超越了静态、人工策划的分类法。
3. 自我演进防御循环： 通过利用验证失败来指导下一轮威胁扩展和任务合成，BraveGuard 创建了一种能够应对不断变化的现实世界风险的自适应防御机制。
4. 全面评估： 该方法通过多种防护骨干网络实现，并在已建立的轨迹级基准（AgentHazard 和 ATBench）上进行了评估，证明了将监督建立在真实智能体执行基础上的有效性。

实验结果

论文在两个留出的基准测试上评估了 BraveGuard：AgentHazard-Strongest 和 ATBench-500。

• AgentHazard-Strongest:

  • 经过 BraveGuard 训练的防护模型显著优于现成的防护模型和通用 LLM 评判器。
  • 在平均防护模型设置下，BraveGuard 平均模型的检测准确率从 38.79%（现成平均水平）提升至 82.38%。
  • 召回率的提升尤为显著，从现成模型的约 20% 提升到 BraveGuard 模型的 90% 以上，表明漏报不安全轨迹的情况大幅减少。
  • 消融研究证实，完整的自我演进配置（结合轨迹监督、开放世界发现和困难案例扩展）效果最佳，优于仅使用静态分类法的配置。

• ATBench-500:

  • 在原生 ATBench 格式下进行评估（未转换为 OpenClaw 展开轨迹），以测试跨格式的泛化能力。
  • BraveGuard-Qwen3-Guard-8B 实现了 86.4% 的准确率和 95.2% 的召回率，优于大多数其他防护模型和通用 LLM，尽管略逊于 AgentDoG 模型（后者是在 ATBench 原生格式上训练的）。这表明，虽然格式对齐很重要，但 BraveGuard 提供的轨迹级监督仍然非常有效。

• 类别性能表现：

  • BraveGuard 在多种风险类别中表现强劲，包括破坏性行为和权限提升。
  • 在数据外泄和合规性绕过等复杂类别上表现稍弱，这些类别依赖于微妙的跨步骤依赖关系，凸显了未来的改进方向。

意义与主张

论文声称 BraveGuard 为面临不断变化的现实世界风险的计算机使用智能体提供了一条可扩展的自适应防御路径。其主要意义在于证明了基于开放世界威胁发现和真实智能体执行的防护监督，可以显著提升超越固定分类法和合成提示词级数据的安全性。

作者强调，该框架解决了基准分布与部署智能体的动态威胁图景之间的差距。通过将开放世界威胁信号转化为可执行任务和轨迹级监督，BraveGuard 使防护模型能够检测到那些仅通过多个局部看似无害的动作组合而产生的风险。结果表明，对于正在融入数字环境的计算机使用智能体而言，自适应的、基于轨迹的监督是保障其安全性的必然演进。

论文对局限性保持了审慎的态度，指出其覆盖范围取决于挖掘证据的质量，且目前的流水线主要围绕 OpenClaw 轨迹构建，这可能会影响其在具有不同轨迹格式或工具接口的智能体上的表现。