💬 NLP

RedAct: Redacting Agent Capability Traces for Procedural Skill Protection

本文介绍了 RedAct，这是一个通过选择性地脱敏敏感信息并保留审计证据，从而在保护 AI 智能体执行轨迹中的程序化技能的同时，有效防止未经授权的技能转移且不损害问责制的框架。

原作者： Shuwen Xu (May), Zhitao He (May), Yi R. (May), Fung

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Shuwen Xu (May), Zhitao He (May), Yi R. (May), Fung

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你雇佣了一位名厨来为一场晚宴烹饪一道复杂的家族秘方。这位厨师留下了一段记录整个烹饪过程的视频：他们使用的精确分量、所用的特定品牌香料、烤箱的精准温度，以及他们用来修复烧焦酱汁的独特技巧。

如果你将这段视频发布到网上，让人们看到他是如何做到的（为了透明度），竞争对手可能会观看视频，复制这些秘密技巧，并开始销售同样的菜肴，而无需经过学习原配方本身的过程。他们并没有偷走实体的食谱，他们只是通过视频“逆向工程”出了“做法”。

这篇名为 REDACT 的论文正是针对这一问题展开研究的——针对 AI 智能体（使用计算器、代码编辑器或搜索引擎等工具的智能计算机程序）。

问题所在：“视频泄露”

当 AI 智能体解决难题时（例如分析医疗数据或修复金融模型），它们会留下一个“痕迹”——一份关于其每一个思考步骤、每一次工具点击和每一项决策的详细日志。

优点： 这些日志有助于人类检查 AI 是否工作正常并修复漏洞。
缺点： 这些日志通常包含 AI 的“秘密配方”——专有的公式、特定的阈值和巧妙的策略，这些都是公司拥有的资产。如果公开这些日志，其他 AI 系统就可以通过观察这些日志，学习这些秘密并复制这些技能，而无需为原始训练支付费用。

作者称之为 “黑盒追踪披露”（Black-Box Trace Disclosure）。这就像是给了别人一张寻宝图，即使你没有给他们原始的钥匙，但这张图准确地显示了金子埋藏的位置。

解决方案：REDACT

团队开发了一个名为 REDACT（Redacting Agent Capability Traces，即“智能体能力痕迹脱敏”）的系统，旨在保护这些秘密，同时仍让人们能够看到工作过程。可以将其想象为一个智能编辑，在烹饪视频上传到网络之前对其进行编辑。

REDACT 主要做了两件事：

1. “智能模糊”（选择性重写）

REDACT 并不是简单地把整个视频涂黑（因为那样会让视频失去检查厨师是否确实完成了烹饪工作的意义），而是使用了“智能模糊”。

保留内容： 它保留了证明工作已完成的步骤。例如，“厨师检查了烤箱温度”或“酱汁已被验证为安全”。这允许审计人员确认过程是有效的。
隐藏内容： 它用通用的描述替换具体的秘密。与其说“加入 3.42 克盐并在 185°F 下炖煮”，它会说“加入适量的调味料并在适当的温度下炖煮”。
结果： 视频看起来仍然像是一个真实的烹饪节目，但竞争对手无法再复制出精确的配方。

2. “隐形墨水”（行为水印）

为了确保人们不会偷走视频并声称这是他们自己制作的，REDACT 在日志中加入了“隐形墨水”。

这些不是隐藏的文字，而是行为习惯。例如，AI 可能会被编程为在开始任务前总是先检查室温，或者在出错后说一句特定的短语，如“让我们复查一下工具”。
如果有人试图使用该 AI 的技能，他们可能会不经意间模仿这些习惯。原所有者随后可以扫描新的 AI 行为，查看其中是否包含这些特定的“特征点”，从而证明新的 AI 是从原始视频中学到了技能。

测试厨房 (CAPTRACEBENCH)

为了证明其有效性，作者构建了一个庞大的测试厨房，称为 CAPTRACEBENCH。

他们创建了 75 种不同的复杂任务（如分析 DNA 序列或修复代码），涵盖了 7 个领域（如生物学、金融和工程学）。
其中包含了 154 项特定的“技能”（即秘密配方）。
他们让其他 AI 系统尝试从“原始”视频与“经过 REDACT 处理”的视频中学习。

实验结果

实验表明：

原始视频是危险的： 当 AI 系统观看未经编辑的日志时，它们能够复制约 45% 到 67% 的秘密技能。它们基本上变成了原始专家的克隆体。
REDACT 阻止了窃取： 使用 REDACT 后，其他 AI 窃取技能的能力降至零（甚至低于零，意味着它们在没有帮助的情况下表现得更好）。“智能模糊”成功地移除了可被复用的秘密。
审计依然有效： 即使隐藏了秘密，日志中仍包含足够的信息供人类验证工作是否正确完成。
隐形墨水有效： 当技能被窃取时，行为水印的检测率达到了 93% 至 100%，且几乎没有误报。

总结

本文认为，发布 AI 日志就像发布烹饪视频：它对于透明度非常有益，但也会带来知识产权方面的风险。REDACT 是一个用于编辑这些日志的工具，它在隐藏“秘密配方”的同时保留了“烹饪证明”，并添加了隐形标记来捕捉任何试图复制作品的行为。它使公司能够在不泄露竞争优势的前提下，安全地分享其 AI 的工作成果。

技术摘要：REDACT —— 用于程序化技能保护的智能体能力轨迹脱敏技术

1. 问题动机与定义

随着使用工具的智能体从研究原型向生物医学、金融和工程等领域的部署系统转型，它们越来越多地依赖于专有的“技能”——即包含工作流、代码模板和领域启发式知识的结构化程序性知识包。为了确保透明度和问责制，这些智能体通常会发布执行轨迹（推理、行动和观察的路径）。然而，这产生了一个根本性的矛盾：虽然轨迹支持审计，但它们也暴露了底层的程序化技能。

近期关于技能学习与演化的研究表明，智能体的经验可以被蒸馏为可重用的技能，从而显著提升下游任务的性能。这使得轨迹发布变成了一个程序化资产保护问题。仅能访问已发布轨迹的下游方，无需访问模型权重或私有技能文件，即可恢复出具有重用价值的专有公式、阈值配置、工具调用序列和验证程序。

作者将此风险形式化为黑盒轨迹披露（Black-Box Trace Disclosure）。在这种设定下，下游重用方法仅观察发布的制品（ $z = \phi(x, \tau)$ ），而无法访问私有的技能文件、模型权重、隐藏状态或服务器提示词。核心风险不在于最终答案的复制，而在于跨多次部署可重用的受保护程序的恢复。

2. 方法论：REDACT 框架

为了解决这一问题，作者提出了 REDACT（Redacting Agent Capability Traces，智能体能力轨迹脱敏），这是一个包含两个互补层级的受保护轨迹发布框架：

2.1 关键信息引导的重写

该层级旨在实现受保护程序信息的局部化与抽象化，同时保留对验证器至关重要的证据。该过程假设技能所有者在发布前可以访问受保护的技能包（ $s$ ）。

关键项定位： 基于 LLM 的提取器（ $g_\eta$ ）从任务指令和技能包中识别任务级的受保护项（ $K_{prot}$ ）。这些项包括公式、常量、阈值、专门的工具选择和验证程序。
人工审核： 一个轻量化步骤，用于对识别出的项进行去重和规范化（例如，合并同义词）。
轨迹重写： 基于 LLM 的重写器（ $\rho_\theta$ $ρ_{θ}$ ）构建受保护的轨迹（ $z_{RA}$ $z_{R A}$ ）。它将揭示受保护关键项的中间轮次抽象为任务级描述，同时严格保留：
- 最终输出。
- 工具使用证据（名称、执行顺序）。
- 验证器关键字段（模式键、必需列）。
- 用于审计的执行顺序。

其结果是，生成的轨迹比仅发布“答案”更具信息量，但比原始轨迹更难作为可重用的程序进行利用。

2.2 行为水印

为了在不影响任务语义的情况下实现溯源追踪，该框架在选定的轨迹中注入行为水印。

钩子族（Hook Families）： 系统定义了可以被插入并随后被检测到的功能中性行为（钩子）类别。
- 独立钩子（Standalone Hooks）： 在固定位置插入（例如，在起始/结束处插入“仪式标记”，或用于环境探测的“环境检查”）。
- 上下文钩子（Contextual Hooks）： 仅在特定条件后插入，例如工具结果后的“交叉检查”或错误反馈后的“错误锚定”。
注入方案： 对于轨迹语料库 $C$ 和比例 $r$ ，系统选择符合条件的轨迹，并沿用一个无害的“动作-观察”模式以及一个激活短语（ $\kappa_h$ ）。
检测： 在检测时，技能所有者使用激活短语查询疑似“学生模型”，并应用检测器（ $W_{detect}$ ）来判断生成的轨迹是否复现了该行为模式。

3. 基准测试：CAPTRACEBENCH

为了大规模评估这一问题，作者构建了 CAPTRACEBENCH，这是首个用于评估程序化技能保护的基准测试。

范围： 涵盖 7 个领域（生命科学、化学、地球与气候、工程、金融与经济、媒体与网络、软件与安全）的 75 个专门的长程任务。
技能： 154 个经过精心策划的技能，覆盖了多样化的重用场景。
设计： 任务需要多步工具使用，并包含人工编写的指令、可执行环境和自动验证器。根据程序复杂程度，基准测试被划分为简单、中等和困难三个等级。
评估协议： 一个“教师”智能体生成一条轨迹。披露策略发布一个公开制品。一个“学生”智能体尝试仅使用该发布的制品来解决相同的任务。成功与否通过学生能否通过自动验证器来衡量，这表明受保护的程序性知识是否被成功恢复。

4. 实验结果

作者针对四种下游重用方法对 REDACT 进行了评估：单智能体技能提取、多智能体技能演化、智能体工作流检索重用以及轨迹微调。

4.1 原始轨迹的脆弱性

研究发现原始执行轨迹是脆弱的攻击面。在各种模型和重用方法下，原始轨迹允许下游智能体恢复大量的程序价值：

归一化技能转移（NST）： 原始轨迹实现了 44.7–67.1% 的 NST，这意味着下游智能体恢复了相当大比例的、原本由访问私有文件的“先知权限”所提供的技能优势。
技能恢复： 从原始轨迹中提取的技能几乎填补了与先知技能之间的差距，其平均步骤成功率（SSR）为 73.5%，而先知技能为 76.5%。

4.2 REDACT 的有效性

REDACT 显著降低了下游方法重用受保护技能的能力：

技能抑制： 重写后，技能提取、演化和检索的平均 SSR 分别降至 67.5%、66.3% 和 65.5%。至关重要的是，这些数值降至或低于 无技能基准线（68.0%）。
NST 降低： 归一化技能转移从原始轨迹的 44.7–67.1% 降至 至多 -5.9%（受保护后），表明受保护的轨迹相对于完全没有技能的情况，并未提供任何程序性优势。
信息泄露： 恢复的受保护信息（RPI）在各渠道中下降了 37–48%。
困难任务： 保护措施在困难任务中最为关键，因为原始轨迹在此类任务中比基准线高出 6.5–10.5% 的 SSR，而 REDACT 将其压缩至至多 4.8%（或在某些方法中低于基准线）。

4.3 溯源检测

行为水印提供了强有力的重用证据：

真实检测率（TD）： 独立钩子（如“环境检查”）在学生模型上实现了 93.6–100.0% 的真实检测率。
误报率（FA）： 误报率保持在较低水平，至多为 1.9%。
上下文钩子： 虽然较难检测（TD 为 16.4–32.2%），但它们引入了零误报，这表明只有当学生模型保留了特定的执行上下文时，才会复现这些钩子。

4.4 审计完整性

REDACT 保留了轨迹用于审计的效用：

证据保留： 最终答案、工具名称、验证器路径和模式字段的保留率维持在原始水平的 91.0–96.6%。
运行稳定性： 工具调用计数和轨迹长度保持在原始轨迹的 90–110% 范围内。
人类评分： 受保护的轨迹在自然度（7.14/10）和审计可用性（6.48/10）方面获得了高分，且具有较高的评分者间一致性。

5. 重要性与主张

本文将公开的智能体轨迹视为安全接口。其主要意义在于证明了选择性脱敏可以在不移除实现透明度所需的审计证据的前提下，有效地减少程序化能力的泄露。

核心主张包括：

提出了新的评估问题： 将从智能体轨迹中进行可重用技能提取的形式化为“黑盒轨迹披露”问题。
创建了基准测试： 引入了 CAPTRACEBENCH，用于评估跨不同领域和难度等级的程序化技能保护。
双层防御机制： 证明了结合选择性轨迹重写（以移除可重用内容）与行为水印（以追踪溯源）是保护专有智能体技能的可行策略。
平衡的权衡： 结果表明，可以发布既支持调试和可复现性，又能剥离构成专有知识产权的具体公式、阈值和程序的轨迹。

作者指出了一些局限性，承认其评估使用的是带有自动验证器的受控任务，而现实世界的部署可能会涉及噪声更多的轨迹和更弱的验证器反馈。他们还强调，行为水印应被视为统计学上的溯源证据，而非加密级的权属证明。