💻 computer science

Sequential Behavioral Watermarking for LLM Agents

本文介绍了 SeqWM，这是一种序列行为水印框架，它将所有权信号嵌入到以历史为条件的智能体转换模式中，从而在保持智能体效用的同时实现鲁棒且与位置无关的轨迹验证，克服了现有方法将动作视为独立试验所导致的脆弱性。

原作者： Hyeseon An, Shinwoo Park, Dongsu Kim, Yo-Sub Han

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Hyeseon An, Shinwoo Park, Dongsu Kim, Yo-Sub Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《面向大语言模型智能体的序列行为水印》（SeqWM）的通俗解读，辅以生动的类比。

核心难题：“黑盒”智能体

想象你雇佣了一位技艺高超的机器人助手（大语言模型智能体）去处理复杂任务，比如规划旅行或调试代码。这位机器人不仅仅会写一份最终报告，它还会做出一连串决策：“我先查天气”，然后“预订航班”，接着“叫出租车”。

问题所在： 如果你看到这一系列动作列表，你怎么知道是哪个机器人执行的？

是你雇的机器人做的吗？
是竞争对手的机器人做的吗？
还是黑客窃取了你的机器人“大脑”，复制了一个能做出完全相同行为的副本？

目前，这很难分辨。机器人的内部思维（它生成的文本）往往被隐藏，我们只能看到最终动作。如果有人复制了机器人的行为，他们就能在未被察觉的情况下窃取你的知识产权。

旧方法为何失败

科学家曾试图通过在机器人写的文字上添加“数字水印”来解决这个问题（就像在信纸上盖一个隐形的墨水印章）。

缺陷： 在智能体领域，动作比文字更重要。如果一个机器人决定“叫出租车”，它可以用一千种不同的方式说出来。文字上的水印会被噪音淹没。
“整数序号”陷阱： 一些新方法试图通过给动作打标签来添加水印，依据是它们的顺序（例如：“第 1 个动作必须是 A，第 2 个必须是 B"）。
- 类比： 想象一段舞蹈编排，水印规则是“第 1 步是旋转，第 2 步是跳跃”。如果观众错过了第 1 步（也许视频剪辑掉了），他们就会数错。突然之间，第 2 步看起来像是“第 1 步”，整个水印就失效了。这种系统太脆弱了；只要缺失一步，整个证明就会崩塌。

解决方案：SeqWM（“情境舞蹈”水印）

作者提出了SeqWM，这是一种新的智能体水印方法，它不关心具体的步骤编号，而是关注动作的模式。

1. 核心理念：“历史是关键”

SeqWM 不问“这是第 5 步？”，而是问"最近几步发生了什么？"

类比： 想象一个秘密握手。
- 旧方法： “如果你是队伍里的第 5 个人，就击掌。”（如果有人离开队伍，所有人都会前移，原本的“第 5 人”变成了“第 4 人”，规则因此失效）。
- SeqWM 方法： “如果你前面的人做了‘挥手’，再前面的人做了‘点头’，那么你就必须做‘拍手’。”
- 为何有效： 无论你是第 5 个人还是第 50 个人都无关紧要。只要模式（挥手 -> 点头 -> 拍手）存在，水印就在那里。如果有人删除了中间的某一步，模式只是稍微偏移，但其余的舞蹈依然保留着秘密。

2. “多通道”安全网

为了确保即使视频片段被切碎，水印依然能幸存，SeqWM 使用了多个通道（就像同时运行 8 套不同的秘密代码）。

类比： 与其把秘密信息写在一张纸上，不如把它写在 8 张不同的纸上。如果小偷烧毁了一两张，你仍然可以从剩下的六张中读出信息。
在 SeqWM 中，智能体的决策会根据从近期历史中提取的 8 个不同“秘密密钥”进行微调。即使智能体的行为杂乱无章，这 8 个通道中的统计模式也能揭示水印。

3. “随机密钥”侦探

如何证明这是水印而不是巧合？

旧方法： 你尝试猜测秘密代码。如果你猜对了，就找到了水印。
SeqWM 方法： 侦探将动作序列放入“模拟器”中，使用数千个错误的秘密密钥进行运行。
- 如果该序列是用真实密钥添加水印的，得分会非常高。
- 如果你用错误的密钥运行，得分会很低（就像背景噪音）。
- 类比： 想象你要寻找一个特定的广播电台。你调频扫过 1,000 个随机频率。大多数听起来像静电噪音。但有一个频率（真实密钥）播放着清晰的歌曲。如果这首歌相对于噪音足够响亮，你就知道它是真实的。这种方法在数学上被证明是公平的，即使机器人的行为很奇怪或视频被剪辑过。

实验结果

研究人员使用不同的 AI 模型，在三种不同类型的 AI 智能体（分别用于工具调用、物理任务和社会模拟）上测试了该方法。

可靠性： SeqWM 几乎 100% 的时间成功识别了智能体行为的“所有者”，而旧方法经常失败。
鲁棒性： 当他们通过删除 10%、20% 甚至 50% 的动作来模拟“攻击”（就像从视频中切掉片段）时，SeqWM 仍然有效。旧的“整数序号”方法在仅删除一步后就立即崩溃。
无害性： 水印并没有让机器人变“笨”或改变其解决问题的能力。它只是以用户不可见但验证者可检测的方式微调了选择。

总结

SeqWM 就像是在机器人的舞步上而不是话语上添加水印。它不数步骤（一旦漏掉一步就会失效），而是观察动作之间的关系（例如，“旋转之后很可能是跳跃”）。通过使用多套秘密代码和巧妙的统计测试，即使行为的部分内容缺失或隐藏，它也能证明是谁创造了机器人的行为。这保护了 AI 智能体的创作者，防止他们的工作被盗用或复制。

技术摘要：面向 LLM 智能体的序列行为水印（SeqWM）

1. 问题陈述

大语言模型（LLM）智能体已从文本生成器演变为自主决策者，能够进行规划、调用工具并与外部环境交互。这一转变造成了一个关键的溯源缺口：尽管这些智能体的知识产权存在于其决策能力中（通过昂贵的轨迹数据后训练获得），但轨迹本身作为有价值的资产，极易遭受未经授权的复制和模仿攻击。

现有的 LLM 水印解决方案主要在词元（token）级别运行，通过偏置词汇词元的采样来实现。然而，这种方法对智能体无效，原因有二：

单位不匹配：高层级的智能体决策（例如“调用工具 X"）是通过大量词元实现的。词元级别的偏置在影响实际动作之前就会稀释信号。
可观测性限制：在许多已部署的智能体系统中（82.8% 的受调查平台），内部推理痕迹和中间词元是隐藏的；检测器仅能观察到最终的动作流。因此，词元级别的信号在验证前就被丢弃了。

近期的行为水印尝试将每个动作步骤视为独立试验，通常基于绝对轮次索引来播种水印。这种方法非常脆弱：如果轨迹被截断、删除，或在未完美对齐的情况下被观察，索引就会发生偏移，导致检测器与水印逻辑失步，从而使整个序列无法被检测。

2. 方法论：SeqWM

作者提出了SeqWM，这是一个将水印信号嵌入到基于历史的转移模式中，而非边缘动作频率或绝对位置的框架。该方法包含三个核心组件：

A. 基于历史的多通道编码

SeqWM 不使用绝对步骤索引 $t$ 来播种水印，而是使用 preceding 动作窗口 $c_t = (b_{t-w}, \dots, b_{t-1})$ 作为种子。

机制：对于秘密密钥 $K$ ，系统利用带密钥的哈希函数，为 $m$ 个独立通道中的每一个推导出候选动作的伪随机子集 $B^{(j)}_{g,t}$ ： $B^{(j)}_{g,t} = G_K(c_t \parallel j)$ 。
偏置：智能体的动作分布 $P_t$ 通过基于多通道分数 $s_t(b)$ 的指数倾斜被修改为水印分布 $P^{wm}_t$ ，该分数统计有多少个通道倾向于特定动作 $b$ 。
效果：水印偏置的是条件转移 $P(b_t | c_t)$ ，而不是 $b_t$ 的边缘频率。这确保了即使攻击者匹配了边缘分布，信号依然能够留存。

B. 滑动窗口检测

检测器以位置无关的方式运行。它不依赖于已知观测序列的绝对步骤索引。

机制：检测器在观测到的动作序列 $\hat{b}$ 上滑动一个大小为 $w$ 的窗口。对于每一个长度为 $w$ 的子串，它检查随后的动作是否与该特定历史和秘密密钥导出的引导子集相匹配。
鲁棒性：由于相同的历史窗口无论其绝对位置如何都能确定性地产生相同的引导子集，检测器可以聚合来自截断或损坏序列中任何有效转移的证据。这与基于轮次索引的检测器形成对比，后者在发生单次删除时会导致所有后续索引偏移，从而引起全局失步。

C. 随机密钥校准

标准统计检验（如二项式 $z$ -检验）假设检测指标之间是独立的，但这在此处无效，因为智能体行为具有序列性且窗口存在重叠。

解决方案：该框架利用观测序列本身构建经验零分布。它使用真实密钥 $K$ 计算检测分数，并将其与使用 $M$ 个随机“错误”密钥 $K_r$ 生成的分数进行比较。
有效性：由于错误密钥保留了序列的自然依赖关系但消除了水印对齐，生成的 $p$ -值是无分布的，即使在对抗性破坏（删除、截断）下依然有效。

3. 主要贡献

框架重构：本文将智能体水印重新框架化为序列编码问题，识别出一种不对称性：生成是通过历史链式进行的，但验证可以聚合局部转移证据而无需重构整个链条。
方法：提出了 SeqWM，结合了基于历史的编码、滑动窗口检测和随机密钥校准，以实现位置无关的验证。
理论：理论分析证明，虽然基于轮次索引的检测在删除下会崩溃（期望对齐前缀长度为 $O(1/\rho)$ ），但滑动窗口检测仅遭受局部的、加性的证据损失（ $d(w+1)m$ 个指标），从而保留了检测能力。
实证评估：在三个基准测试（ToolBench, ALFWorld, OASIS）和三个 LLM 骨干网络（Gemma, LLaMA, Qwen）上进行了广泛的实验。

4. 实验结果

检测可靠性：SeqWM 在所有模型和基准测试中始终实现统计显著的检测（ $p < 0.01$ ），而基线方法（AgentGuide, AgentMark）经常无法与零假设区分，特别是在 OASIS 和某些 LLM 上。
对删除的鲁棒性：在高达 50% 的随机动作删除率下，SeqWM 保持了高真阳性率（TPR）。相比之下，基于轮次索引的基线（AgentGuide）由于索引失步，在低删除率下立即崩溃。
效用保留：水印过程保留了智能体效用。偏置强度（ $\gamma$ ）可以调整（例如 $\gamma=2.0$ ），以在不过度降低任务性能的情况下实现可靠检测。
多通道的必要性：消融研究表明，单通道变体即使在高偏置强度下也无法提供可靠的检测，证实了冗余通道对于在轨迹中积累足够证据至关重要。

5. 意义与主张

本文主张，序列结构在智能体水印中不仅仅是麻烦，更是溯源信号的强大载体。通过将水印从每步统计量转移到条件转移模式，SeqWM 解决了以往行为水印方法中固有的对齐问题。

作者将 SeqWM 定位为自主智能体部署中问责制和事后审计的净收益。他们强调，他们的方法使轨迹破坏（删除、截断）成为局部的证据损失来源，而非全局的检测器失效。这项工作表明，将这一视角扩展到更强的自适应攻击和语义级轨迹编辑是未来研究的必要方向，但当前的贡献为验证智能体溯源建立了一个鲁棒的、位置无关的基础。