💻 computer science

Watermarking Game-Playing Agents in Perfect-Information Extensive-Form Games

本文提出了一种通过适配大语言模型水印技术，为完美信息扩展式博弈中的博弈智能体添加水印的方法，证明该方法能够在对策略质量影响可忽略不计的前提下，可靠地检测未经授权的 AI 使用。

原作者： Juho Kim, Fei Fang, Tuomas Sandholm

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Juho Kim, Fei Fang, Tuomas Sandholm

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一个超级聪明的国际象棋机器人，它从不犯错。它强到足以击败世界冠军。但现在，想象有人利用这个机器人在在线国际象棋锦标赛中作弊。你如何证明：“嘿，这位玩家不是人类；他们使用的是我们特定的机器人”？

这正是本文要解决的问题。作者们创造了一种为游戏 AI“添加水印”的方法，类似于在纸币上放置隐藏的序列号以证明其真伪。

以下是他们想法的分解，使用简单的类比：

1. 核心理念：将游戏转化为秘密代码

研究人员意识到，玩游戏（如国际象棋）与写故事非常相似。

写故事：AI 根据前文选择下一个词。
玩游戏：AI 根据当前棋盘选择下一步棋。

正如作家有他们偏好的“绿色清单”词汇一样，作者们为游戏 AI 提供了一个秘密的“绿色清单”棋步和一个“红色清单”棋步。

技巧：AI 被编程为略微偏好“绿色清单”上的棋步。这种偏好不会改变其策略到使其变成弱手的程度，但足以留下隐藏统计特征。
结果：如果你观察 AI 下 20 或 30 盘棋，你可以运行一个数学测试（就像侦探数线索一样），看看该玩家是否比随机概率允许的频率更频繁地选择“绿色清单”棋步。如果是，你就知道他们使用的是那个特定的带水印 AI。

2. “绿色清单”的“魔力”

把“绿色清单”想象成一种微妙的推动。

想象你在森林（游戏）中行走。通常，你可能会走任何路径。
水印就像一阵微风，将你轻微地推向“绿色”路径。
如果你走 100 步，你可能察觉不到微风。但如果侦探观察你走 1000 步，他们会注意到你走的“绿色”路径比随机行走者多出 25%。这就是水印。

3. 权衡：强度与可检测性

本文提出了一个问题：“这种推动会让机器人下得更差吗？”

答案：其实不会。作者在六个著名的国际象棋引擎（包括世界闻名的 Stockfish）上测试了这一点。
类比：这就像要求一名职业篮球运动员因为“秘密代码”而稍微更多地用左手投篮。他们可能会比平时多投丢几个球，但他们仍然是职业选手。研究发现，带水印的机器人和原始机器人一样强大；差异小到基本上可以忽略不计。
难点：如果你让“推动”太强（试图让水印更容易被发现），机器人就会开始下得更差。你必须在“多容易抓到作弊者”与“机器人下得有多好”之间取得平衡。

4. 为什么这比纯文本更难

本文指出了写文本与玩游戏之间的一个关键区别：

文本：如果 AI 写了一个句子，你很难在不重写整个段落的情况下回去修改一个词。
游戏：在游戏中，你无法“撤销”一步棋。一旦你移动了兵，它就消失了。这实际上有助于水印！作弊者无法简单地“编辑”游戏历史以移除秘密代码。他们必须一步步地玩游戏，而他们走的每一步都会留下微小的指纹。

5. “黑盒”问题（效用问题）

有时，这些 AI 引擎的用户不仅想知道该走哪一步，还想知道那步棋有多好（分数）。

问题：如果 AI 告诉你“走法 A 值 5 分”，聪明的作弊者可以忽略秘密代码，直接选择得分最高的走法，从而绕过水印。
解决方案：作者创建了第二层保护。他们还将分数数字略微“推动”。如果水印是公开的，作弊者可以撤销这一点。因此，本文建议将评分系统保持为秘密（私有），这样作弊者就无法逆向工程出这个技巧。

6. 结果：快速抓住作弊者

作者进行了实验，让带水印的国际象棋引擎与正常引擎对弈。

性能：带水印的引擎表现几乎与原版完全一样。
检测：他们发现，只需几盘棋（有时甚至只需一两轮），就能以高度置信度检测到水印。
结论：你可以在游戏 AI 上放置一个隐藏的、不可擦除的身份标签，而不会让它变笨，并且你可以在短短几盘棋后抓住作弊者。

总结

本文是关于在游戏 AI 上放置隐藏的、不可擦除的指纹。它通过微妙地引导 AI 选择特定棋步来实现，从而创建一个统计模式以证明 AI 的身份。最棒的是？AI 这样做并不会变笨，而且你只需几盘棋就能抓住作弊者。

技术摘要：完美信息扩展式博弈中游戏智能体的水印技术

问题陈述
人工智能的快速发展已催生出在象棋、围棋和扑克等游戏中具备超人类水平的智能体。尽管这些智能体展现出卓越的性能，但其在竞争环境（如在线作弊）中的未经授权使用，以及潜在的知识产权（IP）盗窃（如代码抄袭或模型蒸馏），构成了重大挑战。现有的大语言模型（LLM）水印技术通过编码隐藏信号以验证输出来源，提供了一种潜在的解决方案。然而，由于结构差异，直接将 LLM 水印技术应用于游戏智能体并非易事：游戏涉及多名玩家的连续行动，需要保持策略质量（期望效用），且通常需要在行动建议之外披露估计效用。此外，与可能遭受离线后处理攻击的文本生成不同，游戏约束（如无法撤销走棋、存在观察者）将攻击者限制在在线、单步操纵范围内。

方法论
作者将 Kirchenbauer-Green-Keen (KGW) 水印（一种主流的 LLM 水印技术）适配到完美信息扩展式博弈（EFGs）中。核心方法论涉及修改博弈求解智能体的策略分布 $\sigma$ 。

KGW 对策略分布的适配：
- 绿/红列表划分： 对于给定的历史 $h$ ，可用动作 $A(h)$ 基于由当前观察哈希值种子的伪随机数生成器，被随机划分为“绿列表” $G$ （大小为 $\gamma|A(h)|$ ）和“红列表” $R$ 。
- 效用扭曲： 不同于 LLM 中修改 logits，该水印修改与动作相关的（估计）期望效用 $\vec{u}$ 。在绿列表动作的效用上添加一个硬度参数 $\delta$ ，同时从红列表动作中减去补偿值 $-\gamma\delta/(1-\gamma)$ 。这确保了效用的期望调整为零，从而在期望上保持整体分布不变。
- 动作选择： 智能体选择调整后效用最大的动作。当 $\delta \to \infty$ 时，智能体被迫仅选择绿列表动作；当 $\delta \to 0$ 时，水印仅作为平局打破机制。
期望效用的水印化：
- 为了解决用户需要查看估计效用（而不仅仅是动作）的需求，对效用值本身应用了并行的水印机制。这防止了攻击者通过简单地选择未修改效用最高的动作来绕过水印。
- 隐私约束： 论文指出，如果将期望效用返回给用户，水印必须使用秘密密钥进行私有部署。如果硬度参数 $\delta$ 是公开的，攻击者可以通过数学方法逆转效用调整，从而恢复真实底层模型的值。
检测机制：
- 检测依赖于统计检验（z 分数），比较观察到的绿列表动作频率（ $n_G$ ）与零假设（即玩家 unaware 水印）下的期望频率（ $\gamma n$ ）。
- 高 z 分数表明水印的存在。作者建议的阈值为 $z=4$ （约 $3 \times 10^{-5}$ 的假阳性率）。

主要贡献

游戏智能体水印的开创： 本文建立了完美信息 EFGs 中策略水印的首个框架，将 LLM 技术适配到博弈论领域。
理论界限： 作者提供了策略质量退化的理论分析界限。他们证明，水印造成的期望效用总损失（ $L$ ）受限于 $L \le n\delta(1 + \gamma/(1-\gamma))$ ，其中 $n$ 是动作数量。这展示了可检测性（更高的 $\delta$ ）与策略质量之间的权衡。
处理效用披露： 本文解决了游戏智能体的独特挑战，即用户需要估计的期望效用，提出了一种在不损害检测能力的前提下对这些值进行水印化的方法，前提是水印保持私有。
鲁棒性分析： 作者认为，游戏博弈的性质（连续的、可观察的、不可逆的走棋）本质上缓解了文本生成中常见的离线攻击向量，将攻击者限制在效果较弱的在线、单步操纵中。

实验结果
作者通过将水印引导至六个流行的通用象棋接口（UCI）引擎来评估该框架：asmFish 9、Dragon、Ethereal 14.40、PlentyChess、Stash v37.0 和 Stockfish 17.1。

性能影响： 在水印引擎与原始引擎进行的 100 轮比赛中，Elo 差异微乎其微且在误差范围内。例如，Stockfish 17.1 显示 +24.4 的 Elo 差异（统计上不显著），asmFish 9 显示 -10.4。水印引擎表现较差的可能性（LOI）通常未能达到 90% 的置信度，表明水印并未显著降低棋力。
可检测性： 水印在少量对局后即可被高置信度检测到。大多数水印引擎在前 2 到 9 轮内就超过了 $z=4$ 的阈值。
参数消融： 改变绿列表大小（ $\gamma$ ）和硬度（ $\delta$ ）的实验表明， $\gamma=0.25$ 和 $\delta=0.5$ 兵 offered 了最佳平衡。增加 $\delta$ 改善了检测指标（更高的 z 分数和曲线下面积），但显著降低了引擎强度（更高的 LOI）。

意义与主张
本文声称开创了游戏策略水印的研究，证明了可以在不显著损害性能的情况下，将鲁棒的、独特的签名嵌入游戏智能体中。作者断言，他们的方法允许通过对游戏数据进行统计检验，来检测未经授权的 AI 使用（如作弊）或 IP 盗窃（如蒸馏）。他们强调，尽管可检测性与质量之间存在权衡，但质量的退化是可以被限定的，并且在实践中通常可以忽略不计，特别是当底层模型已经依赖启发式估计时。这项工作突出了游戏博弈与文本生成截然不同的环境，需要针对效用披露和对抗攻击性质进行特定的适配。