🤖 machine learning

When Actions Disappear: Adversarial Action Removal in Self-Play Reinforcement Learning

本文研究了自博弈强化学习中的对抗性动作掩蔽，表明选择性地移除合法动作所造成的破坏远大于扰动，且在不同算法和领域中均持续存在，能够利用高价值决策点并使恢复成为不可能。

原作者： Arahan Kujur

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Arahan Kujur

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在与一台超级聪明的计算机对手进行一场高风险的扑克游戏。你已经训练了数月，掌握了每一种可能的走法与应对策略。你感到信心满满。但随后，游戏以一种你无法察觉的方式发生了变化：有人悄悄拿走了你的牌。

并非拿走所有的牌，只是那些能帮你赢得这一手牌的具体牌。你仍然必须出牌，但你最好的选择已经消失。你被迫做出一个你从未想过的举动，然后输掉了比赛。

这篇论文讲述的是一种针对人工智能（AI）的新型“黑客”攻击，其运作方式与此完全相同。这种攻击不是用虚假信息迷惑 AI（比如在停车标志上贴一张贴纸，让自动驾驶汽车误以为那是限速标志），而是彻底剥夺 AI 的选择权。

以下是这项研究的通俗解读：

1. 设定：“沉默的破坏者”

研究人员研究了通过自我对弈（称为“自我博弈”）来学习 AI 智能体。像那些在围棋或扑克中击败人类的 AI，就是通过这种方式变得如此强大的。

受害者：一个试图学习最佳策略的 AI。
攻击者：一个“破坏者”AI，它并不试图自己赢得游戏。相反，它的唯一任务是查看受害者的选项，并在受害者做出选择之前删除最佳选项。
规则：攻击者只能删除有限数量的选项（即“预算”），但它会精确选择删除哪些选项以造成最大的混乱。

2. 重大发现：“拿走钥匙”比“卡住锁”更糟糕

先前的研究主要集中在“扰动”上——基本上是在 AI 的感知中添加噪音或混乱。想象一下戴着雾蒙蒙的眼镜开车。这很烦人，但你仍然可以转向。

这篇论文表明，移除动作就像完全把方向盘拿走一样。

结果：“动作移除”攻击造成的损害比随机移除或基于噪音的攻击高出 4 到 5 倍。
类比：如果你是一名厨师，随机噪音就像有人摇晃盐瓶，让你无法判断加了多少盐。而动作移除则像是有人拿走了盐瓶，强迫你只使用糖。你仍然可以做饭，但菜肴会被毁掉。

3. “魔法公式”：寻找弱点

攻击者如何知道要删除哪些动作？它使用研究人员称为CAC（情境行动能力）的一个巧妙指标。

将游戏中的决策点想象成道路的分岔口。
有些分岔口是微不足道的（你可以向左或向右，影响不大）。
有些分岔口是关键的（向左走能赢得比赛；向右走则输掉比赛）。
攻击者寻找 AI 经常访问的关键分岔口，并删除“获胜”路径。
研究人员发现，他们越是在这些关键时刻削弱 AI 的选择能力，AI 的性能崩溃得就越厉害。

4. 它无处不在（不仅仅限于扑克）

研究人员在多种不同的“世界”中测试了这种攻击：

扑克：从微小的 6 张牌游戏到巨大的 5,500 张牌游戏。
网格世界：一个简单的电子游戏，角色试图在避开捕食者的同时到达目标。
资源收集：一个关于收集物品的游戏。

在每一个案例中，攻击都奏效了。无论 AI 是基于简单数学的学习器，还是复杂的神经网络（如现代深度学习中使用的那些），结果都一样。如果你拿走了 AI 的最佳走法，它就会被击垮。

5. AI 无法“习惯它”

通常，如果你在困难的环境中训练 AI，它最终会学会适应。

发现：当研究人员在训练过程中保持“动作移除”激活状态时，AI没有恢复。它依然处于瘫痪状态。
原因：因为攻击改变了游戏的基本规则。AI 不仅仅是在学习新技巧；它被迫在一个获胜走法已被删除的游戏中进行游戏。如果你的最佳走法缺失，再多的练习也无济于事。

6. “扩展”带来的惊喜

游戏越复杂，攻击就越严重。

在微小的游戏中，攻击者的效率比随机猜测高出约 2 倍。
在巨大而复杂的游戏里，攻击者的效率接近 5 倍。
隐喻：在一个小房间里，如果你挡住一扇门，你可以绕过去。在一个巨大的迷宫中，如果你挡住了唯一通向出口的那条特定走廊，你就被困住了。游戏越大，那些特定的“被阻挡”的选择就越有价值。

总结

这篇论文揭示了 AI 的一个隐藏弱点：当它们的选择被剥夺时，它们会变得脆弱。

当前的 AI 安全研究通常担心 AI 会被错误数据“欺骗”。这篇论文指出，我们还需要担心 AI 因选项被剥夺而被“戴上手铐”。研究人员发现，聪明的攻击者可以轻易识别 AI 做出的最重要决策并将其删除，从而导致 AI 彻底失败，无论该 AI 多么聪明或复杂。

核心结论：如果你构建了一个依赖完整选项菜单进行选择的 AI，你就需要保护这份菜单。如果敌人能从菜单中删除最佳项目，无论该 AI 训练得多么好，它都将面临“饥饿”的结局。

技术摘要：自博弈强化学习中的对抗性动作移除

问题定义

本文调查了多智能体强化学习（MARL）中一个新颖且严重的对抗性攻击面：对抗性动作掩蔽。与以往专注于观测扰动（向输入添加噪声）或奖励操纵的研究不同，本研究形式化了一种攻击，即对抗者在智能体做出决策之前，选择性地从受害智能体的动作集中移除合法动作。

该问题被构建为一个双层优化问题：

内循环：受害智能体（玩家 0）在由掩蔽定义的受限动作空间下，通过自博弈进行训练。
外循环：对抗者（玩家 1）学习一种策略，以在特定的信息状态下选择移除哪些动作，从而最小化受害智能体的期望价值。

对抗者在一个预算约束 $k$ 下运行，限制了可以移除动作的信息状态数量，但必须确保每个状态至少保留一个合法动作。核心假设是，移除决策选项（结构性缩减）在性质上不同于且比有界扰动更具破坏性，因为它可以将决策点坍缩为单一动作，从而消除智能体的选择能力。

方法论

形式化框架

作者将环境建模为双人零和扩展式博弈。对抗者被定义为映射 $M: I_0 \to 2^A$ ，该映射在每个受害智能体信息集 $h$ 处选择一个动作子集予以保留。对抗者的目标是最小化受害智能体的价值 $V_0(\pi^*_M)$ 。

机制分析：
本文引入了两个指标来解释攻击机制：

到达加权偶然动作容量（ $CAC_w$ ）：衡量在到达的信息状态下剩余的多动作决策容量，并根据其到达概率 $\rho(h)$ 进行加权。
价值加权细化（ $CAC_v$ ）：一个更精确的指标，根据受害智能体的最优动作与强制动作之间的价值差距 $\delta(h)$ 对容量进行加权： $CAC_v = \sum \rho(h) \cdot \delta(h) \cdot \mathbb{1}[|M(h)| > 1]$ 。

理论命题表明，贪婪的对抗者会针对具有高 $\rho(h) \cdot \delta(h)$ 的状态，有效地将 $CAC_w$ 和 $CAC_v$ 压低。在特定条件下（例如 $\epsilon$ -greedy Q-learning），作者证明，如果 $CAC_w$ 被驱动至零，受害智能体的策略将收敛于唯一的强制动作，导致一个稳定但次优的固定点。

实验设置

该研究在以下方面评估了该攻击：

算法：五种不同的学习算法，包括表格 Q 学习、表格 PPO、表格 NFSP（神经虚构自博弈）、神经 NFSP 和 DQN。
领域：
- 扑克：Kuhn 扑克（6 个状态）、Leduc 扑克（50 个状态）以及扩展变体 Leduc-5（389 个状态）、Leduc-10（1,496 个状态）和 Leduc-20（5,531 个状态）。
- 非扑克：竞争网格世界（149 个状态）和资源收集（18,604 个状态）。
基线：与随机动作移除、固定动作移除以及学习扰动（RARL 风格）攻击进行比较。

训练协议涉及在 20–25 次外循环迭代中，交替进行 500 个回合的受害智能体训练和对抗者的一步梯度更新（使用 REINFORCE 算法）。

关键结果

1. 对抗性掩蔽的优越性

学习到的对抗性掩蔽造成的损害远大于随机掩蔽或学习到的扰动。

在 Leduc 扑克中，在可比的支持水平下，学习到的移除造成的损害是随机掩蔽的4.8 倍。
与具有相等训练预算的学习扰动（RARL 风格）相比，对抗性动作移除在 Kuhn 扑克中的损害是后者的4 倍。
即使对抗者仅被限制使用公共信息，该攻击依然有效，尽管访问私有信息会产生更强的结果。

2. 随复杂度的扩展

学习到的对抗者的优势随着博弈复杂度的增加而增大。

在 Leduc 系列中，损害比率（对抗性/随机）从（约 50 个状态时的）2.2 倍扩展到（5,531 个状态时的）4.8 倍。
这表明更大、更复杂的博弈为对抗者提供了更多的“战略异质性”以供利用。

3. 算法与领域的不变性

这种脆弱性并非特定于单一算法或领域：

算法：所有测试的智能体（QL、PPO、NFSP、DQN）在对抗性掩蔽下均崩溃。即使是稳健的博弈求解方法神经 NFSP，其性能也显著下降（在 Leduc-5 中从 -0.13 降至 -1.89）。
领域：该现象在非扑克环境中同样存在。在竞争网格世界中，对抗性掩蔽造成的损害是随机掩蔽的 1.9 倍。在资源收集中，差距为 1.4 倍。

4. 缺乏恢复能力

即使在掩蔽激活的情况下进行延长训练，受害智能体也无法恢复。

当在固定的对抗性掩蔽下继续训练时，受害智能体的奖励稳定在一个显著低于无掩蔽基线的水平。
在最终学习到的掩蔽上从头开始重新训练也会导致巨大损失，表明这种结构性损害无法通过适应轻易缓解。

5. 机制相关性

$CAC_w$ 和 $CAC_v$ 的减少与受害智能体性能下降之间存在强烈的实证相关性。

$CAC_w$ 与受害智能体奖励的相关系数为 $r = 0.80$ 。
$CAC_v$ 的相关系数为 $r = 0.81$ ，这表明针对具有高价值差距的状态是攻击成功的主要驱动力。

意义与主张

本文认为，动作可用性构成了自博弈强化学习中一个独特的鲁棒性表面，独立于观测或奖励的鲁棒性。

结构性脆弱：研究结果表明，自博弈智能体对动作空间中的针对性结构性变化非常脆弱。与添加噪声的扰动不同，移除会消除决策选项，从而坍缩智能体的战略灵活性。
当前防御的局限性：现有的鲁棒 MARL 防御（例如针对扰动进行训练或使用种群多样性）是不够的，因为它们假设联合动作空间保持完整。本文指出，平均策略或维持种群多样性无法恢复被消除的战略维度。
部署影响：在现实世界的系统中，如果对抗者能够禁用特定功能（例如 API 端点、执行器），智能体可能会遭受灾难性故障。作者建议，有效的防御必须专注于在高到达率、高价值的决策点（ $CAC_v$ ）保持战略灵活性，而不是针对任意动作不可用性优化统一鲁棒性。

作者对其理论主张保持谦逊，指出损害界限是局部且可加的，而扩展趋势是经验性的（基于四种博弈规模），而非已证明的扩展定律。他们承认，在完整扑克规模（ $10^5+$ 个状态）和连续动作领域中的验证仍是未来的工作。