🤖 AI

Differentiable Belief-based Opponent Shaping

本文提出了一种基于可微信念的对手塑造方法（D-BOS），这是一种一阶方法，通过对 $k$ 步 softmax-贝叶斯信念动力学进行微分来优化多智能体策略，从而在不依赖硬编码欺骗目标的情况下自然地塑造对手信念，在隐藏角色和混合动机游戏中相较于现有基线实现了更优越的性能。

原作者： Aarav G Sane, Karthik Sivachandran, Rohan Paleja

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Aarav G Sane, Karthik Sivachandran, Rohan Paleja

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正和一群朋友玩一场复杂的“黑手党”或“Among Us”游戏。在这些游戏中，每个人都有秘密角色（如“间谍”或“反派”），而目标不仅仅是为自己做出最佳行动，更是要操控朋友们对你的看法。

如果你表现得过于可疑，大家就会识破你是间谍并投票将你淘汰；如果你表现得过于无辜，又可能错失破坏团队的机会。最聪明的玩家不会仅仅被动反应，而是主动尝试塑造群体心中关于“他们是谁”的“心理地图”。

本文介绍了一种名为D-BOS（可微信念导向对手塑造）的新型计算机程序，它教会 AI 智能体如何做到这一点：操控其他玩家对它们的信念。

以下是其工作原理的简要解析，辅以简单的类比：

1. 问题所在：“硬编码”的诡计多端者

以往用于欺骗的 AI 方法，就像是一个遵循严格、呆板规则手册的机器人。

旧方法（BBM）：想象一个机器人间谍，其内部有一条硬编码指令：“每次我说话时，都必须试图让人们认为我是无辜的。”它盲目地、一步步地执行这一指令。
缺陷：如果机器人试图表现得过于明显，其他玩家会立刻察觉。这就像一个魔术师不断说：“我绝对没有在变魔术！”其他玩家反而意识到其中有诈。

2. 解决方案：“战略傀儡师”（D-BOS）

作者提出了 D-BOS，它更加智能。D-BOS 不再遵循“要欺骗”这样的规则，而是问：“五步之后，我的朋友们会如何看待我？我该如何在当下行动，才能让那个未来的信念帮助我获胜？”

将 D-BOS 想象成一位能预见未来的棋手。

将“信念”视为一种状态：在这个系统中，AI 不仅观察棋盘，还观察其他玩家的头脑。它将他们的“信念”（例如“我认为特工 X 是间谍”）视为一种可以推拉的物理对象。
“可微”的魔力：“可微”是一个数学术语，本质上意味着 AI 能够精确计算其行动产生的连锁反应。它可以在脑海中运行模拟：“如果我执行行动 A，朋友会认为 X；如果我执行行动 B，他们会认为 Y。哪种想法能让我在后续游戏中获胜？”

3. 工作原理：“时空穿越之镜”

该论文描述了一个 AI 展开"k 步”模拟的过程。

类比：想象你拿着一面镜子，镜中显示的是对手的想法。D-BOS 不仅仅看一次镜子，它会看镜子，然后想象在你行动之后对手会怎么想，接着再想象在那之后对手会怎么想，如此循环，向未来推演数步。
目标：随后，它逆向推导，找出此刻最完美的行动，引导那面镜中的影像走向 AI 获胜的境地。
自然策略：关键在于，AI 并没有被指令去“撒谎”。它只被指令去“获胜”。如果撒谎有助于获胜，它就会撒谎；如果说真话有助于获胜（例如诱骗敌人信任它），它就会说真话。这种策略并非源于僵化的欺骗规则，而是自然地从获胜的渴望中涌现出来。

4. 结果：优于其他方法

作者在三种不同的“游戏”中测试了该 AI：

营救将军：一款视觉游戏，团队试图拯救或杀死某个角色。
阿瓦隆：一款带有隐藏角色的社交推理游戏（类似黑手党）。
硬币游戏：一款带有隐藏动机的简单网格游戏。

研究发现：

旧方法（PPO）：标准 AI 表现尚可，但并未真正理解其行动如何改变他人的想法。
“硬编码”方法（BBM）：试图在每一步都进行欺骗的 AI，实际表现不如标准 AI。它过于明显，极易被识破。
D-BOS 方法：该 AI 表现最佳，尤其是在社交推理游戏（阿瓦隆）中。它学会了在隐藏敌人身份和向盟友暴露身份之间取得平衡，一切皆为了最大化团队得分。

5. 局限性：“模糊的镜子”

论文也承认了一个局限性。为了预测他人的想法，AI 必须猜测他们看到了什么。

类比：如果你试图猜测朋友在想什么，你就必须猜测他们看到了什么。如果你的猜测稍有偏差，而你试图规划十步之后的行动，那个微小的误差就会被放大，导致你的计划分崩离析。
结果：当 AI 规划几步之后（例如三步）时，效果最佳。如果它试图在复杂视觉游戏中规划太远（例如五步），“模糊的镜子”会变得过于扭曲，导致策略失效。

总结

D-BOS 是一种让 AI 学习社交策略的新方法。它不再是一个盲目遵循“欺骗”指令的机器人，而是一位战略思考者，它理解：“我的行动会改变你对我的看法，而你的看法会改变你的玩法。我会选择我的行动，将你的信念引导至有助于我获胜的方向。”

它证明了，在涉及隐藏角色的游戏中，获胜的最佳方式不仅仅是擅长游戏本身，更是要擅长管理其他玩家关于你的故事。

技术摘要：可微分基于信念的对手塑造（D-BOS）

问题陈述

在多智能体强化学习（MARL）中，智能体通常在具有隐藏角色和部分可观测性的环境中运行，例如社会推理游戏（如《阿瓦隆》）或策略网格世界（如《营救将军》）。在这些设定中，智能体的成功不仅取决于其即时行动，还取决于这些行动如何影响其他智能体（观察者）关于该智能体潜在角色（例如盟友或对手）的后验信念。

现有方法面临两个主要局限性：

对手塑造（例如 LOLA）： 传统方法通过对对手的参数或策略更新进行微分来实现。这些方法通常需要高维的可微分对手学习模型、关于对手优化器的强假设，并且通常仅限于双人设定。
信念操纵（例如 BBM）： 贝叶斯信念操纵（BBM）等方法对隐藏信念进行建模，但依赖于短视的、硬编码的目标（例如固定的欺骗奖励）。这些目标往往脆弱，无法适应复杂的混合动机环境，在这些环境中，最优策略涉及由任务奖励而非静态先验驱动的协作与隐蔽之间的动态平衡。

核心问题在于开发一种直接在信念空间中运行的对手塑造方法，将对手的信念状态作为塑造目标，并允许塑造的最优方向（协作与欺骗）在环境奖励结构的驱动下，在多步时间范围内自然涌现。

方法论：可微分基于信念的对手塑造（D-BOS）

D-BOS 是一种一阶方法，它将每个观察者对隐藏角色的后验分布视为“被塑造的对手状态”。D-BOS 不是对对手的学习算法进行微分，而是对观察者的k 步 softmax-Bayes 信念动态进行微分。

核心机制

可微分信念更新： 该方法将标准贝叶斯信念更新重新表述为可微分操作。给定由智能体行动导出的对数似然向量 $\ell_t$ 和先验信念 $b_t$ ，更新表示为：
$b_{t+1} = \text{softmax}(\ell_t + \log b_t)$
这种表述允许计算信念更新相对于智能体策略参数 $\theta$ 的雅可比矩阵，从而实现对信念轨迹的反向传播。
多步塑造： 智能体将该信念更新展开 $k$ 步，以生成未来信念状态轨迹 $\hat{B}_{t:t+k}$ 。随后，它计算损失 $L^k_{BOS} = -V_\phi(o_{t+k}, \hat{B}_{t+k})$ ，其中 $V_\phi$ 是一个信念评论家（BeliefCritic）。该评论家根据智能体的局部观测和所有观察者的联合估计信念状态，估计预期的未来任务回报。
梯度注入： D-BOS 遵循 LOLA 风格的范式，其中塑造梯度是从同策略展开中计算得出的，并作为固定修正注入到标准的 PPO 更新中：
$\theta \leftarrow \theta - \alpha \left( \nabla_\theta L_{PPO} + \frac{g_{BOS}}{M} \right)$
此处， $g_{BOS}$ 是信念塑造损失关于 $\theta$ 的梯度。
观测代理： 为了解决智能体无法直接观察观察者私有信息的问题，D-BOS 采用两种模式：
- 规范模式（Canonical Mode）： 使用智能体自身的观测作为所有观察者的代理（适用于具有共享视角的环境）。
- 估计模式（Estimated Mode）： 使用一个学习到的逆向预测模块来推断特定观察者 $j$ 认为智能体 $i$ 观测到了什么（ $\hat{o}_{i,j,i}$ ）。这对于混合动机设定至关重要，因为智能体必须塑造相互冲突的信念（例如，欺骗对手的同时与盟友协调）。

理论基础

充分统计量： 论文证明，对于贝叶斯理性的对手，信念状态 $b_t$ 是对手策略的充分统计量。因此，塑造信念在数学上等同于塑造对手诱导的策略，从而产生与 LOLA 相同的元梯度结构，但在低维信念空间中实现。
误差界限： 作者推导了二阶心智理论（估计观察者看到了什么）中的近似误差如何通过 $k$ 步信念链传播的界限。分析揭示了一种权衡：更长的前瞻（ $k$ ）提供了更好的时间信用分配，但会放大观测代理中的误差，特别是在观察者信念变得饱和（高置信度）时。

主要贡献

可微分信念动态： D-BOS 引入了一种一阶方法，该方法通过 $k$ 步 softmax-Bayes 更新进行反向传播，利用显式的 softmax 雅可比矩阵生成时间扩展的信念塑造梯度。
信念空间中的 LOLA： 该工作确立了在贝叶斯观察者模型下，塑造信念等同于塑造对手策略，为参数空间的对手塑造提供了一种低维替代方案。
理论误差界限： 论文提供了关于二阶心智理论近似所导致的梯度误差的严格界限，明确刻画了前瞻范围与信念模型精度之间的权衡。
实证验证： D-BOS 在三个隐藏角色环境（《营救将军》、《阿瓦隆》、多智能体硬币游戏）中进行了评估，证明了其优于 PPO 和 BBM，特别是在混合动机设定中。

实验结果

作者在三个环境中评估了 D-BOS 与 PPO（无塑造）和 BBM（短视信念操纵）的表现：

营救将军（Rescue-the-General, RTG）： 一个高维视觉网格世界。
- 结果： D-BOS 显著优于两个基线。值得注意的是，BBM 的表现甚至不如原始 PPO（胜率 0.047 对比 0.101），证实了硬编码欺骗的脆弱性。D-BOS 在 $k=3$ 时达到峰值，但在 $k=5$ 时性能下降，验证了理论预测：在复杂的视觉设定中，更长的时间范围会放大近似误差。
阿瓦隆（Avalon）： 一个具有混合动机的 5 人社会推理游戏。
- 结果： D-BOS 实现了最高的胜率（ $k=3$ 时为 0.423，使用估计模式后升至 0.557）。估计模式通过建模不同的观察者视角，取得了最佳结果，证明了在社会推理中进行多观察者塑造的必要性。BBM 再次表现不如 PPO。
多智能体硬币游戏（Multi-Agent Coin Game）： 一个具有临时角色重采样的空间游戏。
- 结果： D-BOS 仅显示出相对于 PPO 的适度提升。作者将此归因于该方法依赖于持久身份和丰富的通信渠道，而在该环境中，角色每局重置，限制了这些条件。

关键发现： 在所有环境中，BBM 的表现始终不如原始 PPO，验证了论文的动机，即短视的、硬编码的欺骗目标存在根本缺陷。D-BOS 通过让任务奖励决定塑造方向，实现了稳健的改进。

意义与主张

该论文将 D-BOS 定位为迈向具有影响力意识的多智能体系统的重要一步。其主要意义在于将对手塑造的焦点从高维策略参数转移到了低维信念状态。

策略的自然涌现： 与之前需要人工设计欺骗或协作目标的方法不同，D-BOS 允许最优策略从环境的奖励结构中有机地涌现。
可解释性与可审计性： 通过在信念单纯形而非不透明的参数空间中运行，D-BOS 提供了一种机制，使从业者能够检查智能体试图让观察者相信什么，从而为人类 - 智能体协作中更可审计的 AI 提供了一条路径。
可扩展性： 信念状态的低维度（ $|Z|-1$ ）使得在计算上可行地同时维护和塑造多个观察者的独立信念轨迹，这是基于参数的塑造方法难以实现的。

作者总结道，D-BOS 代表了迈向在智能体相互形成的信念上（而非直接在策略参数上）运作的方法的“第一步”，为心智理论和多智能体协调的未来研究提供了有前景的方向。