🤖 AI

Dreaming Of Others: Latent Teammate Modeling In World Models For Multi-Agent Reinforcement Learning

本文提出了一种新颖的多智能体强化学习框架，该框架通过将潜在状态分解为环境和队友组件，并利用心智理论（Theory-of-Mind）头部来推断伙伴意图，从而增强了类 Dreamer 的世界模型，进而使智能体能够通过模拟社会行为来实现零样本和少样本协调。

原作者： Tomas Leroy-Stone

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tomas Leroy-Stone

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：梦见你的队友

想象一下，你正在和搭档一起玩一款复杂的电子游戏。你可以看到游戏世界，但你无法看到搭档的屏幕、他们的想法或他们的秘密计划。你只能看到他们的行为。

在人工智能（AI）领域，这是一个巨大的问题。大多数学习玩游戏的 AI 系统（被称为“世界模型”，World Models）非常擅长预测环境的变化（比如重力或墙壁）。但当涉及到预测队友会做什么时，它们通常会将队友视为随机的静态噪声或恶劣的天气。它们只是在瞎猜：“也许他会向左走，也许会向右走，”而并没有真正理解其中的原因。

这篇论文提出了一种构建这类 AI 大脑的新方法。作者建议，不要将队友视为随机噪声，而是要教 AI 将队友视为具有独特个性与目标的可预测、结构化的角色。

“梦境者”（Dreamer）引擎

要理解这一点，你首先需要了解什么是“Dreamer”。可以将 Dreamer 想象成一个通过白日梦来学习的 AI。

与其在现实中玩一百万次游戏（这太慢了），AI 会构建一个世界的心理地图。
它闭上眼睛，在脑海中模拟成千上上万种场景：“如果我跳到这里，墙会倒塌。如果我向左走，敌人会出现。”
它通过在想象中进行练习来学习游戏的规则，而不仅仅是通过试错法。

问题所在：“幽灵”队友

问题在于，在团队游戏中，“规则”会因为搭档改变主意而发生变化。

旧方法： AI 认为：“我的搭档是不可预测的。我只能听天由命。”这就像是在开车时，假设另一位驾驶员可能会毫无理由地突然转向左侧或右侧。
新方法（本论文）： AI 意识到：“我的搭档并不是随机的。他们有一种‘风格’。也许他们很谨慎，或者也许他们很激进。我需要弄清楚他们的风格才能预测他们。”

解决方案：“队友解码器”

作者提出了一个全新的架构，将 AI 的心理地图拆分为两个截然不同的部分，就像一条双车道高速公路：

环境车道： 这部分追踪物理世界（墙壁、目标、重力）。
队友车道： 这是新的发明。它追踪搭档的隐藏状态。

AI 使用一种特殊的工具，称为**“心智理论”（Theory of Mind, ToM）头部**。你可以把它想象成一个夏洛克·福尔摩斯模块。

它观察搭档的行为（例如：“他们捡起了一把钥匙，但没有使用它”）。
它推断出一个隐藏的“潜码”（一种数字指纹），代表了搭档的意图或性格。
它会自问：“这个搭档是‘冲锋型’？还是‘策略型’？”

实际运作方式

一旦 AI 拥有了这个“队友车道”和“夏洛克·福尔摩斯”模块，它改变了“做梦”的方式：

之前： AI 做梦时想：“如果我走到这里，世界会发生变化。”
现在： AI 做梦时想：“如果我走到这里，且我的搭档是‘冲锋型’，他们会跟随我；如果他们是‘策略型’，他们会等待。”

通过在想象中模拟不同版本的搭档，AI 可以为遇到的任何人做好准备。

零样本协作（Zero-Shot Coordination）： AI 可以遇到从未见过的新搭档，并且仍然能立即与之高效配合，因为它可以通过寥寥数步快速猜出对方的风格。
少样本适应（Few-Shot Adaptation）： 如果搭档在游戏过程中改变了主意，AI 会立即更新其“夏洛克·福尔摩斯”式的猜测，并迅速调整计划。

这篇论文实际声称的内容

需要注意的是，这篇论文目前尚未实现以下内容：

无实验结果： 作者承认这目前是一个提议。他们设计了蓝图和数学模型，但还没有建造出完整的机器人并进行测试。
无现实应用： 他们并不是在声称这能立刻解决交通问题或治愈疾病。他们严格讨论的是如何改进 AI 在合作类电子游戏和模拟环境中的表现。

最终目标

最终目标是创造出一种不仅理解世界，而且理解世界内部思想的 AI。通过将队友视为结构化的、可学习的角色，而非随机噪声，AI 可以成为人类和其他 AI 更优秀、更具适应性的伙伴。

简而言之： 这篇论文建议教导 AI 不要仅仅去猜测搭档会做什么，而是开始建模他们，以便在想象中与他们共同预见未来，而不仅仅是在他们周围进行想象。

技术摘要：梦见他人——用于多智能体强化学习的世界模型中的潜在队友建模

问题陈述
在协作式多智能体强化学习（MARL）中，智能体必须与内部策略和意图无法直接观测到的伙伴进行协作。虽然世界模型（特别是 Dreamer 系列）在单智能体设置中通过学习紧凑的潜在动力学，展示了强大的泛化能力和样本效率，但其在 MARL 中的应用目前仍受到限制。核心挑战在于，队友的行为引入了非平稳且部分可观测的结构，这些结构通常被压缩为无差别的噪声。这导致智能体无法有效预测伙伴的变化，也无法在无法获取其内部观测或策略的情况下适应未见的协作对象。此外，标准的协作式 MARL 方法通常依赖于简化假设，例如使用具有特权信息的中心化训练或显式的通信通道，而这些在现实的人机协作场景中是无法实现的。

方法论
本文提出了一种“队友条件化世界模型”（Teammate-Conditioned World Model），将队友重新定义为智能体世界模型中结构化的、可学习的组成部分，而非外生噪声。该方法基于 Dreamer 式的循环状态空间模型（RSSM），并具有以下架构和目标创新：

因子分解潜在状态： 随机潜在状态 $z_t$ $z_{t}$ 被分解为两个不同的组件： $z_t = [z^{env}_t, z^{team}_t]$ $z_{t} = [z_{t}^{e n v}, z_{t}^{t e am}]$ 。
- $z^{env}_t$ 捕捉物理环境的确定性和随机性动力学。
- $z^{team}_t$ 编码推断出的队友行为、性格和意图。
架构：
- 编码器（Encoder）： 接收受控智能体的观测值 $x_t$ 和动作 $a^0_t$ ，生成确定性隐藏状态 $h_t$ 。
- 解码器（Decoders）： 两个解码器作用于分解后的潜在状态。观测解码器从 $z^{env}_t$ 重构环境状态 $\hat{x}_t$ 。一个专门的“队友策略解码器”将 $z^{team}_t$ 映射到队友下一动作的预测分布 $\hat{\pi}^j_t(\cdot)$ 。
- 演员-评论家条件化（Actor-Critic Conditioning）： 在想象阶段，隐藏状态和采样的队友潜在变量对演员（Actor）和评论家（Critic）头进行条件化，使智能体能够规划考虑多样化伙伴行为的策略。
心智理论（ToM）目标函数： 引入了一个专门的损失函数 $\mathcal{L}_{ToM}$ ，用于监督队友行为的推断。该目标函数最小化经验队友动作分布与模型预测之间的校准交叉熵，并辅以 KL 正则化项，以确保推断出的队友潜在变量在时间上具有一致性：
$\mathcal{L}_{ToM} = \mathbb{E}_t \left[ -\sum_a \pi^j_t(a) \log \hat{\pi}^j_t(a) \right] + \alpha \text{KL}\left( q(z^{team}_t | h_t) \parallel p(z^{team}_t | h_{t-1}, a_{t-1}) \right)$
该损失函数通过权重超参数 $\lambda_{ToM}$ 添加到标准的 Dreamer 训练目标中。

核心贡献

概念框架： 本文提出了一个全新的 MARL 视角，即世界模型不仅是环境动力学的模拟器，也是社会行为的模拟器。它主张将队友建模为结构化的潜在过程，以减少表观上的非平稳性。
新颖架构： 引入了一种特定的 RSSM 架构，该架构显式地分离了环境潜在变量与队友潜在变量，并结合了 ToM 头，通过部分轨迹来推断伙伴的意图。
训练协议： 该工作概述了一种训练程序，能够在不需要共享想象、中心化策略或智能体之间存在显式通信通道的情况下，实现零样本（zero-shot）和少样本（few-shot）协作。
评估方案建议： 作者提出了一个严谨的评估协议，利用多智能体粒子环境（Multi-Agent Particle Environments）、Overcooked-AI 和 Melting Pot，以评估在不同伙伴群体和社会背景下的泛化能力、样本效率和鲁棒性。

结果
本文明确指出，这是一个旨在催化讨论的提议，并未报告实验结果。因此，文中没有呈现实验发现、性能指标或对比基准。其贡献纯粹是架构和理论性的，概述了这样一个系统将如何运行以及应该如何被评估。

意义与主张
论文将这项工作定位为迈向“人类兼容 AI”的一步，在这种场景下，伙伴是部分可观测且异质的。作者声称，通过将队友视为结构化的潜在过程而非噪声，该方法提供了实现以下目标的路径：

降低非平稳性： 将社会动力学与物理动力学分离，有助于稳定协作环境中的学习过程。
提升协作能力： 使智能体能够想象并适应未见的协作对象（零样本），并能通过有限的交互快速改进（少样本）。
可解释性： 提供能够显式编码伙伴特征和意图的潜在表示。

作者认为，其最终意义在于，世界模型可以从仅仅是“梦见其所处世界的工具”，进化为“梦见与其共享世界的思想之梦”的工具，从而促进更强大且具适应性的人机协作。