技术摘要：多智能体强化学习中的广义意图建模

问题陈述

在多智能体强化学习（MARL）中，由于部分可观测性、缺乏通信以及其他智能体意图的不确定性，在非合作、竞争和一般和博弈环境中进行有效的决策受到了阻碍。虽然“心智理论”（theory of mind）方法建议通过显式建模其他智能体来预测其行为，但现有方法存在一个关键局限性：它们依赖于对回合组成部分（episode components）的固定先验选择（例如对手的下一个动作或未来的环境状态）来进行意图编码。

作者认为，这些方法隐含地假设了一种类型的特定信息在普遍意义上代表了意图。然而，经验证据表明，意图的最佳表示是依赖于任务和环境的。例如，在石头剪刀布中，预测紧接其后的动作至关重要；而在国际象棋中，对长期未来状态的推理则更具价值。依赖单一固定的先验（如仅建模动作或仅建模状态）会导致在环境动力学发生变化时表现不佳。此外，现有方法通常未能显式地建模对手行为如何影响自我智能体自身的未来回报，而这正是 MARL 中的主要目标。

方法论：意图专家混合器 (MIX)

为了解决现有对手建模的僵化问题，作者提出了 MIX，这是一个旨在学习多种意图表示的性能驱动型混合框架。该架构包含两个主要的创新点：

1. 自适应混合专家架构 (Adaptive Mixture-of-Experts Architecture)

MIX 采用了一组 $K$ 个专门的编码器，每个编码器都经过训练以预测对手行为的一个截然不同的“回合组成部分”。作者定义了四个特定的组成部分：

• 对手动作 ($z^a_t$)： 预测对手的下一个动作。
• 对手观测 ($z^o_t$)： 预测对手当前的观测值。
• 未来状态 ($z^s_t$)： 预测未来的环境状态。
• 未来奖励 ($z^r_t$)： 预测自我智能体的累积未来回报。

这些编码器生成潜在嵌入（latent embeddings），并将其投影到一个共享的潜在空间中。一个门控网络（受混合专家模型启发）根据当前状态和聚合后的专家投影，动态地计算特征维度的重要性权重 ($w_k$)。最终的自适应对手表示 $z^{MIX}_t$ 是这些专家的加权和：
$$z^{MIX}_t = \sum_{k=1}^K w_k \odot e^k_t$$
至关重要的是，门控网络是与策略端到端共同训练的，这使得自我智能体能够学习哪些组成部分对于特定的环境和任务最具信息量，而无需人类偏见。

2. 奖励预测型意图嵌入 (Reward-Predictive Intention Embeddings)

一个核心贡献是将未来奖励作为一种独特的回合组成部分引入。与以往预测对手特征（动作/状态）的工作不同，该编码器预测的是自我智能体的未来回报 ($R^H_t$)。

• 训练目标： 为了确保嵌入能够捕捉与自我智能体价值函数直接相关的信息，同时丢弃噪声状态细节，作者使用了对比式 InfoNCE 目标函数。该函数最大化了嵌入与未来累积回报之间的互信息。
• 理论依据： 论文提供了一个理论证明（命题 1），表明最大化奖励预测嵌入与未来回报之间的互信息可以最小化价值不确定性的上界，从而支持稳定的价值估计。

训练与执行

该框架遵循中心化训练、分布式执行 (CTDE) 范式。在训练期间，编码器通过使用特权全局信息（例如实际的未来状态或奖励）并通过 MSE 损失（针对动作、观测、状态）或 InfoNCE 损失（针对奖励）进行监督。在执行阶段，仅使用自我智能体的局部观测和之前的动作来生成自适应嵌入，以此作为策略 $\pi_1(\cdot | o^1_t, z^{MIX}_t)$ 的条件。

核心贡献

1. 自适应架构： 一种新颖的架构，通过混合机制动态组合多个回合组成部分，允许模型为给定环境优先考虑最具信息量的组件，而不是依赖固定先验。
2. 奖励预测型嵌入： 引入了专门用于预测自我智能体未来回报的意图嵌入，使智能体能够捕捉对手对自身性能的直接影响。
3. 实证验证： 证明了在多种基准测试中，自适应方法比孤立建模任何单一回合组成部分的表现更强且更稳定。
4. 关于泛化性的洞察： 分析了模型对不同组件的偏好如何随环境而变化，以及该方法如何泛化到未见的对手。

实验结果

作者在四个环境中将 MIX 与最先进的基准方法（LIAM, MeLIBA, OMG）以及无建模基准（NOM/PPO）进行了评估：

• Kuhn Poker： 一个部分可观测、短时界的博弈。
• 部分可观测捕食者-猎物 (POPP)： 一个具有复杂奖励结构和部分可观测性的环境。
• 基于层级的觅食 (LBF)： 一个完全可观测的协作任务。
• Google Research Football (GRF)： 一个具有六个对手的高维、全观测场景。

主要发现：

• 性能： MIX 始终能达到或超过所有基准方法的性能。在 POPP 中，MIX 显著优于基准方法，特别是在具有高对手多样性的设置下，其他方法（如 OMG）甚至无法达到无建模基准的水平。
• 适应性： 在 Kuhn Poker（短期动力学）中，模型自然地将权重转向“对手观测”和“未来状态”。在 POPP 和 LBF 中，“未来奖励”专家始终位列最重要的前两个组件之一。
• 泛化性： MIX 在“未见”设置中（测试针对训练期间未遇到的对手）表现出鲁棒性，与高多样性场景下的基准方法相比，其性能下降并不严重。
• 消融研究：
  • 使用 InfoNCE 进行奖励预测优于简单的 MSE 损失，证实了对比目标的必要性，以捕捉相关的意图。
  • 软 MoE 门控机制优于朴素的拼接和 Top-1 选择，验证了学习软混合专家的益处。
• 效率： 由于存在多个编码器，MIX 的推理时间略长（5.18ms vs 基准方法的 ~2-3ms），但它避免了像 OMG（需要预训练）和 MeLIBA（二次复杂度更新）那样严重的训练瓶颈，从而实现了显著更快的总训练时间。

意义与主张

论文声称，特定意图表示的有效性高度依赖于任务，这使得固定先验方法并非最优。通过引入一个能够动态调整所建模回合信息的框架，作者证明了智能体可以实现更优的性能和泛化能力。

作者谦虚地将他们的贡献描述为对固定先验局限性的实证展示，并提出了一种更稳健、数据驱动的替代方案。他们强调，其方法可以泛化到任意 MARL 环境，而不依赖于限制性假设（如预定义的库或执行期间获取完整的对手轨迹）。这项工作为“何时”以及“为何”不同的对手建模策略会奏效提供了新的见解，表明“最优”意图的定义并非普适，而是从任务、环境与智能体目标之间的相互作用中涌现出来的。

作者注明的局限性：

• 当前工作假设自我智能体在每次交互中面对的是随机采样的对手策略集，而不是建模一个随时间演化的对手（跨回合建模）。
• 该框架目前假设单个自我智能体共同建模所有对手；将此扩展到具有多个协作智能体并维护共享自适应表示的团队设置仍是未来工作的挑战。