技术摘要：通过通信式世界模型实现上下文强化学习 (CORAL)

1. 问题陈述

强化学习 (RL) 智能体经常难以在不更新参数的情况下泛化到新任务和新语境中。这种局限性源于其学习到的表示和策略过度拟合了特定训练环境的特性。虽然上下文强化学习 (ICRL) 为基于上下文的适应提供了一条路径（通过将策略建立在过去的交互之上），但现有的方法通常依赖于缺乏对底层任务动力学理解的自监督 Transformer。因此，它们的泛化能力非常脆弱，且高度依赖于离线数据集的质量。

相反，世界模型 (World Models, WMs) 为智能体提供了对环境动力学和奖励反馈的结构化理解，使其能够预测未来状态。然而，在标准的世界模型中，学习到的表示往往与任务特定的策略学习相纠缠。这种纠缠导致表示过于专业化、可迁移性降低，并存在表示学习与策略优化之间的目标不匹配问题。

核心问题在于：如何利用世界模型的动态理解能力来实现 ICRL，同时避免与策略学习的纠缠，从而创建一个可迁移的、具有通信能力的上下文，以加速在新环境中的适应过程。

2. 方法论：CORAL 框架

作者提出了 CORAL (Communicative Representation for Adaptive RL，用于自适应强化学习的通信式表示) 框架，该框架将 ICRL 形式化为一个双智能体涌现通信问题。CORAL 在功能上将潜层表示学习与控制分离，解耦了世界建模与奖励最大化的角色。

2.1 智能体架构

系统由两个在每个时间步 $t$ 进行交互的截然不同的智能体组成：

• 信息智能体 (Information Agent, IA)： 由 $\phi$ 参数化（采用 Transformer 架构），IA 充当世界模型。它处理近期嵌入观测值的上下文，旨在理解环境动力学和任务奖励。至关重要的是，IA 并非通过直接回报最大化进行训练。相反，它将其理解压缩为简洁的潜层消息 ($m_t$)。
• 控制智能体 (Control Agent, CA)： 由 $\theta$ 参数化（通常是 PPO 策略），CA 接收来自 IA 的观测值 $o_t$ 和消息 $m_t$。其唯一目标是通过基于通信上下文选择动作 $a_t$ 来最大化任务回报。

2.2 训练目标

智能体在多样化的任务分布 ($\mathcal{T}$) 上进行联合预训练，使用针对 IA 的复合损失函数，而 CA 则通过近端策略优化 (PPO) 进行优化。

信息智能体的损失函数 ($\mathcal{L}(\phi)$)：
IA 通过一个由三个部分组成的自监督复合损失进行训练：

1. 动力学感知损失 ($\mathcal{L}_{Dyn}$)： 通过要求 IA 根据当前消息和 CA 的动作预测下一个观测值 ($\hat{o}_{t+1}$)、奖励 ($\hat{r}_{t+1}$) 和终止概率 ($\hat{d}_{t+1}$)，来锚定 IA 的表示。这确保了内部状态捕捉到了关于环境的物理事实。
2. 时间相干性损失 ($\mathcal{L}_{Coh}$)： 通过训练 IA 根据当前消息 $m_t$ 和动作预测下一个消息 $\hat{m}_{t+1}$，来鼓励通信的一致性。这促进了消息作为状态紧凑表示的作用。
3. 因果影响损失 ($\mathcal{L}_{Causal}$)： 一个新型的目标，用于塑造通信协议。它衡量瞬时因果效应 (Instantaneous Causal Effect, ICE)，定义为带有消息的 CA 策略与零向量消息之间的反向 KL 散度。该损失由混合效用信号（结合广义优势估计和即时价值变化）加权，旨在激励 IA 发送能够引起 CA 策略产生有利且决定性转变的消息。

控制智能体的目标：
CA 使用标准的 PPO 进行优化，以最大化期望折扣回报 $E[\sum \gamma^t r_t]$，并以观测值和 IA 的消息为条件。

2.3 训练机制

为了确保泛化能力，预训练机制采用了多环境训练。智能体在具有共同实体和动力学但需要不同解决方案的多种离散任务集上进行训练。这通过 JAX 实现向量化训练（运行并行环境）来完成，以防止灾难性遗忘，并迫使 IA 学习抽象动力学而非记忆特定实例。

2.4 部署

在部署期间，IA 的权重被冻结。它作为一个固定的“上下文化器”或通信先验，为随机初始化的新 CA 提供支持。CA 通过解释来自冻结 IA 的消息来学习解决未见任务，从而实现快速的上下文内适应，而无需更新世界模型。

3. 核心贡献

1. 形式化： 论文将单智能体 ICRL 建模为双智能体涌现通信问题，其中世界模型 (IA) 学习向控制智能体 (CA) 通信动力学。
2. 混合训练策略： 该框架解耦了表示学习与控制学习。IA 采用包含三个头部（动力学、相干性、影响）的自监督训练，而 CA 使用强化学习预训练。这种分离避免了单体式世界模型中存在的目标不匹配问题。
3. 因果影响损失： 引入了一种新型损失项，明确激励 IA 生成能够因果影响 CA 策略走向高效用动作的消息，确保了通信的实用性和有效性。
4. 实证验证： 大量实验表明，CORAL 在在线稀疏奖励环境中提高了样本效率，并且与标准 PPO、世界模型以及最先进的上下文强化学习方法（如 Decision Transformer、Agentic Transformer）相比，实现了卓越的零样本泛化能力。

4. 实验结果

作者在三个维度上评估了 CORAL：

• 在线适应 (MiniGrid Suite)：

  • CORAL 表现出比基准模型（PPO、PPO-Transformer、World Model）显著更高的样本效率。
  • 在 DoorKey 8x8 和 Crossings S11N5 等任务中，CORAL 达到近乎最优的回报速度大约是 PPO 的两倍。
  • 在更难、更大的变体（如 DynObs 16x16）中，CORAL 成功引导 CA 解决了基准模型失败或表现接近随机的任务。
  • 达标时间 (Time-to-Threshold, TTT)： CORAL 达到 90% 最大性能的速度明显更快（例如，在 DoorKey 8x8 中比 PPO 快 2.3 倍）。

• 零样本泛化：

  • 当在未经进一步训练的更复杂环境中进行评估时，在较简单任务上预训练的 CORAL 智能体表现优于 PPO、世界模型和 Decision Transformers。
  • 这表明，与纯粹基于序列的演示克隆相比，通信先验对动态变化的泛化效果更好。

• 离线泛化 (D4RL)：

  • 在完全离线设置下，CORAL 达到了 85.47 的总平均归一化得分，优于 Decision Transformer (77.49)，并与 TD3+BC (84.83) 持平。
  • 值得注意的是，CORAL 在困难的 Medium-Replay 数据集（例如 Hopper-M-Replay 上的 98.33）上表现出色，这表明其通信先验有效地过滤了次优演示中的噪声。

• 消融研究：

  • 移除 时间相干性损失 会导致高方差和学习缓慢。
  • 移除 因果影响损失 会降低样本效率和最终性能，证实了被动世界模型是不够的；IA 必须被激励去影响 CA 的策略。
  • 对 瞬时因果效应 (ICE) 的分析显示，该协议在学习过程中（高不确定性时）提供强力影响，并随着策略收敛而趋于稳定，起到学习正则化器的作用。

5. 重要性与主张

本文声称 CORAL 在上下文驱动的适应与世界建模之间提供了一个原则性的中间地带。通过将动力学学习（通过 IA）与控制学习（通过 CA）分离，该框架学习到了一种可迁移的通信表示，这种表示不会过度拟合特定的任务回报。

作者断言，这种方法验证了学习可迁移通信先验的有效性。结果表明，涌现通信不仅对多智能体协作有用，而且是实现单智能体快速上下文适应的一种强大的通用方法。该框架使智能体能够在多样化的在线和离线环境中实现显著的样本效率提升和成功的零样本适应，解决了当前 ICRL 的脆弱性以及标准世界模型的纠缠问题。