🤖 AI

ASALT: Adaptive State Alignment for Lateral Transfer in Multi-agent Reinforcement Learning

本文介绍了 ASALT，这是一种多智能体强化学习方法，它利用观测级和状态级适配器将不匹配的源域和目标域映射到共享嵌入空间中，从而在状态空间维度不同的环境中实现有效的知识迁移并缓解负迁移。

原作者： Anurag Akula, Satheesh K. Perepu, Abhishek Sarkar, Kaushik Dey

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Anurag Akula, Satheesh K. Perepu, Abhishek Sarkar, Kaushik Dey

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名足球教练。你手下有一群球员，他们多年来一直在一个小型 5 人制球场上精通一套特定的战术手册。现在，你需要将他们部署到一个巨大的 11 人制专业足球场上，或者甚至需要将他们调换到一个规则和人数完全不同的全新游戏中。

在人工智能领域，这被称为多智能体强化学习（Multi-Agent Reinforcement Learning, MARL）。它的目标是教一群 AI“智能体”如何协同工作。问题在于，如果你把一支在小场地训练好的队伍带到大场地，他们会感到困惑。他们的“眼睛”（传感器）看到的物体数量变了，他们的“大脑”（策略）也不知道如何与新的团队规模进行协调。

这篇论文介绍了一种名为 ASALT（用于横向迁移的自适应状态对齐，Adaptive State Alignment for Lateral Transfer）的新方法来解决这个精确的问题。以下是其工作原理的简单解释：

问题所在：“不适合任何规模”的陷阱

此前，如果你想复用一个已训练好的 AI 团队（源模型，Source）的知识给一个新的团队（目标模型，Target），这两个团队必须几乎完全相同。它们需要拥有完全相同的玩家数量，且每个玩家看到的观察信息也必须完全一致。

如果新团队的人数更多，或者观察世界的方式不同，旧的知识就无法被使用。这就像试图把一个小孩子的鞋子强行套在巨人的脚上；它根本不合脚。大多数现有方法被迫让新团队从零开始学习，这浪费了大量的精力和时间。

解决方案：ASALT 的“通用翻译器”

ASALT 扮演着通用翻译器和智能适配器的角色。它并不强迫新团队看起来和旧团队一模一样，而是通过 ASALT 在两者之间搭建了一座桥梁。

它使用了两个主要工具，作者称之为适配器（Adapters）：

观测适配器（“翻译器”）：
想象一下，新团队看到的是一个由 11 人组成的混乱人群，但旧团队只知道如何处理 3 人。观测适配器会将新团队对世界的混乱视图，翻译成旧团队大脑能够理解的简洁、概括的“语言”。它不仅仅是缩小数据，而是使用一种特殊的注意力机制（就像聚光灯一样），专注于玩家之间最重要的关系，从而忽略掉噪声。
状态适配器（“语境化器”）：
有时，团队需要了解“大局”（全局状态），比如球相对于整个球场的位置。如果新球场更大或形状不同，状态适配器会重新塑造这种宏观视角，使其符合旧团队的策略逻辑。

转移是如何发生的：“横向”学习

一旦新团队的视角被翻译完成，ASALT 并不会仅仅复制旧团队的最终动作。相反，它使用了一种叫做**横向迁移（Lateral Transfer）**的技术。

你可以这样理解：一位大师级厨师（源模型）正在教徒弟（目标模型）。

旧方法： 大师写下最终的食谱，徒弟尝试去背诵。如果食材变了，食谱就会失效。
ASALT 方法： 大师让徒弟在烹饪的过程中进行观察。徒弟看到了大师在每一步中是如何切菜、搅拌和品尝的（即大脑的中间层）。徒弟学习的是烹饪的“原理”，而不仅仅是最后那道菜。

在 ASALT 中，新团队通过经过翻译的数据，“观察”处于冻结状态（预训练好的）的旧团队是如何工作的。新团队通过观察旧团队的内部思维过程（包括决定做什么动作的“执行者/Actor”，以及判断动作好坏的“评论家/Critic”）来进行学习。这使得新团队的学习速度大大加快。

实验结果显示

研究人员在三个不同的“游戏”中测试了该方法：

《星际争霸 II》（SMAC）： 一个复杂的策略游戏，你需要指挥单位。他们测试了从 3 个单位转移到 8 个单位，甚至改变单位类型的情况。
Google Research Football： 一个足球模拟游戏。他们测试了从小型训练学院游戏转移到完整的 11 对 11 比赛的情况。
多粒子环境（Multi-Particle Environments）： 简单的物理游戏，智能体需要在其中扩散或进行标签捕捉。

结果如下：

速度： 与从零开始相比，新团队学习获胜的速度显著加快（有时仅需 20-30% 的练习时间）。
灵活性： 即使在玩家数量发生变化或规则略有不同时，它依然有效。
避免“坏习惯”： 有时，旧知识可能会产生负面影响（称为“负迁移”）。例如，针对小场地的策略在大型场地上可能是糟糕的。ASALT 擅长过滤掉这些坏的部分，只保留有用的协作模式，从而防止新团队感到困惑。

核心结论

ASALT 是一种让在一种环境下训练好的 AI 团队快速适应另一种不同环境的方法。它通过将新环境的“语言”翻译成旧团队能理解的格式，并让新团队通过观察旧团队的内部决策过程来进行学习。

论文声称，这使得训练效率更高，并有助于 AI 处理现实世界的变化（如增加或减少团队成员），而无需从零开始重新学习。它并不声称用于医疗或临床用途，而是旨在改进 AI 系统在游戏、交通或车队管理中的协作学习能力。

技术摘要：ASALT —— 用于多智能体强化学习中横向迁移的自适应状态对齐

问题陈述

多智能体强化学习（MARL）在将知识从源域迁移到结构不同的目标域时面临重大挑战。虽然先前的研究探索了迁移学习在 MARL 中的应用，但大多数现有方法都施加了一个严格的约束：源域和目标域的观测空间与全局状态空间的维度必须完全一致。

在现实场景中，例如交通管理、舰队协调或像《星际争霸 II》这样的竞争性游戏，智能体数量、对手数量或环境配置经常发生变化。这些变化改变了观测空间和状态空间的维度。因此，标准的横向迁移方法会失效，因为它们无法在不强制要求相同网络架构的情况下，将异构输入映射到共享表示中。此外，现有方法通常仅侧重于迁移策略（Actor）信息，忽略了迁移评论家（Critic/价值函数）信息的潜在益处，而后者对于估计优势函数和协调智能体至关重要。最后，在具有冲突协调需求的领域之间迁移策略往往会导致“负迁移”（negative transfer），即先验知识反而降低了性能。

方法论：ASALT 框架

作者提出了 ASALT（Adaptive State Alignment for Lateral Transfer，用于横向迁移的自适应状态对齐），该框架旨在处理源域与目标域之间不匹配的状态空间维度问题，且不对网络架构施加结构性约束。其核心创新在于使用**适配器模块（adapter modules）**将目标域输入映射到与预训练源智能体兼容的共享嵌入空间。

核心组件

观测适配器 (Observation Adapter):
- 功能： 将目标域观测 ( $o_t$ ) 映射到共享嵌入空间 ( $\hat{e}_o$ )，以对齐冻结的源智能体输入空间。
- 架构： 适配器将目标观测分解为智能体特定特征 ( $o_a$ $o_{a}$ ) 和描述其他智能体的上下文特征 ( $o_c$ $o_{c}$ )。
  - 智能体特定特征通过全连接网络 (FCN) 进行处理。
  - 上下文特征通过**分层多头注意力 (H-MHA)**机制进行处理。该模块捕捉结构化属性组（例如盟友 vs. 敌人）之间的高阶关系依赖，生成聚合上下文信息的嵌入。
- 输出： 最终嵌入是智能体级、关系级和聚合上下文嵌入的拼接，其尺寸与源策略的输入维度相匹配。
状态适配器 (State Adapter):
- 功能： 将目标域的全局状态 ( $s_t$ ) 映射到共享状态嵌入 ( $\hat{e}_s$ )，作为源评论家的输入。
- 架构： 利用两层 Transformer 编码器。全局状态被投影为 Token 嵌入，并通过带有残差连接和层归一化的多头自注意力 (MHSA) 及前馈网络 (FFN) 进行处理。这显式地捕捉了状态组件之间的交互。
- 目的： 实现对源域中编码的协调模式（价值函数/评论家）的迁移。
迁移模块 (横向连接) (Transfer Module / Lateral Connections):
- 机制： 实现从冻结的源智能体到目标智能体的横向知识迁移。
- 策略迁移 (Actor Transfer)： 目标智能体关注来自前 $N$ 个源智能体（通过聚类或相似度选择）的表示。层级注意力机制 ( $\alpha_k$ ) 对这些横向信号进行加权和聚合。
- 评论家迁移 (Critic Transfer)： 类似地，横向连接将来自源评论家的加权表示 ( $\beta_k$ ) 传播到目标评论家。为了处理不同的奖励规模，在构建评论家侧信号之前会对奖励进行归一化。
- 训练： 目标智能体使用原始的目标域输入 ( $o_t, s_t$ ) 进行训练，同时通过适配器接收来自源智能体的横向引导。

训练范式

论文研究了两种训练策略：

独立训练 (Independent Training)： 先在两个领域的收集轨迹上训练适配器，然后将其冻结，再训练目标智能体。
联合训练 (Joint Training)： 适配器与目标智能体同时使用目标域轨迹进行优化。作者发现联合训练具有更高的样本效率，因为它诱导出的嵌入能显式地最大化迁移信息的效用。

核心贡献

处理维度不匹配： ASALT 是首个明确解决 MARL 中观测空间和全局状态空间维度不匹配问题的算法，消除了对相同网络架构的要求。
双适配器架构： 引入观测适配器和状态适配器，使得策略（Actor）和价值（Critic）知识的迁移成为可能，从而促进更有效的协调迁移。
缓解负迁移： 通过将目标输入映射到共享潜空间并选择性地迁移任务相关信息（而非原始观测），ASALT 降低了负迁移的风险，特别是在异构领域中。
样本效率： 该框架显著提高了样本效率，使目标智能体比从零开始训练或使用现有基准方法收敛得更快。

实验结果

作者在三个基准环境上评估了 ASALT：星际争霸 II 多智能体挑战赛 (SMAC)、Google Research Football (GRF) 和 多粒子环境 (MPE)。

相对于基准的表现： ASALT 一致优于领域自适应方法 (DANN, CORAL, CycleGAN) 和最先进的迁移学习基准 (LA-QTransformer, MALT, PSMARL)。
样本效率： 在观测空间不匹配的场景下（例如，在 SMAC 中从 3 个智能体迁移到 8 个智能体），ASALT 达到渐近奖励 80% 所需的环境步数显著低于所有基准方法。例如，在 3m 到 8m 的迁移中，ASks ASALT 需要 $0.54 \times 10^5$ 步，而基准方法需要 $5.1 \times 10^5$ 步。
负迁移： 在具有冲突协调需求的场景中（例如，3m 地图 vs. 3s5zvs3s6z），ASALT 展示了卓越的鲁棒性，其收敛速度更快且最终胜率更高，优于易受负迁移影响的方法。
消融实验：
- 联合 vs. 独立： 适配器与目标智能体的联合训练比独立训练的收敛速度明显更快。
- Actor vs. Actor-Critic： 迁移策略和评论家信息通常能提高稳定性和早期学习能力，但在状态空间大规模扩张的情况下，仅迁移策略有时能达到相当的渐近性能。
- 注意力机制： 基于注意力的观测适配器优于简单的 FCN 适配器，尤其是在规模扩增场景中。

意义与主张

论文声称 ASALT 解决了现实世界 MARL 部署中的一个关键瓶颈：即当智能体数量或环境复杂度发生变化时，无法迁移策略的问题。通过通过自适应嵌入将目标输入维度与源策略架构解耦，ASALT 实现了异构设置下的横向迁移。

作者强调，其方法：

减少负迁移： 通过学习将目标状态映射到共享表示，该方法过滤掉了无关或冲突的信息，这是跨领域迁移中常见的失败模式。
增强协调： 引入状态适配器和评论家迁移，使系统不仅能利用动作策略，还能利用基于价值的协调模式。
保持计算效率： 虽然增加适配器模块会带来轻微的计算开销（在实验中训练时间增加了约 21%），但这被收敛所需环境交互次数的大幅减少所抵消。

该工作总结道，尽管 ASALT 非常有效，但其性能取决于领域之间的不匹配程度，未来的工作应探索层次化迁移和理论分析，以进一步降低计算成本。