🤖 machine learning

CooT: Learning to Coordinate In-Context with Coordination Transformers

CooT 是一个新颖的框架，它利用上下文学习使多智能体系统能够在无需参数更新的情况下快速且稳健地适应陌生伙伴，并在 Overcooked 和 Google Research Football 等基准测试中超越了现有的基于种群、微调和元强化学习方法。

原作者： Huai-Chih Wang, Hsiang-Chun Chuang, Hsi-Chun Cheng, Dai-Jie Wu, Shao-Hua Sun

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Huai-Chih Wang, Hsiang-Chun Chuang, Hsi-Chun Cheng, Dai-Jie Wu, Shao-Hua Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于**CooT（协调 Transformer）**论文的通俗解释，辅以日常类比。

核心难题：“新搭档”困境

想象你是一名专业舞者。你已花费数年与固定搭档练习，完全了解他们的动作、旋转时机以及反应方式。你们配合得天衣无缝。

现在，想象你突然被安排与一位陌生人参加舞蹈对决。你完全不了解他们的风格。他们可能动作缓慢、迅速，或者笨拙。

旧有的 AI 方法就像那些只与特定一位搭档练习过的舞者。当遇到陌生人时，他们要么试图强迫对方按自己的方式跳舞，要么因为不知步法而僵住不动。
其他方法则试图通过与新搭档跳上数小时（数千次）来学习其风格。这既缓慢又昂贵，尤其是当你们只有几分钟共舞时间时。

本文的目标是教会 AI 如何在仅经过几步互动后，瞬间“读懂”新搭档并与之同步共舞，而无需从头重新学习如何跳舞。

解决方案：CooT（“情境”舞者）

作者创建了一个名为CooT（Coordination Transformer，协调 Transformer）的新 AI 框架。

请将 CooT 想象成一位极具观察力的即兴表演者，而非死记硬背舞步的舞者。

它是如何学习的（训练阶段）：
在大型舞蹈对决之前，CooT 观看了成千上万对不同舞伴的视频。它不仅仅观察动作，更观察关系。
- 它看到搭档 A（喜欢向左旋转），并观察搭档 B（“最佳响应者”）如何调整向右旋转以配合。
- 它看到搭档 C（动作缓慢），并观察搭档 D 如何耐心等待。
- 类比： CooT 就像一位看过世间所有类型舞伴组合的学生。他们尚未与你共舞，但他们已经观察过人们如何对你的舞蹈风格做出反应。
它是如何工作的（“上下文”魔法）：
当 CooT 遇到新的人类或 AI 搭档时，它不会改变其大脑（即不进行“再训练”）。相反，它利用上下文学习（In-Context Learning）。
- 类比： 想象 CooT 有一个“草稿纸”（上下文窗口）。当你们共舞时，它会将过去几秒内你刚刚做的动作记录在这张草稿纸上。
- 当它需要决定下一步动作时，它会查看草稿纸：“哦，我的搭档刚刚向左移动了。在我观看的视频中，当搭档向左移动时，最佳对策是向右迈步。”
- 它利用这些最近的观察结果，瞬间推测出你的风格并做出适应。

这为何比旧方法更好？

对比“自博弈”（与自己练习）：
旧 AI 通过与自己的镜像共舞来练习。它们非常擅长与自己共舞，但与陌生人共舞时却表现糟糕。CooT 学会与所有人共舞。
对比“微调”（边做边学）：
有些 AI 试图通过与你共舞数小时、不断犯错并修正来学习。这非常缓慢。CooT 则像一位天才，只需一两首歌的时间，仅通过观察你就能摸清你的风格。它能瞬间适应，而无需“重新训练”其大脑。
对比“群体”方法（试图精通一切）：
其他 AI 试图通过与一大群随机搭档训练，成为“万事通”。但如果你遇到一个真正古怪的人，它们仍可能失败。CooT 会观察你具体的近期动作，并专门针对你进行适应。

结果：它奏效了吗？

研究人员在两个截然不同的“舞池”中测试了 CooT：

Overcooked（煮过头）： 一款混乱的电子游戏，两名厨师必须在狭小的厨房里共同煮汤。（类似于高压的厨房轮班）。
Google Research Football（谷歌研究足球）： 一款足球游戏，球员必须配合传球和跑位。（类似于团队运动）。

研究发现：

速度： CooT 几乎立即开始良好配合，并随着游戏进行表现越来越好。
人类测试： 当真实人类与 CooT 共舞时，他们将其评为最佳搭档。他们感觉 CooT 理解他们、适应他们的风格，且不会碍手碍脚。
韧性： 如果搭档突然改变策略（例如，停止传球并开始独自奔跑），CooT 会在接下来的几秒内察觉这一变化，并立即调整其计划。

总结

CooT 是 AI 与人类或其他 AI 协作的一种新方式。CooT 不像强迫所有人学习相同僵化规则那样，而是像变色龙一样行动。它观察与其协作的人，记住其近期行为，并瞬间调整自身行为以完美匹配对方。

这就好比区别在于：一个机器人说“我将执行预编程的舞蹈”，而另一个机器人说“我看到你向左移动，所以我会向右移动来帮助你”。

技术摘要：CooT：利用协调 Transformer 进行上下文内协调学习

1. 问题陈述

本文解决了多智能体系统中的**临时团队协作（Ad-hoc Teamwork, AHT）**问题，即智能体必须与先前未见过的合作伙伴进行有效协调。现有方法面临显著局限：

自博弈（Self-Play, SP）： 往往收敛于特定的惯例，在与不熟悉的协作者交互时失效。
基于种群的方法： 虽然通过多样性（例如 HSP、MEP）提高了鲁棒性，但缺乏在训练分布之外进行高效在线适应的机制。
微调： 基于梯度的适应在少样本场景中不切实际，因为交互成本高昂，且需要数千条轨迹才能学习有效的策略。
基于上下文的元强化学习： 先前的方法（例如 PACE、PECAN）通常依赖对合作伙伴行为的压缩潜在表示。这些方法难以捕捉丰富且具有时间结构的行为，且当测试时的行为偏离训练数据时可能会失效。

核心挑战在于使智能体能够在无需参数更新或显式通信的情况下，以极少的交互（少样本）实时适应多样化的合作伙伴行为。

2. 方法论：协调 Transformer（CooT）

作者提出了CooT，这是一个利用**上下文内学习（In-Context Learning, ICL）**将合作伙伴适应视为学习任务的框架。CooT 并非在不同任务间进行泛化，而是在多样化的合作伙伴行为间进行泛化。

2.1 形式化：隐藏效用马尔可夫博弈（HU-MG）

该问题被形式化为 HU-MG。智能体在共享环境中运行，但由隐藏奖励函数（ $r_w$ ）驱动，这些函数仅对合作伙伴可见。这些隐藏效用即使在相同环境中也会引发多样化的行为偏好（惯例）。目标是通过观察推断这些隐藏偏好，并相应地调整行动。

2.2 训练数据生成

CooT 在成对智能体之间的交互轨迹数据集上进行训练：

行为偏好智能体（ $\pi^p_i$ ）： 使用特定的隐藏奖励函数（环境事件的线性组合）训练的智能体，以表现出多样化的行为风格。
最佳响应智能体（ $\pi^{br}_i$ ）： 通过多智能体近端策略优化（MAPPO）训练的智能体，旨在针对其对应的行为偏好合作伙伴最大化回报。
数据集构建： 模型从元组 $(s_h, C, \hat{a})$ $(s_{h}, C, \overset{a}{^})$ 中学习，其中：
- $C$ 是行为偏好智能体与其最佳响应智能体之间过去交互轨迹的上下文窗口。
- $s_h$ 是从上下文中独立采样的查询状态（防止简单的轨迹延续）。
- $\hat{a}$ 是 $\pi^{br}_i$ 在状态 $s_h$ 下采取的真实最佳响应动作。

2.3 模型架构与训练

架构： CooT 利用**决策预训练 Transformer（Decision-Pretrained Transformer, DPT）**骨干网络（具体为 GPT-2）。
目标： 模型通过监督学习进行训练，以预测最佳响应动作分布 $\hat{p}_h(\cdot) = M_\theta(\cdot | s_h, C)$ 。损失函数是预测动作与真实最佳响应动作之间的交叉熵。
关键区别： 与通常以任务目标或奖励为条件的标准决策 Transformer 不同，CooT 以合作伙伴交互历史为条件，以推断合作伙伴的潜在风格并预测最佳协作响应。

2.4 在线部署

在测试时，CooT 在严格无先验协议下运行：

它使用空的上下文缓冲区初始化。
它与未见过的合作伙伴交互一个回合。
生成的轨迹被追加到上下文缓冲区（FIFO），挤出最旧的数据。
模型根据当前状态和累积的上下文 $C$ 预测动作，从而实现对合作伙伴行为的持续、无梯度适应。

3. 主要贡献

新颖框架： 提出了 CooT，将合作伙伴适应重新定义为上下文内学习问题，实现了无需参数更新的快速少样本协调。
训练范式： 一种在基于合作伙伴上下文的“最佳响应”轨迹上训练 Transformer 的方法，有效地教导模型将观察到的合作伙伴风格映射到最佳协作策略。
实证验证： 在两个基准测试上进行了全面评估：
- Overcooked： 需要紧密协调的离散网格世界。
- Google Research Football (GRF)： 具有更大团队（3 对 1）的连续、高维环境。
人类评估： 一项用户研究表明，与最先进基线相比，人类合作伙伴认为 CooT 更具适应性和可靠性。

4. 实验结果

CooT 与广泛的基线进行了评估，包括行为克隆（BC）、基于种群的方法（HSP, MEP）、基于梯度的微调（HSP-ft）以及基于上下文的元强化学习（HSP-meta, PACE）。

性能： CooT 在各种 Overcooked 布局和 GRF 场景中始终优于所有基线。它实现了最高的**最佳响应接近度（BR-prox）**和平均回报，特别是在协调密集的布局中（例如 Coord. Ring Multi-recipe），在这些布局中针对特定合作伙伴的适应至关重要。
适应速度： CooT 展示了快速的少样本适应，在前 15 个回合内显示出显著的性能提升并迅速稳定。相比之下，基于梯度的微调（HSP-ft）表现出不稳定性和缓慢的收敛，而其他基于上下文的方法（PACE, HSP-meta）往往表现不佳或随时间推移未能改善。
鲁棒性： 在合作伙伴在任务中途切换策略的非平稳设置中，CooT 在平均 3.67 个回合内重新校准了其策略，而其他方法则难以恢复。
人类研究： 在 36 名参与者的研究中，CooT 实现了最高的平均回报，并被 50% 的参与者选为首选协作者。定性分析证实，人类认为 CooT 具有明确的适应性，并注意到其随时间推移改善协调的能力。

5. 意义与主张

本文主张，CooT 为现实世界中在线微调不可行的人机协作提供了实用解决方案。通过将合作伙伴适应视为通过上下文内学习的学习任务，CooT 实现了：

效率： 仅使用少量交互即可与新合作伙伴有效对齐。
稳定性： 对合作伙伴的突然变化具有鲁棒性，且不存在与梯度更新相关的灾难性遗忘或不稳定风险。
泛化能力： 能够泛化到训练期间未明确见过的多样化合作伙伴行为，前提是这些行为落在隐藏效用空间的分布范围内。

作者将这项工作定位为从“任务泛化”向“合作伙伴泛化”的转变，证明了基于完整交互历史的条件化可以支持复杂多智能体环境中的有效少样本适应。

6. 局限性

本文承认了几个局限性：

无显式通信： 该方法仅依赖动作历史，未利用显式通信通道。
基准范围： 实验是在模拟基准（Overcooked, GRF）中进行的，而非具有丰富感知和控制的具身环境。
冷启动： 严格的无先验协议意味着智能体开始时没有任何上下文；未来的工作可以探索使用来自相似合作伙伴的预填充上下文，以减少早期交互成本。
安全性： 作者指出，适应机制可能被滥用以利用可预测的合作伙伴或强化不安全习惯，强调在未来部署中需要安全约束。