🤖 AI

Partner Capability Estimation for Task-Agnostic Adaptation in Ad-Hoc Teamwork

本文介绍了 CE-CM 及其多样性感知扩展版本 CE-CM-Div，这是一种近似贝叶斯框架，使自主智能体能够在无需预训练或任务先验知识的情况下，在即时团队协作场景中快速估计隐藏的、与任务无关的伙伴能力，并调整其联合规划。

原作者： Peter Tisnikar, Maja Swieczkowska, Benteng Ma, Gerard Canal, Matteo Leonetti

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Peter Tisnikar, Maja Swieczkowska, Benteng Ma, Gerard Canal, Matteo Leonetti

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正和一个陌生人一起走进一款全新的电子游戏。你不知道对方是一个会跳过关卡的速通玩家，还是一个会检查每个角落的谨慎探索者，亦或是那个单纯非常讨厌跳跃的人。在人工智能的世界里，这被称为即兴团队协作（Ad-Hoc Teamwork）。这是一个挑战：如何让一个机器人（或 AI 智能体）与一个从未谋面的伙伴进行协作，且在没有任何事先练习或共享规则手册的情况下完成任务。通常，AI 研究人员试图训练机器人变得“超强鲁棒”，这意味着通过针对成千上万个不同的计算机对手进行练习，来学习如何与任何人配合得很好。但本文提出了一个不同的问题：如果机器人不仅仅是记忆如何做出反应，而是能够真正弄清楚它的伙伴具备什么样的能力呢？把它想象成一对舞伴。机器人不再只是猜测下一步的动作，而是尝试学习舞伴的“招式表”——他们能跳多高？他们能举起重物吗？一旦它了解了伙伴能力的极限，它就可以策划一段完美的舞步，既适合自己也适合对方，即使他们跳的是一首全新的舞曲。

这篇题为《用于即兴团队协作中任务无关适应的伙伴能力估计》（Partner Capability Estimation for Task-Agnostic Adaptation in Ad-Hoc Teamwork）的论文介绍了一种巧妙的新方法，称为 CE-CM（基于上下文模型的容量估计）。其核心思想是，机器人不应该仅仅猜测伙伴想做什么，而应该弄清楚伙伴能做什么。作者将伙伴的能力视为一组隐藏的“超能力”（或缺乏超能力）清单，无论玩什么游戏，这些能力都是保持不变的。

以下是机器人学习的过程：它观察伙伴玩几轮游戏。然后，机器人进行一次大脑模拟。它会想：“好吧，如果我的伙伴拥有这套特定的超能力，他在上一轮中会如何表现？”它将自己的模拟结果与实际发生的情况进行对比。如果模拟结果与现实相符，机器人就会将这套超能力作为一种可能性保留下来。如果不符，它就会丢弃这个想法。通过不断重复这一过程，机器人不断缩小范围，直到它对伙伴真实的各项能力有一个非常准确的猜测。一旦它了解了伙伴的极限，它就可以规划下一场游戏，确保它永远不会要求伙伴去做一些不可能完成的任务，比如让一个只能举起老鼠的伙伴去搬钢琴。

研究人员在两个完全不同的数字世界中测试了这个想法。第一个是名为 TidyUP 的整理游戏，其中的规则严格且清晰（就像逻辑谜题一样）。在这个世界里，机器人的表现非常出色。它能迅速弄清楚伙伴能做和不能做的事情。仅仅经过几局游戏后，机器人就不再犯错，比如不再要求伙伴进入一个他们无法进入的房间去打扫。结果显示，机器人的协调能力得到了显著提升，对于某些伙伴，其“修正次数”（即机器人不得不修正错误计划的次数）从大约 75% 下降到了不到 5%。

然而，第二个世界 Overcooked（一款混乱的烹饪模拟器）则要棘手得多。在厨房里，制作一份沙拉通常有很多种方法。你可以先切西红柿，也可以先切洋葱；两种方法都行。机器人的原始方法 CE-CM 假设，如果伙伴能够做某件事，他们就会以最完美、最逻辑化的方式去做。但现实中的人（甚至是某些计算机伙伴）是混乱的。他们可能会因为个人喜好而选择一条奇怪的路径，或者可能会犯错。在这个混乱的环境中，机器人陷入了困境。它知道伙伴能做什么，但它无法预测伙伴实际上会做什么，因为存在太多有效的选项。

为了解决这个问题，作者开发了一个升级版，称为 CE-CM-Div。它不再问：“我的伙伴会采取哪一种完美的行动方式？”，而是问：“我的伙伴可能采取的所有不同的行动方式有哪些？”它为每套超能力生成了大量不同的可能场景。当伙伴做出某个动作时，机器人会检查该动作是否符合这些场景中的任何一个。事实证明，当他们在真实人类身上进行测试时，这成为了一个游戏规则的改变者。他们收集了来自 15 个人共 225 次的烹饪环节数据。原始方法表现挣扎，经常无法正确猜测人类的能力，因为人类是不可预测的。但采用了“多重可能性”方法的 CE-CM-Div，却能更快、更准确地学习人类的能力。

论文指出，虽然了解伙伴的极限是向前迈出的一大步，但它并不是应对所有情况的“万灵药”。如果一个伙伴有多种解决问题的方法，那么仅仅了解他们的极限并不足以预知他们会选择哪条路径。但是，通过考虑到这种多样性和不确定性，机器人可以成为更好的队友。作者总结道，这种方法——学习一个可复用的、关于伙伴“能做”什么的模型，而不是仅仅记忆他们在某一特定游戏中“如何表现”——是构建能够与任何人在任何任务中协作的 AI 的一个充满前景的方向。

技术摘要：针对任务无关适应的伙伴能力估计研究（用于即时团队协作）

1. 问题定义

本文探讨了当前即时团队协作（Ad-Hoc Teamwork, AHT）研究中的一个关键局限性：即假设智能体是在已知伙伴能力且针对单一固定任务进行协作。在现实的开放世界设置中，特别是涉及人类协作人员时，伙伴拥有关于其能力的隐藏且具有任务不变性的约束（即能力），并且可能会表现出次优行为或多样化的策略。

作者将该问题形式化为隐藏伙伴能力下的分布式执行联合规划问题。核心挑战在于如何从观察到的联合轨迹中，学习一个特定伙伴能力的、可复用的、与任务无关的模型。不同于以往侧重于学习固定任务的鲁棒策略或推断偏好（伙伴想要做什么）的方法，这项工作专注于推断能力（伙伴从根本上能够做什么）。其目标是使自主智能体（ $Ag_1$ ）能够估计不可控伙伴（ $Ag_2$ ）的隐藏能力向量（ $c$ ），并利用该估计值在无需针对伙伴群体进行预训练的情况下，为未来的联合任务进行规划。

2. 方法论

2.1. 建模框架

作者扩展了上下文多智能体马尔可夫决策过程（CMMDP）框架。

状态与动作： 定义在有限的联合状态集（ $S$ ）和联合动作集（ $A$ ）之上。
能力（ $C$ ）： 建模为 $D$ 维二进制向量，其中每一位代表一种特定的能力（例如：搬运重物的能力、使用特定工具的能力）。
转移函数（ $T$ ）： 能力会调节转移函数。如果所需的某种能力缺失（ $c_i=0$ ），则转移会导致自循环（状态不发生改变），从而在特定语境下使该动作变得不可行。
目标： 智能体寻求找到一个能力向量 $c^*$ ，使得在多个任务中，基于 $c^*$ 规划出的联合轨迹与观察到的轨迹 $\tau_{obs}$ 之间的差异最小。

2.2. CE-CM：通过上下文模型进行能力估计

主要方法 CE-CM 是一种通过“模拟与比较”循环运行的近似贝叶斯推断方法：

采样： 智能体从先验分布中抽取候选能力向量（ $\hat{c}$ ）。
模拟： 对于每个候选向量，智能体使用联合规划器模拟如果伙伴具备这些能力时将会产生的轨迹（ $\tau_{\hat{c}}$ ）。
比较： 使用相似度度量（针对命题状态使用 Jaccard 距离，针对实值向量使用余弦相似度）将模拟轨迹与观察到的轨迹（ $\tau_{obs}$ ）进行比较。
信念更新： 落在相似度阈值 $\epsilon$ 之内的候选向量将被接受。智能体维护一组已接受的样本，以近似后验分布。
估计： 通过对已接受样本的经验均值进行阈值处理，得出点估计 $\hat{c}^*$ （例如，通过最大后验估计）。
规划： 估计出的能力会诱导出一个特定的 CMMDP 实例，智能体利用该实例为下一个任务计算新的联合计划。

2.3. CE-CM-Div：处理行为多样性

作者发现，当人类伙伴表现出多样化或次优行为时，标准的 CE-CM 会显得非常脆弱，因为单一的能力向量可能会诱导出多种有效的轨迹。为了解决这一问题，他们提出了 CE-CM-Div：

CE-CM-Div 不再将观察结果与单一的最优轨迹进行比较，而是利用基于蒙特卡洛树搜索（MCTS）的多样性感知规划器，为每个候选能力假设生成多样化的轨迹集（ $\Delta_{\hat{c}}$ ）。
如果多样化集合中的至少一个轨迹与观察结果足够相似，则该假设被接受。
这种方法防止了由于未建模的行为变化或次优行为而导致有效的能力假设被错误拒绝。

3. 核心贡献

基于能力的公式化： 将多任务 AHT 正式化为隐藏的、任务不变的能力约束下的联合规划，提供了一种可解释且可复用的伙伴表示。
CE-CM 算法： 一种在线的、任务无关的适应方法，能够在极少量的交互后推断出离散的能力向量，且无需进行群体预训练或演示数据。
CE-CM-Div 扩展： 一种鲁棒性机制，通过将假设与多样化的规划器展开集而非单一的最优轨迹进行对比，来应对行为多样性。
实证验证： 在两个领域（TidyUP 和 Overcooked）进行了全面的评估，并通过人类受试者研究展示了基于能力建模的有效性及其局限性。

4. 实验结果

4.1. TidyUP (PDDL 领域)

在一个具有完全指定的奖励和确定性转移的符号化家务领域中：

推断： CE-CM 能够快速恢复真实的地面真值（ground-truth）能力向量，在五个任务内将汉明距离降低至接近于零。
协作： 与乐观和悲观基准相比，该方法显著降低了“修正动作”（智能体与伙伴计划之间的冲突）的比率，并增加了计划重叠度（IoU）。
结论： 在可行性严格决定行为的明确环境中，能力推断非常有效。

4.2. Overcooked (模拟伙伴)

在一个奖励定义不明确（存在多种有效策略）的动态协作领域中：

推断： CE-CM 成功恢复了能力约束，减少了分配给伙伴的不可行（无生产力）动作的比例。
协作局限性： 尽管获得了准确的能力估计，但 CE-CM 并未能完全解决协作错误（计划重叠度仍然较低）。这是因为能力限制了可行性，但并不能决定当存在多种可行策略时，伙伴会选择哪一种策略。
结论： 在具有高度策略歧义的领域中，仅靠能力不足以预测行为。

4.3. Overcooked (人类受试者)

一项针对 15 名参与者（225 条轨迹）的研究揭示了显著的行为变异性：

CE-CM 的失效： 标准的 CE-CM 经常无法更新信念，因为人类的轨迹很少能与规划器生成的单一最优轨迹相匹配，导致接受的样本极少。
CE-CM-Div 的成功： 多样性感知扩展显著提高了推断准确性（降低了汉明距离）并扩大了后验规模，因为它接受了那些与任何一种多样化且合理的行为相匹配的假设。
结论： 在现实的人机协作中，考虑行为多样性对于实现鲁棒的能力推断至关重要。

5. 重要性与主张

本文声称，基于能力的建模为即时团队协作中的适应提供了一种极具前景且可解释、与任务无关的方法。通过区分伙伴能做什么（能力）与他们选择做什么（偏好/策略），智能体可以跨不同任务积累可复用的个体知识。

然而，作者对其解决方案的范围保持了审慎态度。他们明确指出：

能力是必要但不充分的： 在存在多种有效策略的领域中（如 Overcooked），了解伙伴的能力并不能唯一地预测其行为。
多样性至关重要： 人机团队中的鲁棒适应需要能够处理行为变异性和次优性的机制（如 CE-CM-Div），而非仅仅假设规划是最优的。
可扩展性： 当前方法依赖于联合规划，这会随着智能体数量的增加呈指数级增长，限制了其在没有进一步近似的情况下在大型团队中的直接应用。

这项工作将能力估计定位为实现泛化人机协作的基础步骤，同时也强调了同时对能力和偏好进行建模对于解决行为歧义性的必要性。