TeamHOI: Learning a Unified Policy for Cooperative Human-Object Interactions with Any Team Size

本文提出了 TeamHOI 框架，通过结合基于 Transformer 的局部观测策略与掩码对抗运动先验技术，实现了单一去中心化策略在任意团队规模下生成物理真实且协调的多智能体人机交互行为。

要点

这篇论文介绍了一个名为 TeamHOI 的聪明系统，它的核心目标非常简单：教一群机器人（或者虚拟人）像真正的团队合作者一样，一起搬运重物，而且不管团队里有多少人，他们都能配合得天衣无缝。

想象一下，你以前教一群机器人搬桌子，如果只有两个人，你得专门教他们怎么配合；如果突然变成了八个人，你得重新教一遍，甚至可能因为人太多而乱成一锅粥。但 TeamHOI 打破了这个魔咒。

下面我用几个生动的比喻来解释它是如何做到的：

1. 核心难题：为什么以前很难？

以前的机器人控制就像是在教一群互不相识的陌生人搬东西。

• 死板的规则：以前的系统通常是为固定人数设计的（比如专门训练“两人组”）。如果突然来了三个人，系统就懵了，因为它没学过。
• 缺乏沟通：很多系统只盯着手里的东西看，不看队友。就像两个人抬轿子，如果一个人不看另一个人，只盯着轿子，很容易步调不一致，把轿子弄翻。
• 数据太少：现实中很难找到“一群人完美配合搬桌子”的真实录像数据。大多数数据只有“一个人走路”或“一个人拿东西”。

2. TeamHOI 的三大绝招

绝招一：通用的“超级大脑” (Transformer 策略)

比喻：像微信群聊一样的智能
想象一下，每个机器人都有一个“超级大脑”，这个大脑不是死记硬背“两个人怎么搬”或“四个人怎么搬”，而是学会了一种通用的沟通语言。

• 队友令牌 (Teammate Tokens)：每个机器人不仅看自己，还通过一种类似“微信群聊”的机制，实时感知周围队友的位置和动作。
• 动态适应：不管群里是 2 个人还是 8 个人，这个大脑都能瞬间调整。就像你在一个微信群里，不管群里有 5 个人还是 50 个人，你都能根据群里的人多寡，自动调整说话的方式和站位。
• 结果：训练一次，就能通吃所有人数。不需要为 3 人、4 人、5 人分别重新训练。

绝招二：蒙眼训练法 (Masked AMP)

比喻：教人骑自行车，但蒙住手
这是为了解决“没有多人配合数据”的难题。

• 困境：我们只有“一个人走路”的录像，没有“八个人一起搬桌子”的录像。如果直接让机器人模仿“一个人走路”去搬桌子，它的手可能会僵住，因为录像里的人手是空的。
• 解决方案：研究人员想出了一个聪明的办法——“蒙眼训练”。
  • 在训练时，系统把机器人“手”和“物体接触”的部分遮住（Mask），只让它模仿“一个人走路”的腿部动作（保持自然、不摔倒）。
  • 对于被遮住的手部，系统不强迫它模仿录像，而是告诉它：“你的手现在要负责搬桌子，你自己想办法抓稳！”
• 效果：这样既保证了机器人走路像真人一样自然（没摔倒），又逼出了它们自己发明“多人配合搬桌子”的新技能。就像你蒙住手教人骑车，他为了保持平衡，不得不自己发明出新的手部动作。

绝招三：自动队形奖励 (Formation Reward)

比喻：像玩“老鹰捉小鸡”一样找站位
当一群人搬桌子时，如果大家都挤在一边，桌子就会翻。

• 智能引导：TeamHOI 设计了一个特殊的“奖励机制”。它不告诉机器人具体站哪里，而是给它们一个目标：“你们要像花瓣一样，均匀地围在桌子周围，并且要站在桌子最稳固的轴线上。”
• 结果：机器人学会了自动寻找最佳站位。不管桌子是圆的、方的还是长方形的，不管来几个人，它们都能自动排成最稳固的队形，像一群训练有素的搬运工，而不是乱哄哄的一群人。

3. 实验成果：真的有多强？

研究人员在虚拟环境中测试了从 2 人到 8 人 搬运不同形状（圆桌、方桌、长桌）的桌子。

• 成功率极高：无论是 2 人还是 8 人，甚至把桌子重量增加 5 倍（超级重），TeamHOI 都能成功搬运。
• 对比惨烈：以前的老方法（CooHOI*）在人数增加时就会“崩溃”，要么走不动，要么把桌子弄翻。而 TeamHOI 就像一支训练有素的特种部队，人数越多，配合越默契。
• 零样本泛化：甚至当它们遇到训练时没见过的“超大桌子”或"16 人团队”时，依然能表现出惊人的适应能力。

总结

TeamHOI 就像是一个拥有“读心术”和“万能适应力”的超级教练。
它不需要为每一种人数和每一种桌子单独训练，而是教会了机器人一套通用的合作逻辑：

1. 看队友（通过 Transformer 网络实时沟通）；
2. 自己动（在模仿真人走路的基础上，自由发挥手部动作）；
3. 找位置（自动寻找最稳固的队形）。

这项技术不仅能让未来的机器人更好地在工厂或灾难现场协同工作，还能让电影和游戏里的虚拟角色在搬重物、跳舞或进行复杂互动时，看起来更加真实、自然，不再像是一群各干各的木偶。

技术摘要

TeamHOI 技术总结

1. 研究背景与问题定义

背景：基于物理的人形机器人控制（Physics-based Humanoid Control）在单智能体的人机交互（HOI）任务中已取得显著进展，能够生成逼真的行走、抓取和操纵动作。然而，将这种能力扩展到**多智能体协作的人机交互（Cooperative HOI）**仍面临巨大挑战。

核心问题：

1. 可扩展性限制：现有的多智能体策略通常基于固定大小的多层感知机（MLP），导致策略只能处理固定数量的智能体，无法适应动态变化的团队规模。
2. 协作机制不足：许多方法依赖共享物体动力学作为隐式通信，缺乏智能体之间显式的状态感知和实时协调，无法模拟真实人类根据队友数量和位置动态调整协作模式的能力。
3. 数据稀缺与多样性：基于对抗运动先验（AMP）的方法依赖参考运动数据来保证动作逼真度。然而，协调的多人交互参考数据极其稀缺，现有方法多依赖单人参考数据，直接正则化会导致协作行为受限（例如只能进行简单的正向/反向搬运，缺乏多样化的协作策略）。

2. 方法论 (Methodology)

论文提出了 TeamHOI 框架，旨在通过单一的去中心化策略（Unified Decentralized Policy）实现任意团队规模下的协作人机交互。

2.1 基于 Transformer 的统一策略网络

• 架构设计：摒弃了固定输入的 MLP，采用 Transformer 架构作为策略网络。
• 队友 Token (Teammate Tokens)：
  • 每个智能体基于局部观测（本体感知状态、目标状态）生成自身 Token。
  • 引入“队友 Token"，编码其他队友的状态（位置、朝向等），并在智能体局部坐标系下表示。
  • 通过 Self-attention（处理自身状态）和 Cross-attention（处理队友状态）机制，使策略能够动态感知任意数量的队友。
• 去中心化执行：每个智能体独立运行，仅依赖本地观测和共享的策略参数，无需中央控制器。

2.2 掩码对抗运动先验 (Masked AMP)

为了解决多人协作数据稀缺的问题，同时保持动作的逼真度，提出了 Masked AMP 策略：

• 双判别器机制：
  • 全身体判别器 ($D_{full}$)：评估完整的身体运动，用于非交互阶段（如行走）。
  • 掩码判别器 ($D_{mask}$)：在训练过程中，屏蔽掉与物体直接交互的身体部位（如手和前臂），仅评估非交互部位的运动风格。
• 奖励融合：根据交互指示器（如手与物体的距离），动态混合全身体奖励和掩码奖励。
  • 当智能体与物体交互时，主要依赖任务奖励（Task Rewards）来驱动手部动作，而掩码判别器确保身体其他部分的运动符合单人参考数据的风格。
  • 这使得系统能够利用丰富的单人参考运动数据（如行走、侧向移动），通过任务奖励引导出多样化的协作行为（如侧向搬运、不同方向的抬升）。

2.3 协作搬运任务与奖励设计

以多智能体搬运不同形状（方形、矩形、圆形）桌子为测试任务：

• 形成奖励 (Formation Reward)：
  • 角度扩散奖励 ($r_{ang}$)：鼓励智能体均匀分布在桌子周围。
  • 主轴覆盖奖励 ($r_{cov}$)：这是一个关键创新。它计算智能体支撑区域是否覆盖了物体的主轴（Principal Axes）。这引导智能体形成稳定的支撑多边形，避免物体在搬运过程中发生旋转或倾斜，且该奖励对物体形状和团队大小无关。
• 任务流程：包括协同接近、自主形成稳定队形、抬升、协同运输和放下。

3. 主要贡献 (Key Contributions)

1. TeamHOI 框架：首个能够处理任意数量协作智能体的统一去中心化物理 HOI 框架。
2. Transformer 策略网络：利用队友 Token 和注意力机制，实现了从 2 到 8 个（甚至更多）智能体的无缝扩展，无需针对不同团队规模重新训练。
3. 掩码 AMP 策略：突破了多人参考数据稀缺的限制，通过掩码交互部位，成功利用单人运动数据训练出多样化的多人协作行为。
4. 形状与规模无关的形成奖励：设计了基于物体主轴覆盖的奖励函数，引导智能体自动形成稳定的搬运队形。
5. 实验验证：在极具挑战性的多智能体搬运任务中，证明了单一策略在 2-8 人团队及不同物体形状下的高成功率和动作连贯性。

4. 实验结果 (Results)

实验在 Isaac Gym 模拟器中进行，对比了 TeamHOI 与改进版的基线方法 CooHOI*（固定团队大小、无显式队友通信）。

• 成功率 (Success Rate)：
  • TeamHOI 在 2、4、8 人团队中均保持了极高的成功率（>97%），且在不同团队规模间表现一致。
  • 基线方法（CooHOI*）表现出严重的规模依赖性：为 2 人训练的策略在 8 人时几乎完全失败（成功率<10%），反之亦然。
• 重载测试 (Heavy-load)：
  • 在 5 倍桌子重量的极端条件下，TeamHOI 的 8 人团队仍能保持 81.1% 的成功率，而基线方法几乎无法完成抬升任务。
• 动作质量：
  • TeamHOI 生成的动作更加平滑（Jerk 值更低），且智能体能自发形成稳定的队形，协同搬运物体。
  • 基线方法常出现智能体相互冲突、队形混乱或物体剧烈旋转的现象。
• 泛化能力：
  • 零样本泛化：训练好的策略能直接泛化到未见过的团队规模（如 12 人、16 人）和不同尺寸的桌子，尽管性能随规模增大略有下降，但依然保持了协同性。
  • 多形态适应：策略能根据任务需求适应不同的交互方式（如侧向抓握或边缘抬升）。

5. 意义与展望 (Significance)

• 技术突破：解决了物理仿真中多智能体协作的可扩展性难题，证明了单一策略可以覆盖从双人到多人团队的复杂协作场景。
• 数据效率：通过 Masked AMP 策略，大幅降低了对昂贵且稀缺的多人运动捕捉数据的依赖，为利用现有单人数据训练复杂协作行为提供了新范式。
• 应用前景：
  • 机器人学：为多机器人协作搬运重型物体提供了基于物理的、鲁棒的控制方案。
  • 数字娱乐：为游戏和电影中的多角色动画（Multi-character Animation）提供了自动生成逼真、物理合理且协调互动的工具，无需手动关键帧或复杂的脚本。
  • 具身智能：推动了具身智能体在动态、多智能体环境中的协作能力发展。

综上所述，TeamHOI 通过结合 Transformer 架构的灵活性和改进的运动先验策略，成功实现了物理仿真中大规模、高保真的人机协作控制，是该领域的重要进展。