🤖 machine learning

Moving Out: Physically-grounded Human-AI Collaboration

本文介绍了“Moving Out”，这是一个针对具有物理依据的人机协作的新基准，旨在解决现有离散或非物理数据集的局限性，并提出了 BASS 方法，以增强智能体适应多样化人类行为和复杂物理约束的能力。

原作者： Xuhui Kang, Sung-Wook Lee, Haolin Liu, Yuyan Wang, Yen-Ling Kuo

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Xuhui Kang, Sung-Wook Lee, Haolin Liu, Yuyan Wang, Yen-Ling Kuo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：为什么搬沙发对机器人来说很难

想象一下，你正和一位朋友试图把一张沉重、笨拙的沙发从公寓里搬出来。你不能只是直线推它。你必须倾斜它，绕着狭窄的走廊拐角旋转它，并协调你们的力量，以免把它掉在地上或卡住。

这就是论文中所说的**“物理接地协作”（physically-grounded collaboration）**。它指的是机器人在现实世界中与人类协作，而在现实中，物理规律至关重要。物体有重量、形状和摩擦力。如果你推一个圆桌，它会滚动；如果你推一个方盒子，它会滑动。如果你推一个重物，你需要两个人。

问题在于，目前大多数 AI 训练都发生在“网格世界”（如棋盘或简单的电子游戏）中。在这些游戏中，你只需点击一个方格即可移动。那里没有重量，没有动量，也没有尴尬的角度。作者认为，要制造出一个能真正帮你搬家具的机器人，我们需要在一个感觉像真实世界的环境中对其进行训练。

解决方案：“Moving Out”（基准测试）

作者创建了一个名为 Moving Out 的新测试环境。你可以把它看作是一个运行在现实物理引擎上的 2D 视频游戏模拟器。

游戏内容： 两个智能体（一个 AI，一个人类或另一个 AI）必须将各种物体（星形、圆形、多边形）从起点移动到“目标区域”。
转折点： 这些物体不仅仅是图标；它们有质量（有些重，有些轻）、形状（有些会卡在角落，有些会滚动）和尺寸（有些需要一个人，有些需要两个人）。
目标： AI 必须学会判断：“噢，这个箱子很重，我需要请求我的搭档帮忙，”或者“这个走廊很窄；我们需要把桌子侧过来才能通过。”

两大挑战

论文设定了两个具体的测试，以观察 AI 是否足够聪明，能够应对现实生活：

“新搭档”测试（适应人类）：
想象一下，你和一位总是走在房间左侧的朋友玩游戏。然后你换了一位总是走在右侧的朋友。一个好的队友会进行适应。

测试内容： AI 在来自 36 名不同人类玩家的数据上进行训练。然后，它会被要求与一个它从未见过的陌生人进行测试。它能否弄清楚如何与这位有着独特风格的陌生人合作？
结果： 大多数 AI 在这里都会失败，因为它们仅仅是记住了训练伙伴的具体动作。当搭档做出稍微不同的动作时，它们就会感到困惑。

“新物体”测试（适应物理特性）：
想象一下，你练习搬运一把小木椅。然后，突然间，你必须搬运一个巨大的、沉重的钢制保险柜。

测试内容： AI 在具有特定重量和形状的物体上进行训练。然后，它会被测试处理从未见过的具有新重量和新形状的物体。
结果： AI 必须理解“沉重”或“形状”的概念，而不仅仅是记住如何移动某个特定的盒子。

新方法：BASS（行为增强、模拟与选择）

为了解决这些问题，作者发明了一种名为 BASS 的新方法。以下是它的工作原理，使用烹饪作为类比：

1. 行为增强（“如果……会怎样”的大厨）
通常，如果你通过观看人类搬运家具的视频来教机器人，机器人只会完全复制它所看到的内容。但人类是凌乱的；有时我们会踉跄，有时我们会用力推，有时我们会等待。

BASS 的技巧： AI 获取训练视频，并创建“虚假”的新视频。它将一个人的动作片段与另一个人的动作片段进行交换，但前提是它们的起始点和终点必须完美匹配。
类比： 想象你在学习跳舞。你看着一段舞者的视频。BASS 提取一名舞者在一段音乐中的脚步动作，以及另一名舞者在另一段音乐中的手臂动作，但前提是节奏必须匹配。这创造了数千个新的、有效的舞蹈程序，使 AI 能够处理多种不同的风格，而不只是单一的一种。

2. 模拟（“心理演练”）
在 AI 做出动作之前，它并不只是瞎猜。它会进行一次“心理模拟”。

BASS 的技巧： AI 会问自己：“如果我这样推这个箱子，而我的搭档那样推，会发生什么？”它会预测物体的未来状态。
类比： 在你尝试把行李箱塞进头顶行李舱之前，你会做一个快速的心里检查：“如果我向左倾斜，能塞进去吗？如果我向下压，会撞到灯吗？”BASS 会为每一个可能的动作立即进行这种计算。

3. 选择（“最佳选择”）
在模拟了未来之后，AI 会挑选看起来最有可能成功的动作。

BASS 的技巧： 它会选择那个能让物体最接近目标且不会被卡住的动作。
类比： 你有三种方法可以打开一扇卡住的门。你在脑海中尝试所有三种方法，看看哪种效果最好，然后执行那个动作。

结果：奏效了吗？

作者将 BASS 与其他标准 AI 方法（如简单的复制或标准的游戏算法）进行了对比测试。

面对未见的真人： BASS 在与陌生人合作方面表现得更好。当人类搭档的表现出乎意料时，它不会感到困惑。
面对新物体： BASS 处理新形状和新重量的能力更强。它理解了重物需要更大的力量，即使它从未见过那个特定的重物。
人类反馈： 当真实的人类与 BASS AI 协作时，他们反馈说它感觉更有帮助，也更像“人类”。人类觉得 AI 理解何时需要帮助，以及何时应该让他们独立工作。

总结

该论文认为，要制造出能在现实世界中真正帮助我们的机器人（比如搬家具），我们不能只在简单的网格游戏上进行训练。我们需要在基于物理的环境中训练它们，在那里重量和形状至关重要。

他们构建了一个名为 Moving Out 的新游戏来测试这一点，并创造了一种名为 BASS 的新 AI 方法。BASS 通过“想象”不同的场景并与许多不同风格的搭档进行练习来工作。其结果是，即使人类是不可预测的，或者物体是很奇怪的，BASS 也能更好地进行人类协作。

技术摘要：Moving Out：基于物理规律的人机协作

问题定义

现有的协作基准（如 Overcooked-AI）主要依赖于离散、符号化或任务级的动作空间。这些环境简化了交互动力学，未能捕捉到智能体运行在连续状态-动作空间中的物理世界复杂性。在物理环境中，协作受到连续变量（位置、朝向）、物体属性（质量、形状、尺寸）以及接触动力学（摩擦力、碰撞）的约束。这些因素创造了一个高维构型空间，其中人类行为的微小变化（例如旋转角度、施加的力量）都会剧烈改变结果。

本文识别出了一个关键差距：当前的算法难以同时适应多样化的人类行为和未见的物理约束。具体而言，通过自我博弈（self-play）训练的智能体往往无法泛化到具有不同行为模式的人类伙伴；而基于固定物理属性训练的模型也无法泛化到新的物体属性（例如不同的质量或形状）。作者将该问题定义为一个去中心化马尔可夫决策过程（Dec-MDP），其中 AI 智能体必须在优化其策略以应对未知的各类人类策略分布（ $D$ ）的同时，应对限制可行状态转移的物理约束（ $\Gamma$ ）。

方法论：BASS

为了解决这些挑战，作者提出了 BASS（行为增强、模拟与选择），这是一个旨在增强连续物理环境中智能体多样性和动作理解能力的创新框架。

1. 行为增强

标准的轨迹增强（如添加噪声）对于多智能体协作是不够的，因为这可能会破坏协作所需的连贯性。BASS 采用了两种特定的策略来生成有效的增强数据：

姿态扰动（Pose Perturbation）： 在保持其他状态变量不变的情况下，对伙伴的姿态添加微小的高斯噪声（ $\tilde{p}_{partner} = p_{partner} + \epsilon$ ）。这模拟了自然的人类运动变化，并提高了对微小偏差的鲁棒性。
子轨迹重组（Sub-trajectory Recombination）： 该方法识别两个不同演示序列中，智能体 A 起始和结束状态几乎相同的片段（在容差 $\epsilon_{pose}$ 内）。随后，它会在两个演示之间交换对应的智能体 B 的子轨迹。这确保了智能体 A 的意图保持一致，同时让模型接触到多样化的伙伴行为，从而在不产生物理上无效状态的前提下，有效地增加了协作策略的多样性。

2. 模拟与动作选择

由于在实际部署中无法获取物理引擎进行试错，BASS 训练了一个**潜在动力学模型（latent dynamics model）**来预测未来状态。

架构： 系统使用两个自动编码器（VAE）将状态编码到潜在空间中。动力学模型（ $f$ ）接收当前潜在状态（ $z_t$ ）、智能体的动作（ $a_t$ ）以及预测的伙伴动作（ $a^{(p)}_t$ ），以预测下一个潜在状态（ $z_{t+1}$ ）。
伙伴动作预测： 一个专门的预测器（与策略共享架构）根据当前状态预判伙伴的动作。
动作选择： 在推理阶段，策略生成多个候选动作。动力学模型模拟每个候选动作的结果（考虑预测的伙伴动作），以估计产生的未来状态。随后，智能体选择使归一化最终距离（NFD）——即物体与目标区域之间距离的缩减量——最大化的动作。这使得智能体无需实时模拟器即可选择最有效的协作动作。

核心贡献

Moving Out 基准测试： 引入了一个基于 2D 硬体物理引擎的连续物理环境。与以往基准不同，它具有真实的物理约束（摩擦力、质量、形状），并要求智能体导航狭窄通道并协调力量。
两个新颖的挑战：
- 挑战 1（适应多样化的人类行为）： 使用来自 36 名参与者的 1,000 多个真人-真人演示数据集，评估对未见人类策略的泛化能力。
- 挑战 2（泛化至未见的物理约束）： 使用来自 4 名专家的 720 个演示数据集，在具有随机物理属性的地图上，评估对新物体属性（质量、尺寸、形状）的泛化能力。
BASS 框架： 通过结合用于增加多样性的行为增强和用于物理推理的基于模拟的动作选择，该方法显著优于基准模型（MLP、GRU、Diffusion Policy、MAPPO）。

实验结果

作者在 AI-AI 和人机（Human-AI）设置下，将 BASS 与几种基准模型（MLP、GRU、Diffusion Policy、MAPPO）进行了对比评估。

对未见行为的适应性（挑战 1）： BASS 展示了卓越的鲁棒性。在针对未见人类行为的测试中（跨组评估），BASS 在任务完成率（TCR）和归一化最终距离（NFD）方面的性能下降幅度最小。例如，当标准 Diffusion Policy (DP) 的 TCR 下降了 20.72% 时，DP/BASS 仅下降了 14.07%。
对未见约束的泛化能力（挑战 2）： BASS 在 TCR 和 NFD 上始终优于基准模型。基于模拟的选择使智能体能够更好地适应物体质量、尺寸和形状的变化，而基准模型在面对新的物理配置时表现挣扎。
人机协作： 在针对 32 名人类参与者的用户研究中，BASS 显著提高了任务完成率（TCR: 0.6512 vs. DP 的 0.3855）并减少了等待时间。参与者对 BASS 的“帮助程度”和“物理理解”评分更高，表明其更好地符合了人类意图。
消融实验： 移除多智能体模拟组件或行为增强都会导致性能显著下降，这证实了建模伙伴动力学和增强多样化行为对于成功至关重要。

重要性与主张

论文声称 Moving Out 提供了第一个专门用于研究受物理约束影响的连续、低层运动控制的人类收集数据集。作者认为，现有的模型不足以应对物理驱动的协作，因为它们未能考虑到连续的状态-动作空间以及物理属性对交互动力学的影响。

作者将 BASS 定位为提高模型适应性的基础性一步。他们声称，通过显式地通过模拟来建模动作的结果，并通过增强行为以覆盖多样化的伙伴策略，智能体可以更有效地与未见的 AI 伙伴及人类进行协作。这项工作表明，未来的研究必须超越符号化或离散化环境，以应对现实世界物理交互的复杂性，包括对人类-AI 协作更深入的理论理解以及建立显式通信渠道的需求。

论文的结论较为谦逊，承认虽然 BASS 降低了失败率（例如，将失败案例从约 0.8 降至约 0.34），但有效解决连续物理协作中的所有失败模式仍然是未来研究的一个重大挑战。