技术摘要：Pegasus —— 用于具身智能的物理接地经验合成

1. 问题陈述

推进具身智能的主要瓶颈不在于模型架构，而在于高质量、机器人特定训练数据的匮乏。虽然网络上存在数十亿计的人类操纵视频，但机器人无法直接从中学习，这是由于**具身差异（embodiment gap）**造成的：人类与机器人之间在形态、运动学和动作空间上的显著差异阻碍了演示数据的直接迁移。

现有的数据获取范式面临着截然不同的局限性：

• 真实机器人采集： 质量高，但成本昂贵且难以规模化。
• 物理仿真： 数据量无限，但存在“从模拟到现实”（sim-to-real）的差距，特别是在基于视觉的策略方面。
• 学习人类视频： 利用了丰富的现有数据，但通常仅学习视觉表示，而非生成可执行的机器人轨迹。

核心挑战在于如何通过传递结构化经验（任务语义、示能性/affordances 和约束条件）而非原始像素，来弥合这一差距，从而实现从人类演示中合成机器人可学习的数据。

2. 方法论：Pegasus 框架

Pegasus 是一个低资源框架，它通过一个结构化的、基于图的流水线，将人类第一视角视频转化为机器人可执行的演示。它将问题从外观生成重新定义为跨具身知识迁移。

该框架分为五个递进阶段运行：

2.1 任务图提取 ($V_h \rightarrow G_T$)

Pegasus 不对原始像素进行推理，而是使用结构化视觉语言解析器从人类视频中提取任务图 ($G_T$)。

• 节点： 代表语义实体，包括子目标 ($g_i$)、被操纵物体 ($o_j$) 和空间区域 ($r_k$)。
• 边： 编码时间顺序、因果依赖关系和空间交互。
• 该图保留了任务拓扑结构，同时保持与特定机器人形态的无关性。

2.2 层级化示能性潜变量 ($G_T \rightarrow Z$)

为了处理跨物体和跨具身的泛化问题，Pegasus 引入了层级化示能性潜变量 ($Z = \{Z_s, Z_a, Z_t\}$)：

1. 物体状态层 ($Z_s$)： 捕捉物理状态（例如：抓取、打开、位移）。
2. 示能性层 ($Z_a$)： 将物体特定的观察抽象为操纵能力（例如：可抓取性、容纳性、倾倒性）。
3. 任务层 ($Z_t$)： 代表与具身无关的意图（例如：运输、堆叠）。
   该层级结构通过逐步移除具身特定信息，同时保留因果任务语义来实现这一点。对比学习目标使人类和机器人的演示在这一共享的示能性空间内实现对齐。

2.3 跨具身图转换 ($G_T \rightarrow G_P$)

任务图通过三个图算子转化为可执行的机器人规划图 ($G_P$)：

1. 示能性图（Affordance Graph）： 为语义节点增加操纵示能性。
2. 约束图（Constraint Graph）： 结合了依赖于具身的特征可行性（抓取类型、逆运动学、碰撞约束、工作空间限制）。
3. 规划图（Planning Graph）： 将可行原语转换为可执行轨迹（运动路点和时间转换）。
   这种模块化公式将语义推理与具身适配解耦。

2.4 物理约束验证

仅有视觉上的合理性对于机器人是不够的。Pegasus 采用了一个闭环验证模块，根据以下内容验证生成的轨迹：

• 逆运动学（IK）可解性
• 关节极限
• 碰撞规避
• 抓取稳定性及轨迹平滑度

如果违反了约束，结构化误差信号将被反馈回规划模块，进行迭代再生，直到满足所有约束。

2.5 经验渲染

经过验证的规划图被渲染为三种适用于下游策略学习的输出模态：

• 视频演示 ($D_{video}$)： 用于视觉语言策略。
• 离散动作标记 ($D_{action}$)： 用于自回归动作模型。
• 连续轨迹 ($D_{trajectory}$)： 用于经典控制管线。

3. 核心贡献

1. 迁移公式化： 通过结构化的跨具身知识迁移，将互联网人类视频重新定义为可扩展的机器人训练数据来源。
2. 图结构化框架： 一种全新的流水线，明确建模了任务语义、示能性、具身约束和机器人规划，超越了单纯的原始像素或文本提示词调节。
3. 层级化示能性潜变量： 一种通过按物体状态、示能性和任务而非物体身份来组织数据，从而提高对未知物体泛化能力的表示方法。
4. 闭环物理验证： 一种强制执行运动学可行性的迭代机制，将具身适配转化为一个约束满足问题。
5. 实证验证： 通过综合实验证明了在任务正确性、物理可执行性和下游策略学习方面的提升。

4. 实验结果

Pegasus 在包括 GTEA Gaze+、EPIC-KITCHENS-100 以及一个精选的互联网操纵视频集在内的基准测试上进行了评估，涵盖了五种不同的机器人具身（如 Franka Panda, xArm 7, UR5e）。

4.1 任务正确性与可执行性

• 图调节生成（Graph-conditioned generation） 在任务正确性方面比仅提示词基准高出 12.3%，在可执行性方面高出 15.7%。
• 在五种机器人类型中，系统实现了平均 84.4% 的任务正确性（VLM）和 81.5%（人类），以及 89.6% 的可执行性。

4.2 下游策略学习

在生成数据上训练的策略（OpenVLA 和 ACT）取得了显著成果：

• 仅使用生成数据 达到了 55.2% 的成功率，相当于 50 个真实机器人演示（65.9%）性能的 84%。
• 通过 200 个生成演示增强 50 个真实演示，相比仅使用真实数据，成功率绝对提升了 11.3%。
• 与在人类视频特征（R3M/VIP）上训练相比，图调节生成在成功率上提供了 +25.8% 的提升。

4.3 对未知物体的泛化

示能性潜变量展示了强大的零样本能力：

• 在完全未见的物体（如西瓜、螺丝刀）上实现了 78.5% 的任务正确性，而基于物体身份的潜变量仅为 45.1%。
• 模型能够根据示能性组合推断出必要的行为（例如：“重 + 易碎” $\rightarrow$ “小心力量抓取”）。

4.4 物理有效性

闭环验证显著提高了物理可行性：

• Pass@1（首次尝试）为 51.2%；Pass@5（5 次迭代后）达到 94.1%。
• 逆运动学（IK）误差降低了 93.5%，碰撞率下降了 90.9%。

4.5 消融实验

• 移除 约束图（Constraint Graph） 导致可执行性下降幅度最大（-11.2%）。
• 移除 示能性图（Affordance Graph） 导致在未知物体上的任务正确性下降幅度最大（-5.1%）。
• 图结构被确定为性能的主要驱动力，而非底层的视频生成模型。

5. 重要性与主张

论文声称 Pegasus 成功地将机器人数据生成从一个硬件采集问题重新定义为一个可扩展的、低资源的知识迁移问题。

• 经验级迁移： 该研究认为，具身差异应在经验层面（目标、状态转换、示能性）而非像素层面进行弥合。这使得系统能够利用人类视频的多样性和真实性，而无需构建大规模 3D 资产或仿真环境。
• 可扩展性： 通过将任务语义与机器人形态解耦，该框架能够从单一的人类数据源为异构平台合成机器人可学习的演示。
• 实用性： 结果表明，通过显式建模任务知识和示能性结构，大量的互联网人类操纵视频可以作为机器人学习的有效监督信号，为在物理硬件上收集每一种演示提供了一种实用的替代方案。

作者承认了局限性，包括对用于任务分解的 VideoLLM 的依赖、侧重于运动学一致性而非完整的接触动力学，以及目前受限于单视角生成。然而，该框架建立了一种结构化跨具身表示学习的新范式。