Bridging the Embodiment Gap: Disentangled Cross-Embodiment Video Editing

技术摘要：通过解耦跨具身视频编辑弥合具身鸿沟

问题陈述
本文解决了从人类视频学习机器人操作时面临的“具身鸿沟”这一关键问题。虽然互联网规模的人类视频为机器人领域的瓶颈数据提供了可扩展的解决方案，但人类演示者与机器人学习者之间存在显著的分布偏移。这一鸿沟涵盖了视觉差异（外观、视角），更关键的是，源于不同运动学、自由度及物理作用力的形态与动态差异。现有方法往往因产生纠缠表示而失效，即任务相关信息与特定于人类的运动学偏差耦合，限制了适应性。其他依赖程序化流水线的方法（例如，通过修复人类并叠加机器人模型）往往导致不切实际的视频计划，无法适用于下游策略学习。

方法论
作者提出了一种用于跨具身视频编辑的生成框架，该框架显式地学习任务与具身的解耦表示。核心架构包含三个主要组件：

1. 冻结生成骨干网络：该框架利用预训练且冻结的视频扩散模型（VACE，一种潜在扩散 Transformer）作为生成骨干。这利用了强大的先验知识以实现高质量、时间连贯的视频合成，而无需对模型进行全量重训练。
2. 解耦编码器：
   • 任务编码器（$E_{\theta_{task}}$）：一个可训练编码器，处理来自源人类视频的多模态输入：文本目标描述（$T$）、手部运动序列（$M_s$）和物体轨迹（$O_s$）。它输出一个与具身无关的任务嵌入（$z_{task}$）。
   • 具身编码器（$E_{\theta_{emb}}$）：一个可训练编码器，处理目标执行器末端执行器的静态图像（$C_s$），以生成特定于具身的嵌入（$z_{emb}$）。
3. 参数高效适配器：一个轻量级、可训练的适配器（$A_\psi$）将解耦后的潜在代码注入到冻结的扩散 Transformer 中。这使得模型能够在不修改原始骨干网络权重的情况下，在多个特征层面引导生成过程。

训练目标
为了确保任务和具身表示真正正交，作者除了使用标准的流匹配（LFM）重建损失外，还采用了双重对比学习目标：

• 解耦（最小化互信息）：使用 CLUB 估计器来最小化 $z_{task}$ 和 $z_{emb}$ 之间的互信息。这是通过对比自然配对样本的对数似然与随机配对样本的对数似然来实现的，从而迫使两个潜在空间相互独立。
• 空间内一致性（最大化相似性）：分别对任务和具身空间应用 InfoNCE 损失。这将同一语义类别的嵌入（例如，同一任务的不同视频，或同一机器人的不同图像）拉近，同时将不同类别推开，从而确保鲁棒且具有判别性的表示。
• 重建：模型被训练为根据其自身的解耦嵌入从噪声中重建源视频，并通过流匹配优化参数。

主要贡献

1. 生成式解耦框架：本文引入了一个新颖框架，将演示视频显式分解为任务和具身的正交潜在空间，直接解决了视频学习（LfV）中的分布偏移问题。
2. 双重对比目标：作者提出了一种训练策略，在无需配对跨具身数据的情况下，同时最小化任务与具身空间之间的互信息（确保独立性）并最大化空间内一致性（确保稳定性）。
3. 参数高效适应：通过在冻结的视频扩散模型上增加可训练编码器和轻量级适配器，该方法以最小的参数更新实现了高保真合成。
4. 可扩展数据解决方案：该方法能够从单次人类演示中合成连贯的、特定于机器人的执行视频，为利用互联网规模的人类数据训练机器人模仿学习提供了一条可扩展的途径。

实验结果
该框架在跨具身视频编辑任务（例如抓取、倾倒）上进行了评估，所用数据源自 PH2D 数据集。

• 定量性能：所提出的方法在视频保真度指标（FVD、LPIPS、PSNR、SSIM）上优于基线模型（VACE 和 Phantom）。值得注意的是，在 VBench 套件中，它在动态和时间质量指标（美学质量、时间风格、运动平滑度、整体一致性）上取得了最高分数，而通用模型在动态合理性方面则表现挣扎。
• 定性分析：视觉对比显示，基线模型要么幻觉出不正确的形态（VACE），要么产生非照片真实的叠加效果（Phantom），而所提出的方法生成的视频在形态上准确且在时间上连贯。
• 解耦验证：t-SNE 可视化和特征相关性热力图证实，双重对比目标成功地将任务和具身特征分离到不同的、不重叠的簇中。
• 下游验证：在使用 Unitree H1 人形机器人的视觉行为克隆（BC）实验中，在生成机器人视频上训练的策略比在通过 HAT 基线对齐的数据上训练的策略取得了更低的验证误差。这表明生成的视频提供了与机器人物理具身更契合的运动学监督。

意义与主张
本文主张，通过显式学习解耦表示，它解决了 LfV 中分布偏移的根本挑战。该方法允许将人类技能转化为针对多样化机器人形态的“密集视觉计划”，而无需配对的人类 - 机器人数据。作者将这项工作定位为解决机器人数据瓶颈的可扩展方案，使利用互联网规模的人类视频来训练通用具身智能体成为可能。其意义在于能够生成物理上合理、以机器人为中心的视觉演示，这些演示可直接指导下游策略学习，从而弥合人类观察与机器人执行之间的鸿沟。