技术摘要：Open-AoE

问题陈述

具身智能研究目前受到现实世界交互数据规模和质量的限制。与利用互联网规模文本的大语言模型不同，机器人学习需要捕捉人类感知、手部运动、物体接触以及长时间跨度任务完成的物理演示。虽然第一人称（egocentric）视频为这一目的提供了一种可扩展的模态，但现有资源存在严重的碎片化问题：

• 硬件限制： 高质量数据集通常依赖专门的头戴式设备或 AR/VR 硬件，这使得其相对于普及型智能手机而言缺乏可及性。
• 数据-模型差距： 大规模被动视频集合（如 Ego4D、EPIC-KITCHENS）缺乏机器人训练所需的结构化标注（手部姿态、相机轨迹、动作边界）。
• 流水线碎片化： 近期的统一手部姿态或实现人机迁移的努力仍局限于特定数据集。目前缺乏一个能够连接原始智能手机采集、系统化处理并直接支持模型训练的统一基础设施。

社区需要一种开放的数据基础设施，能够持续收集、系统化处理并直接支持模型训练，而无需研究人员重建私有的后处理技术栈。

方法论

Open-AoE 通过发布一个包含数据集和工具链的完整端到端生态系统来解决这一差距，该系统构建在 AoE 消费级智能手机采集框架之上。

1. 数据集

首个版本包含约 2,000 小时 在自然环境中采集的第一人称操作视频。

• 规模与多样性： 数据由 500 多名贡献者 使用 400 多种智能手机型号 在 400 多个场景 和 8,000 多个任务 中采集。
• 标注： 该数据集提供了结构化信号，包括：
  • 文本描述（原子动作）。
  • 基于 MANO 的 3D 手部姿态（21 个关节）。
  • 相机轨迹（6-DoF）。
  • 时间局部化的原子动作片段。

2. 数据处理流水线

该流水线通过四个阶段将原始智能手机录制内容转化为结构化训练样本：

• 阶段 1：边缘侧在线处理： 轻量化端侧模型执行实时检测与控制。它们根据手部可见性进行录制门控，强制执行佩戴/操作合规性（如稳定性、构图），并针对光照进行调整。这确保了仅上传有效的、保护隐私的片段，从而节省带宽和存储空间。
• 阶段 2：离线质量检查与场景标注：
  • 基于图像的检测： 基于规则的检测器过滤视频质量（长宽比、曝光、抖动），并移除非第一人称或无手部出现的片段。对敏感信息（面部、PII）进行遮掩或擦除。
  • 视频切片： 将视频分割为语义独立的片段（“Parts”），并具有固定的帧率。
  • 大模型检测： 使用视觉语言模型（Qwen3.7-Plus）进行语义合规性检查、验证动作，并分配层级标签（领域、场景、任务、物体）。
• 阶段 3：重建与标注：
  • 相机轨迹： 使用经过针对手持采集调优的 DROID-W 进行估计，以处理剧烈抖动。
  • 手部重建： 使用双手检测器和 HaWoR 恢复度量尺度的 3D MANO 网格，并通过 SLAM 和全局束调整（bundle adjustment）进行优化，以确保时间一致性。
  • 原子动作： 视频被分割为带有英文标签的原子片段，并通过人工在环（human-in-the-loop）审查。
• 阶段 4：质量检查与交付： 通过三道关卡检查（完整性、正确性、一致性）根据重建有效性、逆运动学失败率和轨迹平滑度对数据进行过滤。在最终交付前，人工检查步骤会移除边缘情况。

3. 工具链

Open-AoE 提供下游工具链，将语料库转换为特定的学习资产：

• AoE-可视化（AoE-Visualization）： 一个同步检查工具，在视频上叠加 MANO 网格、骨骼和轨迹，用于诊断错误（如 SLIM 漂移、重投影误差）。
• AoE-重建-重定向（AoE-Reconstruct-Retarget）： 将第一人称观察转化为：
  • 4D 手-物资产： 随时间变化的几何与交互资产。
  • 机器人可执行轨迹： 使用基于 IK 和基于物理的方法进行跨具身重定向（例如，重定向至 Unitube G1、Galbot、Sharpa）。
  • 机器人化视频： 修复人类手臂并叠加模拟机器人，以实现视觉领域迁移。
• AoE-训练就绪（AoE-Training-Ready）： 将同步信号映射为三种范式的特定模型动作表示：
  • VLA 策略： 稠密 MANO 状态或腕部/指尖目标。
  • 世界动作模型 (WAMs)： 用于动作驱动视频预测的手部加相机动力学。
  • 世界模型： 潜在动作发现与可控生成。

关键结果与分析

本文针对 OpenEgo、EgoDex 和 EgoXtreme，从四个维度对 Open-AoE 进行了对比分析：

1. 视觉多样性： 使用 CLIP 嵌入，Open-AoE 在对比的数据集中实现了最高的有效秩 (Effective Rank, 97.4)、参与度比率 (Participation Ratio, 40.5) 和 kNN 领域混合度 (kNN Domain Mixing, 0.078)。这表明 Open-AoE 跨越了更多的活跃特征方向，并保持了与多样化视觉领域更强的局部连通性，这归功于其广泛的设备和场景覆盖。
2. 语义广度与时间完整性：
   • Open-AoE 提供 32,407 个不同的自然语言动作描述，并实现了视频时间线的 99.99% 时间覆盖率。
   • 相比之下，OpenEgo 仅覆盖了 50.1% 的时间线，而 EgoDex 依赖于规模小得多的分类词汇（111 类）。
   • Open-AoE 在提供开放词汇广度的同时，保持了高标注密度（13.97 个片段/分钟）。
3. 图像-标注一致性： 通过 Idefics2 进行评估，Open-AoE 的序列-宏观一致性得分达到 4.58/5，显著优于 OpenEgo (3.03)、EgoDex (2.92) 和 EgoXtreme (2.02)。85.4% 的 Open-AoE 序列得分至少为 4，表明视觉内容与标注之间具有高度对齐。
4. 训练样本产出： Open-AoE 每小时产生 1,760 个候选历史-未来窗口（达到理论上限的 97.8%），展示了卓越的时间连续性。它是唯一一个所有五种主要监督模态（动作、边界框、置信度、手部姿态、相机姿态）均具有近乎普遍覆盖的评估数据集。

意义与主张

论文声称 Open-AoE 不仅仅是一个视频集合，而是一个可复用的“采集-处理-重建-训练”数据生产环路。其意义在于：

• 降低门槛： 通过利用消费级智能手机并提供完整的流水线，它降低了贡献数据和重复利用数据进行训练的成本与复杂性。
• 统一基础设施： 它弥合了原始数据与模型训练之间的鸿沟，为 VLA、WAM 和世界模型学习提供标准化的接口，而无需研究人员构建自定义的处理技术栈。
• 多样性即特性： 该数据集利用相机领域（400 多种型号）和场景的自然变化，来提高视觉迁移和跨领域操作学习的鲁棒性。
• 开放生态系统： 作者将 Open-AoE 定位为一个面向社区的基础设施，旨在通过研究人员、机器人开发者和数据贡献者的贡献不断演进，目标是使第一人称数据成为具身智能中“门槛最低”的基础。