技术摘要：EgoTraj：用于多模态预测的真实世界第一人称人类轨迹数据集

问题陈述

从第一人称（egocentric）视角准确预测人类轨迹，对于人形机器人、可穿戴传感和辅助导航等应用至关重要。然而，该领域的发展受到真实世界第一人称轨迹数据集稀缺的阻碍。现有的轨迹预测研究主要依赖于鸟瞰图（BEV）或静态第三人称摄像头数据集（例如 ETH、UCY、nuScenes），这些数据虽然捕捉了外部运动，但未能模拟人类如何从第一人称视角感知、规划并发起运动。因此，当前的预测方法严重依赖运动历史和场景上下文，而缺乏如注视（gaze）等与意图相关的线索。此外，现有的第一人称数据集往往规模有限、局限于室内环境、仅来自单一参与者，或缺乏意图感知预测所需的同步注视和六自由度（6DoF）姿态数据。

方法论与数据集构建

为了应对这些局限，作者介绍了EgoTraj，这是一个在真实世界城市环境中使用Meta Quest Pro (MQPro) 头显录制的大规模、多模态、开放数据集。

数据采集协议

• 硬件：参与者佩戴运行全彩色透视模式的 MQPro 头显。该设备集成了透视 RGB 摄像头、两个红外眼动追踪摄像头、四个内向外（inside-out）追踪摄像头以及一个六轴 IMU。
• 参与者：数据集包含75 名独特参与者（年龄 18–38 岁，性别平衡，14 个国籍）。每位参与者恰好贡献一次录制会话。
• 环境：数据在多样化的城市户外环境中采集，包括人行道、人行横道和繁忙街道。协议利用七个预定义的户外航点（地标）来定义起点 - 终点对，允许参与者选择自己的路线，以鼓励自然导航和自发互动。
• 时长：数据集包含75 个序列，总计10.7 小时的同步数据，包含115 万张 RGB 帧。
• 隐私：所有录制内容均使用EgoBlur进行处理，自动检测并模糊人脸和车辆车牌。

多模态同步

该数据集提供30 Hz的时间同步真值，包括：

1. 6DoF 头部姿态：位置（x, y, z）和朝向（四元数），以及线速度和角速度。
2. 3D 注视向量：每帧的双目注视原点和方向向量。
3. 第一人称 RGB 视频：30 fps 的 H.264 编码视频。
4. 场景标注：通过基于Qwen2.5-VL-7B的视觉 - 语言模型（VLM）流水线生成的高级上下文描述。这些标注涵盖环境上下文、交通活动、注视固定目标以及推断的短期移动意图。

数据处理

一个定制流水线利用设备时间戳，将传感器流（注视/姿态运行频率为 50 Hz）与 30 Hz 的视频时间线对齐。应用了插值技术（位置采用线性插值，旋转采用 SLERP）以确保时间一致性。最终数据集以 HDF5 格式打包，并包含经过隐私模糊处理的帧。

主要贡献

1. EgoTraj 数据集：首个大规模第一人称轨迹数据集，联合提供了来自 75 名参与者在真实城市交通中导航的同步 6DoF 头部姿态、每帧 3D 注视向量、第一人称 RGB 视频和场景标注。
2. 基准测试与评估协议：作者建立了一个标准化的第一人称轨迹预测基准，在保留的测试集上评估了多种最先进模型。
3. 多模态分析：通过消融研究，作者分析了注视、社会互动和场景上下文在现实条件下对轨迹预测的具体贡献。

实验结果

定量评估

作者评估了多个基线模型，包括运动学模型（恒定速度、线性外推）和学习模型（M_Transformer、CXA-Transformer、EgoCast）。

• 性能：改进后的EgoCast模型取得了最佳的轨迹预测性能，平均位移误差（ADE）为0.16 米，最终位移误差（FDE）为0.28 米。
• 头部旋转：CXA-Transformer实现了最低的头部旋转误差（0.69），表明其级联交叉注意力机制能更好地捕捉朝向动态。
• 基线比较：学习到的时序模型始终优于简单的运动学外推，特别是在预测旋转和处理非线性运动方面。

消融研究

使用 CXA-Transformer 架构，作者分析了不同输入模态的影响：

• 注视与场景：添加场景分割（S）将 ADE 从 0.19 降低至 0.16。引入注视（G）进一步将其降低至 0.15，表明视觉注意力提供了超越运动学线索的预测信号。
• 社会上下文：在社会表征中，全身姿态（P）优于中心点（C）和边界框（B），表明细粒度的运动线索对社会互动建模更具信息量。
• 全多模态：自运动、姿态、场景和注视的组合（Y + P + S + G）取得了最佳的整体性能（ADE：0.12，FDE：0.23，头部旋转误差：0.58）。

泛化能力

模型在更严格的划分上进行了测试：“航点保留”（未见过的起点 - 终点对）和“不熟悉”（参与者对该区域不熟悉）。全多模态配置在这些划分中保持了强劲的性能（ADE 约 0.14），表明模型泛化到了新路线和新参与者，而非过拟合到特定模板。

定性发现

• 主动转换：在“主动转换”窗口（即观察最后 0.5 秒内开始转弯）中，多模态模型跟踪真值的效果显著优于仅运动的基线。这支持了注视比运动动作提前 1–2 秒进行预测的假设。
• 失败案例：系统在急剧的急转弯（例如路口处约 90°的转弯）中表现挣扎，此时短时程自运动历史中的预测信号较弱，突显了在没有强预测线索的情况下进行确定性预测的难度。

意义与主张

本文主张，EgoTraj填补了真实世界多模态第一人称数据可用性的关键空白。通过提供同步的注视、姿态和场景数据，该数据集使得意图感知轨迹预测的研究成为可能。结果表明：

1. 视觉注意力（注视） 是一个关键的预测信号，先于运动出现，特别是对于转弯和方向改变。
2. 多模态融合（结合自运动、社会上下文、场景结构和注视）在复杂城市环境中显著优于仅运动的基线。
3. 该数据集支持下游应用，包括基于 AR 的感知、视障人士的辅助导航以及符合社会规范的机器人导航。

作者发布了数据集、代码以及EgoViz Dashboard（用于检查同步流的交互式工具），以促进第一人称轨迹预测和导航意图的视觉 - 语言理解方面的未来研究。