EgoTraj-Bench: Towards Robust Trajectory Prediction Under Ego-view Noisy Observations

本文提出了首个面向真实世界第一人称视角噪声观测的轨迹预测基准 EgoTraj-Bench，并设计了结合双流去噪与 EgoAnchor 机制的 BiFlow 模型，显著提升了机器人导航在感知受限环境下的轨迹预测鲁棒性与精度。

要点

这篇论文讲述了一个关于**“让机器人学会在‘看不清’的情况下猜路”**的故事。

想象一下，你正在玩一个“盲人摸象”的游戏，但这次你不是摸大象，而是要预测一群人在拥挤的街道上下一秒会往哪里走。

1. 核心问题：为什么现在的机器人“太天真”了？

目前的很多预测机器人（比如自动驾驶汽车或送餐机器人）就像是在**“上帝视角”**（鸟瞰图，BEV）下长大的。

• 上帝视角：就像站在摩天大楼顶上看街道，所有人都看得清清楚楚，没有遮挡，每个人是谁（ID）都记得死死的。
• 现实视角（第一人称，FPV）：机器人是戴着“单眼眼镜”在街上走的。
  • 遮挡：前面的人挡住了后面的人，机器人根本看不见后面的人。
  • 认错人：两个人擦肩而过，机器人的摄像头可能把“穿红衣服的人”和“穿蓝衣服的人”搞混了（ID 切换）。
  • 变形：离镜头太近或太远，人的样子会变形。

痛点：以前的训练方法都假设机器人拥有“上帝视角”的完美数据。一旦把这种模型放到真实世界里，面对这些“看不清、认不准”的混乱画面，它们就彻底懵了，预测完全失效。

2. 解决方案一：EgoTraj-Bench（给机器人造一个“模拟考场”）

作者觉得，要解决这个问题，首先得有一个真实的“模拟考场”，让模型在训练时就习惯“看不清”的情况。

• 以前的做法：用电脑模拟出一些假乱的画面（就像用 PS 把图弄模糊），但这不够真实，因为真实的混乱是有规律的。
• EgoTraj-Bench 的做法：
  • 他们利用了一个真实数据集（TBD），这个数据集里同时有“上帝视角”的监控录像（完美的真相）和“机器人视角”的录像（充满噪音的混乱）。
  • 比喻：就像给机器人看两部电影。一部是“导演剪辑版”（完美清晰），另一部是“手持摄影版”（晃动、遮挡、模糊）。
  • 他们把“手持摄影版”里的混乱数据，强行映射到“导演剪辑版”的坐标上。这样，机器人就能在训练时明白：“哦，原来在上帝视角里那个穿黄衣服的人，在机器人眼里其实是被挡住了一半的。”

这个“考场”是第一个真正用真实世界噪音来测试轨迹预测的基准。

3. 解决方案二：BiFlow（机器人的“双脑”训练法）

有了考场，作者还设计了一个新模型叫 BiFlow。你可以把它想象成一个**“双修”的学霸**。

这个模型有两个任务同时进行：

1. 任务 A（去噪/复原）：看着那团乱糟糟的、被遮挡的“手持摄影版”画面，努力猜出它原本长什么样（还原出清晰的历史轨迹）。
2. 任务 B（预测未来）：基于刚才猜出来的清晰历史，去预测大家下一步往哪走。

为什么这么设计？

• 比喻：这就好比一个侦探。如果侦探连“案发前发生了什么”都看不清楚（因为现场被破坏了），他怎么可能猜出“凶手下一步去哪”呢？
• BiFlow 强迫模型先学会“把烂摊子收拾干净”（去噪），然后再去“预测未来”。在这个过程中，模型学会了从混乱中提取有用的线索。

还有一个小机关叫 EgoAnchor（意图锚点）：

• 这就像给侦探一个“直觉”。模型会分析：“虽然我看不到这个人现在的脸，但根据他之前的走路姿势和周围人的反应，他大概率是想往左边拐。”这个“直觉”被用来稳定预测结果，防止模型因为数据太乱而瞎猜。

4. 结果如何？

作者在“模拟考场”上测试了各种现有的最先进模型：

• 旧模型：一遇到真实的“手持摄影版”噪音，成绩就崩盘，预测得乱七八糟。
• BiFlow（新模型）：表现非常稳健。它不仅能从混乱中还原出真相，还能准确预测未来。
• 数据：在预测的准确度上，比以前的最好模型提升了 10% 到 15%。

总结

这篇论文的核心思想就是：别把机器人关在温室里（完美数据）训练，要带它们去泥坑里（真实噪音）练练手。

作者通过建立 EgoTraj-Bench（真实噪音考场）和提出 BiFlow（先复原再去预测的双流模型），让机器人学会了在“看不清、认不准”的复杂现实环境中，依然能像老司机一样，稳稳地预测行人的动向，从而更安全地在人类社会中导航。

技术摘要

1. 研究背景与问题定义 (Problem)

核心痛点：
现有的行人轨迹预测方法大多基于鸟瞰图 (Bird's-Eye View, BEV) 的理想化假设，即假设历史观测数据是完美、无噪声且全局一致的。然而，在机器人导航等实际部署场景中，智能体通常通过第一人称视角 (Ego-view / First-Person View, FPV) 的摄像头感知环境。

现实挑战：
FPV 观测存在固有的感知缺陷，导致历史轨迹数据严重失真，主要包括：

• 遮挡 (Occlusions)： 行人被遮挡导致轨迹中断。
• ID 切换 (ID Switches)： 跟踪算法在行人交叉或遮挡后发生身份混淆。
• 跟踪漂移与透视畸变 (Tracking Drift & Perspective Distortion)： 由于相机视角和运动，导致定位误差和几何失真。
• 视野截断 (FOV Truncation)： 行人进出视野导致数据缺失。

现有方法的局限性：

• 基于 BEV 的模型在直接输入 FPV 噪声数据时性能急剧下降。
• 现有的 FPV 预测方法多停留在图像空间（如预测边界框），缺乏真实世界度量空间（Metric Space）的推理能力。
• 现有的仿真数据集（如 T2FPV）虽然模拟了 FPV，但基于规则生成的运动模式过于简化，无法捕捉真实场景中的复杂视觉噪声和细微运动模式。

研究目标：
构建一个能够评估和提升模型在真实世界 FPV 噪声观测下鲁棒性的基准，并提出一种能够同时去噪历史观测并预测未来轨迹的新架构。

---

2. 核心贡献：EgoTraj-Bench 基准 (Key Contribution 1)

作者提出了 EgoTraj-Bench，这是首个针对 FPV 噪声观测的真实世界轨迹预测基准。

• 数据来源与构建：
  • 基于 TBD 数据集（包含同步的 BEV 俯视视频和机器人 FPV 视频）。
  • 噪声注入机制： 从真实的 FPV 视频中提取轨迹，利用相机内参和机器人位姿将其投影到 BEV 坐标系。这一过程自然保留了真实部署中的遮挡、ID 切换、透视畸变等噪声。
  • 配对监督： 将“含噪声的 FPV 历史轨迹”作为输入，与“干净的 BEV 未来轨迹（人工验证）”作为监督信号进行配对。
• 特点：
  • 真实物理噪声： 不同于仿真渲染，它捕捉了真实的传感器误差和动态交互。
  • 度量一致性： 所有数据均统一在真实世界坐标（米）下，支持精确的空间推理。
  • 统计规模： 包含 210 分钟的真实录制数据，36,947 个对齐样本，涵盖多种复杂室内场景。
• 评估发现：
  • 实验表明，现有的 SOTA BEV 模型（如 MoFlow, TUTR 等）在输入 FPV 噪声数据后，性能显著下降（例如 minADE 从 0.20m 恶化至 0.67m），证明了现有方法对感知噪声极其敏感。

---

3. 方法论：BiFlow 模型 (Key Contribution 2)

为了解决上述问题，作者提出了 BiFlow，一种双流流匹配 (Dual-Stream Flow Matching) 模型。

核心思想：
利用流匹配 (Flow Matching) 的生成能力，联合学习两个任务：

1. 历史去噪 (History Denoising)： 从含噪声的 FPV 历史轨迹中恢复出干净的轨迹。
2. 未来预测 (Future Forecasting)： 基于恢复的语义信息预测未来轨迹。
   通过共享潜在表示，模型利用去噪后的历史语义来指导未来预测，从而提升鲁棒性。

关键组件：

1. 上下文编码器 (Contextual Encoder)：

   • 基于 Transformer 架构，处理含噪声的历史轨迹和有效性掩码 (Validity Mask)。
   • 通过多头自注意力机制 (MHSA) 建模智能体间的社交交互，并聚合场景级表示。

2. EgoAnchor 机制 (意图先验蒸馏)：

   • 目的： 从历史特征中提取“意图先验”，以稳定在部分或损坏输入下的预测。
   • 实现： 从编码器输出中蒸馏出智能体级 (Agent-level) 和场景级 (Scene-level) 的紧凑 Token。
   • 调制： 通过特征仿射调制 (Feature-wise Affine Modulation) 将这些意图先验注入到未来预测解码器中，类似于自适应里程计，增强高置信度特征。

3. 双解码器架构 (Dual Decoder)：

   • 重建流： 学习从噪声输入 $\tilde{X}$ 重建干净历史 $X$。
   • 预测流： 学习从 $\tilde{X}$ 预测未来 $Y$。
   • 训练目标： 采用流匹配损失，结合重建损失 ($L_{recon}$) 和预测损失 ($L_{pred}$)。在推理阶段，仅使用预测流，但利用 EgoAnchor 提供的先验信息。

---

4. 实验结果 (Results)

作者在 EgoTraj-TBD (真实数据) 和 T2FPV-ETH (仿真数据) 上进行了广泛实验。

• 性能提升：
  • BiFlow 在所有基准测试中均达到 SOTA (State-of-the-Art)。
  • 在 T2FPV-ETH 数据集上，相比之前的 SOTA (MoFlow)，minADE 降低了 11%，minFDE 降低了 15%。
  • 在真实数据集 EgoTraj-TBD 上，同样表现出显著优势，平均 minADE 和 minFDE 分别降低了 10-15%。
• 鲁棒性分析：
  • 即使在生成较少候选轨迹 (K 值较小) 的情况下，BiFlow 依然保持高精度，表明其预测分布更贴近真实轨迹，无需大量采样即可保证质量。
  • 对比实验显示，简单的噪声修正模块 (如 CoFE) 效果有限，证明了联合建模去噪与预测的必要性。
• 消融实验：
  • 移除 Social Interaction (SI)、EgoAnchor (EA) 或 Shared Encoder (SE) 均会导致性能下降，证明了各组件在捕捉社交动态、意图先验和特征共享方面的有效性。

---

5. 意义与展望 (Significance)

• 填补空白： 首次建立了真实世界 FPV 噪声下的轨迹预测基准，揭示了理想化 BEV 评估与实际部署之间的巨大鸿沟。
• 方法论创新： 提出了“去噪 + 预测”的联合学习范式，证明了利用流匹配模型同时处理历史恢复和未来生成是解决感知噪声问题的有效途径。
• 实际应用价值： 为移动机器人、智能 prosthetics (假肢) 和服务机器人在复杂人类环境中的安全导航提供了更鲁棒的感知基础。
• 开源贡献： 基准库和代码已开源，为社区提供了评估和开发抗噪声轨迹预测模型的标准平台。

总结：
该论文通过构建 EgoTraj-Bench 揭示了现有模型在真实 FPV 噪声下的脆弱性，并提出了 BiFlow 模型，通过双流流匹配和 EgoAnchor 机制，成功实现了在含噪观测下的高精度、高鲁棒性轨迹预测，推动了从实验室理想环境到真实世界部署的跨越。