💻 computer science

ObjectForesight: Predicting Future 3D Object Trajectories from Human Videos

本文提出了 ObjectForesight，一种基于 3D 物体中心视角的动力学模型，它利用包含 200 多万段伪真值轨迹的大规模数据集，直接从第一人称视频中学习并预测刚性物体未来的 6 自由度姿态与轨迹，从而实现了比传统像素或潜在空间模型更具几何一致性和泛化能力的物理运动预测。

原作者： Rustin Soraki, Homanga Bharadhwaj, Ali Farhadi, Roozbeh Mottaghi

发布于 2026-03-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rustin Soraki, Homanga Bharadhwaj, Ali Farhadi, Roozbeh Mottaghi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 ObjectForesight（物体预知）的人工智能系统。简单来说，它的核心能力是：看一段人操作物体的视频，就能“脑补”出这个物体接下来会怎么动。

想象一下，当你看到一只手伸向桌上的杯子，你不需要计算物理公式，就能凭直觉猜到杯子会被拿起来、倾斜，或者被推到桌边。人类天生拥有这种“物理直觉”，而 ObjectForesight 的目标就是让计算机也拥有这种直觉。

下面我用几个生动的比喻来拆解这项技术：

1. 核心任务：给 AI 装上“物理预知眼”

以前的 AI 看视频，通常只能识别“现在发生了什么”（比如：这是杯子，那是手）。但 ObjectForesight 不一样，它试图回答"接下来会发生什么？"

比喻：就像看悬疑小说，普通读者只能读到当前这一页，而 ObjectForesight 能根据前面的情节，精准地预测出下一页的剧情走向，甚至能想象出多种可能的结局（比如杯子可能被拿起来喝水，也可能被不小心打翻）。

2. 它是如何做到的？（三大法宝）

法宝一：把视频变成“乐高积木”（3D 重建）

普通的视频只是平面的像素点（2D），AI 很难理解深度和空间关系。ObjectForesight 首先会把视频里的物体“变”成 3D 的模型。

比喻：它不像是在看一张平面的照片，而是像把视频里的物体变成了乐高积木。它知道杯子是立体的，知道手在哪里，也知道杯子离手有多远。这样，它就能在三维空间里模拟物体怎么动，而不是在二维画面上瞎猜。

法宝二：从“大海”里淘金（海量数据清洗）

训练这种 AI 需要大量的数据，但互联网上只有视频，没有标注好的“物体运动轨迹”。作者团队开发了一套自动化的“流水线”。

比喻：想象互联网上的视频是一片巨大的沙滩，里面混杂着无数沙子（普通视频）和金子（有用的物体运动数据）。作者造了一台超级淘金机（自动化流水线）：
1. 先筛掉没有手的视频（没互动，没戏）。
2. 再筛掉手没碰到物体的视频（没发生物理变化）。
3. 最后把剩下的视频“翻译”成机器能读懂的 3D 运动数据。
  他们从 EPIC-Kitchens（一个包含厨房动作的大数据集）里，自动提炼出了200 多万条高质量的物体运动轨迹。这相当于给 AI 看了几百万次“人怎么拿东西”的教程。

法宝三：用“扩散模型”来猜未来（像画水彩画）

这是最核心的算法部分。传统的预测方法像“走一步看一步”，容易走偏。ObjectForesight 用的是扩散模型（Diffusion Model）。

比喻：
- 传统方法：像是在走迷宫，每走一步都要做决定，一旦走错一步，后面全错。
- ObjectForesight 的方法：像是在画一幅水彩画。一开始，画面是一片模糊的噪点（就像你还没开始猜，脑子里一片空白）。然后，AI 根据刚才看到的场景（比如手的位置、杯子的形状），一点点把噪点“擦除”，让画面逐渐清晰。
- 为什么好？ 因为未来的运动往往不是只有一种可能（杯子可能被拿起来，也可能被推倒）。扩散模型能生成多种合理的可能性，就像画家能画出几种不同的构图，而不是只画死板的一条直线。这让预测结果既符合物理规律，又丰富多彩。

3. 这项技术有什么用？

让机器人更聪明：现在的机器人有时候很笨拙，因为它们不懂物体受力后会怎么动。有了这个技术，机器人在抓取物体前，就能先在脑子里“预演”一遍，知道怎么抓才不会把东西弄坏或打翻。
理解物理世界：它帮助计算机从“看热闹”进化到“看门道”，真正理解物体之间的互动关系（Affordance，即物体的功能属性）。

总结

ObjectForesight 就像是一个拥有超强大脑的“物理学家”。它通过观看数百万段人类生活的视频，学会了把平面的画面还原成 3D 的乐高世界，并利用强大的“脑补”能力，精准地预测物体在下一秒会如何运动。

这不仅仅是让 AI 会“看”，更是让 AI 开始学会“想”和“预测”，为未来更智能的机器人和虚拟世界打下了坚实的基础。

1. 研究背景与问题定义 (Problem Definition)

核心问题：
现有的计算机视觉系统缺乏像人类一样，仅通过被动观察视频就能直观地推断物体未来运动状态的能力。人类可以轻易想象杯子被拿起、刀被挥舞或盖子被盖上的过程。当前的研究大多集中在像素级的视频生成（Video Generation）或隐式的潜在空间（Latent Space）建模，缺乏对3D 几何结构和物理一致性的显式建模。

任务定义：
ObjectForesight 旨在解决从第一人称（Egocentric）人类视频中预测未来 3D 物体轨迹的任务。

输入： 一段包含物体和手部交互的短 RGB 视频序列、单目深度图、以及物体的 3D 网格（Mesh）。
输出： 物体在未来 $H$ 帧内的连续 6-DoF（6 自由度）位姿序列（即 3D 位置 $x,y,z$ 和旋转）。
目标： 学习物体在 3D 空间中的动力学规律，生成物理上合理、几何上连贯且多样化的未来运动轨迹。

2. 方法论 (Methodology)

ObjectForesight 框架主要由两部分组成：大规模数据构建流水线 和 基于扩散的 3D 动力学预测模型。

2.1 数据构建流水线 (Data Curation Pipeline)

由于缺乏大规模、带有物理真值（Ground Truth）的 3D 物体交互数据集，作者构建了一个自动化的数据流水线，从 EPIC-Kitchens 等现有数据集中提取了 200 万+ 条高质量的 3D 物体轨迹。

流程步骤：
1. 动作片段筛选： 从 EPIC-Kitchens 中筛选出包含手部交互的短片段（<10 秒）。
2. 手 - 物检测与分割： 使用 EgoHOS 检测手和物体，利用 SAM2 (Segment Anything Model 2) 进行时间一致性分割，生成鲁棒的物体掩码。
3. 3D 重建： 利用 TRELLIS 从清洁视图中重建物体 3D 网格（Mesh）。
4. 位姿估计与跟踪： 结合 SpaTrackerV2（提供深度和相机运动）和 FoundationPose，进行 6-DoF 位姿估计和双向跟踪。
5. 质量过滤： 通过 VLM（视觉语言模型）过滤静态物体，利用 IoU 和深度对齐检查剔除低质量轨迹。
6. 坐标归一化： 将所有位姿转换到“锚定帧”（Anchor Frame）的相机坐标系下，消除相机自身运动（Ego-motion）的影响，仅保留物体相对运动。

2.2 预测模型架构 (Model Architecture)

模型采用 Diffusion Transformer (DiT) 架构，结合了几何感知编码器。

输入表示：
- 场景几何： 锚定帧的点云（Point Cloud），包含单目深度信息。
- 运动上下文： 过去 $C$ 帧的物体位姿（6-DoF）和归一化边界框。
- Token 化： 将 6-DoF 位姿重参数化为深度归一化的 9D Token ( $u=x/z, v=y/z, s=\log z, r_{6D}$ )，以提高数值稳定性。
核心组件：
1. 几何感知编码器 (Geometry-Aware Encoder)：
  - 使用 PointTransformerV3 处理点云。
  - 引入 FiLM (Feature-wise Linear Modulation) 机制，将运动上下文向量注入到点云特征中，使模型能根据物体历史运动理解场景几何。
  - 输出一个全局场景嵌入向量 $z_{geom}$ 。
2. 扩散 Transformer (Diffusion Transformer)：
  - 基于 DiT 架构，使用 AdaLN-Zero 进行条件注入。
  - 将场景嵌入 $z_{geom}$ 和过去的位姿 Token 作为条件，对未来的噪声位姿序列进行去噪预测。
  - 采用 v-parameterization 和 P2 重加权 策略来稳定训练。
训练目标：
- 主损失：v-prediction MSE。
- 辅助损失：直接监督解码后的 SE(3) 轨迹（平移误差 + 旋转测地线距离）。
- 平滑损失：对速度和加速度进行正则化，确保轨迹物理平滑。
- 深度惩罚：防止预测出极小深度的退化结果。

3. 关键贡献 (Key Contributions)

任务形式化： 首次正式定义并形式化了“从人类视频中预测 3D 物体动力学”的任务，建立了一个标准化的学习框架，使模型能利用海量野外视频数据学习物理交互先验，而无需显式的动作标注。
ObjectForesight 模型： 提出了一种以物体为中心的 3D 动力学模型。与传统的像素级视频生成或隐式潜在空间模型不同，该模型直接在 SE(3) 位姿空间 进行显式建模，能够生成几何一致且物理合理的 6-DoF 轨迹。
大规模数据集： 构建了一个包含 200 万+ 条物体中心 3D 轨迹的大规模数据集。利用自动化的分割、重建和位姿估计技术，从通用交互视频中提取了高保真的 3D 运动监督信号。

4. 实验结果 (Results)

实验在 EPIC-Kitchens 和 HOT3D-Clips 数据集上进行，对比了多种基线模型：

对比基线：
- Constant Velocity： 假设速度恒定的简单外推。
- ObjectForesight-AR： 去除了扩散机制的自回归 Transformer 变体。
- Video Generation (Luma Ray3)： 基于生成未来视频帧再提取位姿的 SOTA 方法。
主要发现：
- 精度提升： ObjectForesight-DiT 在所有指标上均优于基线。在 EPIC-Kitchens 上，其平均位移误差 (ADE) 为 0.016m，平均旋转误差 (ARE) 为 2.30°，显著优于 Constant Velocity (ADE 0.027m) 和自回归模型。
- 多模态预测能力： 扩散模型成功捕捉了未来运动的不确定性（一多对多映射，例如杯子可以被拿起、滑动或旋转），而自回归模型倾向于坍缩为单一确定性输出，表现较差。
- 几何一致性： 相比于视频生成方法（Luma Ray3），ObjectForesight 直接预测位姿，避免了从合成视频中提取位姿带来的累积误差，ADE 降低了约 65% (0.084m vs 0.029m)。
- 消融实验： 证明了 PointTransformerV3 作为几何编码器的重要性，以及扩散模型在长时程预测和物理一致性上的优势。

5. 意义与影响 (Significance)

具身智能的基础能力： 该工作为具身智能（Embodied AI）和机器人提供了关键的“物理直觉”。机器人可以通过观察人类视频，无需亲自尝试，就能预测物体被操作后的状态，这对于规划（Planning）和避障至关重要。
超越像素级生成： 证明了在 3D 几何空间直接建模动力学比在像素空间生成视频更有效、更精确，且计算成本更低。
数据驱动的物理学习： 展示了如何利用大规模、非结构化的互联网视频数据，通过自动化流水线转化为高质量的 3D 物理监督信号，为未来学习更复杂的物理交互（如变形物体、多物体交互）奠定了基础。
可扩展性： 该框架不依赖特定的机器人动作数据，能够泛化到未见过的物体和场景，具有极强的通用性。

总结： ObjectForesight 通过结合大规模自动化数据构建和先进的扩散 Transformer 架构，成功实现了从被动视觉观察到主动 3D 物理预测的跨越，为机器人理解物理世界和进行长程规划提供了强有力的工具。