💻 computer science

Neural Voxel Dynamics: Learning Implicit 3D Physics via Volumetric Feature Advection

本文介绍了一种自监督框架，该框架通过将视频特征反投影到体积潜空间中，并将其建模为动作条件的平流过程，从而学习隐式 3D 物理动力学，使模型能够在不依赖显式物理模拟器的情况下，仅从单目视频中涌现出具有物理一致性的长期 3D 世界模型。

原作者： Zican Wang, Niloy Mitra

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Zican Wang, Niloy Mitra

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：教 AI “感受”物理规律

想象你正在看一段水杯被撞倒的视频。标准的 AI 视频生成器可能会观察像素并猜测：“好吧，水看起来在溅起，所以我让下一帧看起来像是在溅水。”它擅长模仿“外观”，但它并不真正理解水为什么会溅起，或者如果你再次推动它时它会如何表现。它经常无法保持杯子的完整性，或者会让水像魔法一样飘走。

这篇论文介绍了一种名为**神经体素动力学（Neural Voxel Dynamics）**的新系统。该系统不再仅仅是猜测下一帧像素应该长什么样，而是尝试在计算机内部构建一个隐藏的 3D“心理模型”。它通过观察视频来学习真实的物理规则（如重力、碰撞和流体流动），而不需要人类向它教授数学公式。

问题所在：“平面”与“深度”之争

目前的视频 AI 模型就像是一个盯着平坦画布观察的画家（2D）。它们擅长制作漂亮的图像，但不理解球滚到树后依然存在；在它们看来，球只是消失了。它们缺乏物体恒常性和物理一致性。

作者认为，要真正理解物理学，AI 需要停止以 2D 图像的形式思考，开始在 3D 空间中思考。

解决方案：这个“隐形乐高”盒子

研究人员构建了一个系统，能将一段平面的视频转化为由被称为**体素（Voxels）**的隐形方块组成的 3D 结构（可以把它们想象成填充房间的微小乐高积木，即 3D 版的像素）。

以下是该系统的运作步骤：

1. 将视频提升至 3D（“去扁平化”机器）

系统获取一段常规视频（仅仅是随时间变化的平面图像），并利用一个“深度猜测器”来判断物体的远近。然后，它将视频的特征投影到一个由这些隐形乐高方块组成的 3D 网格中。

类比： 想象你正在看一场平面的皮影戏，突然意识到那些影子其实是悬挂在房间里的 3D 木偶。该系统通过 2D 影子重建出了 3D 房间。

2. “特征平流”（隐形的风）

一旦世界被构建成一个 3D 方块网格，系统就不会使用沉重的数学方程（如计算摩擦力或黏度）来模拟物理。相反，它将物理过程处理得像是烟雾在空气中移动。

类比： 想象这些 3D 方块中充满了隐形的“信息烟雾”。当你推动一个方块（施加一个力）时，系统会学习这种“烟雾”是如何漂移并旋入下一个方块的。
如果你推动一个刚性方块（如立方体），“烟雾”会作为一个整体块移动。
如果你推动一种流体（如水），“烟雾”会扩散并溅起。
AI 会自动学习这些模式。它不需要被告知“这是水”或“这是石头”，它只需要学习当施加“这种类型的力”时，会发生“这种类型的流动”。

3. 从“幽灵”观测中学习

由于 AI 只能从单一摄像机角度观察，它无法看到物体的背面。该系统足够聪明，能够猜测那些“不可见”方块中正在发生的事情。

类比： 如果你看到一个球滚到了墙后，人类知道球仍然在那里，只是被挡住了。这个 AI 也做同样的事情。它在隐藏的 3D 方块中保留了这个球的“幽灵”，以便当球从另一侧出现时，它的行为依然符合逻辑。

为什么这意义重大

大多数其他方法试图将 AI 与传统的物理引擎（如视频游戏中所使用的引擎）结合起来。但这些引擎需要人类手动设置规则：“这是固体”、“这是液体”、“这很重”。

这种新方法是自监督的。它仅通过观看视频就能自主学习一切。

它可以在同一个系统中处理刚体（岩石）、流体（水）和烟雾，而无需切换模式。
它创建了一个理解因果关系的“世界模型”。如果你推一个杯子，它知道杯子会倒下，即使视频在杯子落地前就结束了。

实验结果

研究人员在涉及跳动球体、倾倒液体和烟雾的多个基准测试（如 CLEVRER 和 PhysInOne）中测试了他们的系统。

结果： 他们的模型比以往的 AI 模型更准确地预测了未来的运动。它保持了物体的完整性，使流体流动自然，并且不会让物体消失或瞬间移动。
证明： 即使在仅使用单一相机视角（这更难）的情况下进行测试，它在理解 3D 物理方面仍然比仅观察 2D 像素的模型表现更好。

总结

简而言之，这篇论文教会了 AI 不再仅仅是“绘制”视频的下一帧，而是开始在隐藏的网格中“模拟” 3D 世界。通过将物理学视为 3D 方块中的信息流，它学会了预测现实世界的移动、碰撞和流动，而无需人类为它编写物理教科书。

技术摘要：神经体素动力学 (Neural Voxel Dynamics)

问题陈述
当前的生成式视频模型虽然实现了极高的视觉逼真度，但往往缺乏 3D 几何基础，导致物理不一致以及无法维持物体恒常性。这些模型通常在 2D 潜空间中运行，通过学习到的捷径进行像素“变形”，而非模拟底层的 3D 物理变换。相反，基于显式物理的方法（例如使用物质点法或基于位置的动力学的方法）受限于“模拟鸿沟”——即难以从原始像素中估计精确的物理参数——并且需要对材料类型（如固体与流体）进行严格的预先指定和手动参数调优。因此，需要一种能够直接从被动单目视频观测中隐式学习 3D 物理动力学，且不依赖于显式物理引擎或地面真值物理标签的框架。

方法论：神经体素动力学
所提出的框架——神经体素动力学 (Neural Voxel Dynamics)——将预测瓶颈从 2D 图像空间转移到了“提升”后的 3D 体素潜空间。该方法分为两个主要阶段：

几何提升至体素潜变量 (Geometric Lifting to Voxel Latents)：
- 系统接收单目视频帧和从视频联合嵌入预测架构 (V-JEPA) 中提取的语义特征。
- 利用单目深度先验（具体为 MoGe），将这些 2D 语义特征反投影到规范 3D 体素网格中。
- 这一过程创建了一个稀疏的 4D 时空体素表示 ( $Z_t$ )，包含三个通道：语义特征 ( $H_t$ )、占用概率通道 ( $O_t$ ) 以及观测/未观测通道 ( $U_t$ )。这种结构强化了物体恒常性和遮挡推理，解决了 2D 表示中固有的空间歧义。
隐式特征平流 (Implicit Feature Advection)：
- 核心预测器是一个体素特征平流 (Volumetric Feature Advection) 模型，其形式为一种动作条件的生成式转换算子。
- 该模型并非使用传统的求解器，而是通过流匹配 (flow matching) 学习一个随时间变化的速度场，从而将噪声源分布传输至目标潜流形。
- 该架构采用了动态局部时空 Transformer（一种扩散 Transformer 变体）。它利用了：
  - 局部空间注意力 (Local Spatial Attention)： 体素仅关注稀疏的 $k \times k \times k$ 邻域，模拟物理系统中局部的力传播，并确保计算量呈线性扩展。
  - 时间注意力 (Temporal Attention)： 通过按空间位置重新分组 Token 来追踪随时间变化的轨迹，从而聚合动量和速度线索。
- 条件化 (Conditioning)： 转换过程受外部力条件的约束，该力由一个 12 维向量表示（编码接触点、方向、大小、持续时间等），通过局部元素级加法和全局调制 Token 进行集成。

核心贡献

语义特征提升： 一种利用单目深度将语义 V-JEPA 特征反投影到具有几何基础的稀疏 3D 潜体素体积中的方法，创建了一种既具备几何基础又具备材料隐式性的表示。
体素特征平流： 一种动作驱动的架构，将隐式 3D 动力学学习为一个时空状态平流问题，在无需预先指定材料类型的情况下，将异质现象（刚体、流体、烟雾）的模拟统一在单一流水线中。
端到端学习： 一个完全由视频衍生信号和动作条件监督的框架，无需访问物理引擎的内部状态、标签或代理模型。

实验结果
模型在多个基准测试上进行了评估，包括 CLEVRER（刚体）、PhysInOne（复杂物体与流体）以及 PhysGaia（流体与烟雾）。

潜变量预测： 该模型在 2D 和 3D 潜变量 L2 损失方面优于最先进的 2D 世界模型（如 CogVideoX）和显式混合方法（如 PhysGen、PhysGaussian、PhysCtrl）。它在多视角评估中表现出卓越的一致性，而 2D 基准模型在多角度评估时性能显著下降。
材料泛化： 与难以处理混合材料类别的显式模拟器不同，所提方法能够在没有显式材料分割的情况下，成功模拟刚体、流体与烟雾之间的相互作用。
流估计： 预测的潜变量动力学比基准模型具有更低的流估计误差，表明学习到的特征捕捉到了与地面真值一致的物理合理运动模式。
消融实验： 实验证实了 3D 投影、投影损失（提高几何重叠度）以及引入占用/观测通道对于准确学习几何形状的必要性。

意义与主张
作者声称，这项工作为开发通用的动态世界模型开辟了一条可扩展的路径，使模型能够仅通过被动观测即可内化物理世界的 3D 不变量。通过将物理学视为高维潜空间中的时空状态平流问题，该方法架起了高层语义特征与物理不变性之间的桥梁。其重要性在于能够生成具有物理基础、与视角无关的预测，并在无需人工预处理、分割或依赖显式物理引擎的情况下，模拟复杂的异质交互。作者将此定位为迈向“真正的动态世界模型”的一步，这类模型能够通过视频数据获得对物理定律的直觉理解。