MOSIV: Multi-Object System Identification from Videos

本文提出了 MOSIV 框架，通过利用视频中的几何目标指导可微模拟器直接优化连续的单物体材料参数，并发布了新的合成基准，从而有效解决了现有方法难以处理的多物体系统识别难题。

要点

这篇论文介绍了一个名为 MOSIV 的新系统，它的核心任务可以概括为：“看视频，猜物理”。

想象一下，你正在看一段两个玩具互相碰撞、挤压、滚动的视频。普通的电脑程序可能只能告诉你“那里有个红色的球，那里有个蓝色的方块”。但 MOSIV 不一样，它不仅能看清形状，还能像一位**“物理侦探”**一样，通过观察它们的运动，推断出这些物体到底是由什么材料做的（是像橡皮泥一样软？像石头一样硬？还是像水一样流动？），甚至能预测如果把它们扔向不同的方向，接下来会发生什么。

为了让你更容易理解，我们可以用几个生活中的比喻来拆解这项技术：

1. 以前的方法 vs. MOSIV：选菜单 vs. 定制厨师

• 以前的方法（像点菜）：
  以前的系统就像是一个只会**“选菜单”**的餐厅。它手里只有一本固定的菜单（比如：只有“橡胶”、“金属”、“水”三种选项）。当它看到视频里的物体时，它只能硬着头皮从菜单里挑一个最像的。

  • 问题： 如果物体其实是“半软半硬”的奇怪材料，或者两个物体碰撞时的摩擦力很特殊，菜单里没有这一项，系统就会猜错，导致模拟出来的效果很假（比如水撞在墙上像撞在墙上一样弹开，而不是溅开）。

• MOSIV 的方法（像定制厨师）：
  MOSIV 则像是一位**“顶级定制厨师”。它不局限于菜单，而是直接观察食材（视频中的物体），然后现场计算**出最精确的配方（连续的材料参数，比如具体的硬度、摩擦系数是多少）。

  • 优势： 它能精准地还原物体在视频中的每一个细微动作，并且能根据这个“配方”，预测未来会发生什么。

2. 核心挑战：当物体“抱作一团”时

在现实世界里，物体经常互相碰撞、遮挡。

• 比喻： 想象你在看两个果冻互相挤压。如果它们粘在一起，你很难分清哪部分是果冻 A，哪部分是果冻 B。
• 以前的痛点： 很多旧方法会把它们当成一个整体来看，或者搞混了谁是谁，导致算出来的物理属性一团糟。
• MOSIV 的绝招： 它给每个物体都发了一张**“专属身份证”**。即使它们挤在一起，MOSIV 也能死死盯住每一个物体，单独计算它的物理属性。这就好比在拥挤的舞池里，它能同时看清每个人独特的舞步，而不是把所有人混成一团乱麻。

3. 它是如何工作的？（三步走战略）

MOSIV 的工作流程可以比作**“拍电影 -> 造模型 -> 试演”**：

1. 第一步：拍电影（几何重建）
   它先利用多角度的视频，把物体在 3D 空间里的样子“拍”下来，重建出它们随时间变化的 3D 形状。这就像是用 3D 打印机把视频里的物体先“打印”出来。

2. 第二步：造模型（数字孪生）
   它把打印出来的 3D 形状，转换成计算机能理解的“物理粒子”。这时候，它给每个粒子都贴上了标签，告诉电脑：“这部分是硬的，那部分是软的”。

3. 第三步：试演（可微模拟器）
   这是最神奇的一步。它把刚才建好的模型放进一个**“虚拟物理引擎”**里跑起来。

   • 如果跑出来的动作和视频里不一样（比如视频里球弹得很高，模拟里弹得很低），它就会自动调整刚才设定的“硬度”或“摩擦力”参数。
   • 它一遍又一遍地微调，直到模拟出来的动作和视频里的一模一样。这时候，它手里掌握的那个“参数配方”，就是该物体真实的物理属性。

4. 为什么要做这个？（有什么用？）

这项技术不仅仅是为了好玩，它在很多领域都有大用处：

• 机器人管家： 想象未来的机器人要帮你整理房间。如果机器人不知道手里的杯子是易碎的玻璃还是耐摔的塑料，它可能会捏碎杯子。MOSIV 能让机器人通过看视频，瞬间学会物体的物理特性，从而小心翼翼地拿取。
• 特效制作： 电影里那些逼真的爆炸、水流、布料飘动，以前需要专家手动调参数，非常耗时。有了 MOSIV，只要拍一段参考视频，电脑就能自动生成符合物理规律的特效。
• 预测未来： 就像天气预报一样，MOSIV 可以预测物体在没被拍摄到的情况下的行为。比如，如果把这个弹珠换成更重的材质，它滚下楼梯会撞坏什么？

总结

简单来说，MOSIV 就是一个**“从视频中学习物理定律”**的超级大脑。它不再死板地套用固定的物理公式，而是通过观察物体在复杂环境（一堆东西混在一起）中的真实表现，反向推导出每个物体独一无二的物理性格。

这就好比，你不需要知道牛顿定律的公式，只要看一个孩子玩积木，你就能学会怎么搭积木才不容易倒。MOSIV 就是那个学会了“玩积木”的 AI，而且它玩得比谁都懂物理。

技术摘要

这是一篇关于从视频中识别多物体系统物理属性的论文，标题为 MOSIV: MULTI-OBJECT SYSTEM IDENTIFICATION FROM VIDEOS（MOSIV：基于视频的多物体系统识别），发表于 ICLR 2026。

以下是对该论文的详细技术总结：

1. 研究问题 (Problem Statement)

• 核心挑战：现有的从视频中识别物理属性的方法大多局限于单物体场景，或者仅能进行离散的材质分类（即从固定的材质库中选择，如“橡胶”或“金属”）。
• 现实困境：真实世界场景通常是动态且混乱的，包含多个物体相互碰撞、滑动和重组。物体间的遮挡、复杂的接触动力学以及连续变化的物理属性（如刚度、塑性、摩擦系数）使得现有方法失效。
• 任务定义：作者提出了**多物体系统识别（Multi-Object System Identification）**任务。给定多视角的交互物体视频，目标是：
  1. 重建物体随时间变化的 4D 几何形状（3D 形状 + 时间）。
  2. 识别每个物体独立的连续物理参数（如杨氏模量 $E$、泊松比 $\nu$、摩擦系数 $\mu$ 等），而不仅仅是分类材质。
  3. 构建一个“数字孪生”，能够准确复现观察到的运动，并预测未来的交互行为。

2. 方法论 (Methodology: MOSIV)

MOSIV 框架包含三个协同工作的核心组件，旨在解决多物体接触下的参数优化难题：

A. 物体感知的动态高斯重建 (Object-Aware Dynamic Gaussian Reconstruction)

• 基础：利用 4D 高斯泼溅（4D Gaussian Splatting, 4DGS）技术，从多视角视频中重建场景。
• 创新点：引入物体实例掩码（Instance Masks）和材质掩码（Material Masks）。
  • 通过优化 4D 高斯核，不仅恢复几何形状，还利用掩码将高斯核按物体和材质进行分离。
  • 这使得系统能够追踪每个物体独特的材质属性，即使在物体相互接触或遮挡时也能保持身份识别。

B. 高斯到连续体的提升 (Gaussian-to-Continuum Lifting)

• 转换：将优化后的动态高斯表示转换为适合物理模拟的粒子集（Simulation Particles）。
• 多物体约束：
  • 针对多物体场景，算法在初始化时强制不同物体的支持域（Supports）互不重叠，避免穿透。
  • 为每个物体生成独立的网格分辨率，确保接触界面的对齐。
  • 粒子携带位置、速度、变形梯度以及物体 ID和材质标签。

C. 可微分 MPM 模拟器与联合优化 (Differentiable MPM & Joint Optimization)

• 物理引擎：使用**可微分的物质点法（Differentiable Material Point Method, MPM）**模拟器。MPM 擅长处理大变形、接触、摩擦以及不同材质（弹性体、塑性体、流体、沙土等）之间的复杂相互作用。
• 优化目标：
  • 几何对齐损失：比较模拟生成的表面/轮廓与从重建高斯中提取的真实表面/轮廓。
  • 损失函数：包括对称 Chamfer 距离（CD）和 2D Alpha 掩码损失（Silhouette Loss）。
  • 关键策略：采用**物体级（Object-wise）**监督，而非场景级（Scene-wise）。即分别计算每个物体的损失，防止优化器在物体接触时通过“借用”另一个物体的几何信息来欺骗损失函数（例如，防止一个软物体通过变形去拟合硬物体的轮廓）。
• 训练流程：
  1. 重建动态高斯并分配实例分割。
  2. 将高斯提升为模拟粒子。
  3. 通过 MPM 前向模拟，利用几何损失反向传播，联合优化每个物体的连续物理参数 $\Theta = \{\theta_k\}$。
  4. 采用课程学习（Curriculum Learning）逐步增加模拟时长，并使用交替更新策略减少漂移。

3. 主要贡献 (Key Contributions)

1. 任务定义与数据集：正式定义了“多物体系统识别”任务，并发布了一个新的合成基准数据集（基于 Genesis 物理引擎）。该数据集包含 45 个多视角视频，涵盖 10 种几何形状和 5 种材质（弹性、弹塑性、流体、沙土、雪）的复杂交互，提供了真实的物理参数作为 Ground Truth。
2. 新框架 MOSIV：提出了一种结合物体感知动态高斯与联合多物体拟合的新框架。该方法利用几何驱动的监督，直接从视频中识别每个物体独立的连续物理属性，突破了以往离散分类的局限。
3. 性能验证：在合成基准上，MOSIV 在参数识别精度、观测状态模拟和未来状态预测方面均显著优于基线方法（如 OmniPhysGS 和 CoupNeRF）。

4. 实验结果 (Results)

• 定量评估：
  • 观测状态模拟：MOSIV 在 PSNR、SSIM、Chamfer Distance (CD) 和 Earth Mover's Distance (EMD) 等指标上全面超越基线。例如，在 CD 指标上，MOSIV 达到了 1.256，而 OmniPhysGS 为 11.79（数值越低越好）。
  • 未来状态预测：在长时程预测中，MOSIV 保持了轨迹的稳定性，而基线方法（特别是基于离散材质选择的 OmniPhysGS）会出现明显的漂移和物理失真（如流体过度扩散、沙土不合理分散）。
• 定性分析：
  • 在复杂的接触场景（如塑性体 - 流体、沙土 - 沙土）中，MOSIV 能准确保留物体的几何细节和接触边界，而基线方法往往出现模糊、形状侵蚀或接触泄漏。
  • 新颖交互（Novel Interactions）：MOSIV 能够交换物体的物理参数（例如将原本刚性的物体变为流体），并生成符合物理规律的预测结果，证明了其泛化能力。
• 消融实验：
  • 证明了**物体级监督（Object-wise Supervision）**至关重要。使用场景级监督（Scene-wise）会导致参数校准错误，因为优化器会利用物体间的遮挡来最小化全局损失，从而产生不稳定的模拟。

5. 意义与影响 (Significance)

• 推动物理 AI 发展：MOSIV 解决了从视频中学习复杂多物体物理交互的难题，为机器人操作（如在杂乱环境中抓取变形物体）、物理真实的场景编辑和数字孪生构建提供了强有力的工具。
• 方法论突破：展示了将显式几何表示（高斯泼溅）与可微分物理模拟（MPM）结合，并辅以细粒度的物体级监督，是解决多物体系统识别中“接触歧义”和“参数可识别性”问题的有效途径。
• 资源开放：作者承诺开源代码和数据集，这将促进该领域后续的研究。

总结：MOSIV 通过引入连续参数优化、物体级几何监督以及可微分 MPM 模拟，成功实现了从多视角视频中高精度地重建多物体场景并识别其物理属性，显著优于现有的离散分类或单物体方法，为构建高保真的物理世界模型迈出了重要一步。