🤖 AI

EgoPhys: Learning Generalizable Physics Models of Deformable Objects from Egocentric Video

EgoPhys 是一个通过单视角第一人称 RGB 视频学习通用物理模型，以创建可控的可变形数字孪生的框架，从而实现对复杂动力学的零样本预测，并在无需针对特定物体进行优化的情况下，为现实世界的机器人规划提供便利。

原作者： Hyunjin Kim, Ri-Zhao Qiu, Guangqi Jiang, Xiaolong Wang

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Hyunjin Kim, Ri-Zhao Qiu, Guangqi Jiang, Xiaolong Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你戴着一副记录你所做一切的智能眼镜。你拿起一条毛巾，抖动它，折叠它，然后把它扔到床上。现在，想象一个机器人正在观看这段视频，并能瞬间理解这条毛巾是如何运作的：它的重量如何、它的伸展性如何，以及如果你从不同角度拉扯它时，它会如何摆动。

这就是 EgoPhys 的核心理念，这是由加州大学圣迭戈分校（UC San Diego）的研究人员开发的一种新系统。以下是利用日常类比对该系统工作原理进行的简单拆解。

问题所在：机器人并不“理解”柔软的东西

机器人擅长移动像盒子或杯子这样的刚性物体。但像毯子、面团或衣服这类柔软、富有弹性的物体对它们来说简直是噩梦。要在计算机上模拟这些物体，你通常需要昂贵的 3D 扫描仪、完美的照明，以及大量的时间来测量每一个微小的细节。

现有的方法就像是通过观看专业人士在摄影棚里拍摄的慢动作视频来学习如何玩抛接球。这很精确，但如果你试图从一个新手在杂乱厨房里拍摄的晃动视频中学习，效果就会很差。

解决方案：从“人类游戏”中学习

EgoPhys 通过改变游戏规则，利用**第一视角视频（egocentric video）**进行学习——即从人的视角记录的视频（例如佩戴在头上的 GoPro）。

“神奇眼镜”（第一视角视频）： 该系统通过一段人类玩耍柔软物体（如拉扯毛巾或挤压毛绒玩具）的简单视频进行学习。它不需要深度传感器或特殊相机；只需要一个标准的视频流。
“粗略草图”（粗略初始化）： 首先，系统构建一个物体的基础 3D 模型，并猜测其大致的物理特性。这就像一个孩子画的一只狗的粗略草图。看起来像是一只狗，但腿部可能有点摇晃。
“小抄”（代码本/Codebook）： 这是该论文的核心创新。与其尝试为每一个新物体从头开始计算物理特性（这既慢又难），EgoPhys 创建了一个紧凑的“小抄”或一个物理规则库。
- 想象你拥有一个“弹性规则”库和一个“挤压规则”库。
- 当机器人看到一条它从未见过的新毛巾时，它不需要从头学习物理知识。它只需观察毛巾，查看它的“小抄”，然后瞬间明白：“啊，这看起来像是我的库里的‘蓬松毛巾’条目。我知道它应该如何弯曲。”

实际应用中的工作原理

研究人员在人们与各种柔软物体（毛巾、毛绒玩具、袋子）互动的数据库上训练了这个系统。他们教会了 AI 将这些复杂的物理交互简化为一个小型且可重复使用的代码本。

无需“逐个弹簧”做作业： 通常，要模拟一个柔软物体，计算机在每次看到该物体时，都必须为物体内部每一个微小的弹簧求解数学问题。EgoPhys 跳过了这一步。它使用其“小抄”来瞬间预测行为，而不需要为每个新视频进行繁重的数学计算。
零样本泛化（Zero-Shot Generalization）： 这意味着如果给 Ego-Phys 展示一段人类玩耍一种它从未见过的新型织物的视频，它仍然可以预测这种织物将如何运动。这就像是你第一次见到一种新的果冻，因为你理解了“果冻性”的一般规则，所以立刻知道它会如何晃动。

机器人测试

为了证明其在现实世界中的有效性，团队将 EgoPhys 连接到了一个真实的机器人手臂（xArm6）上。

他们向机器人展示了一段人类玩耍毛巾的视频。
EgoPhys 在计算机中构建了那条毛巾的“数字孪生”（虚拟副本）。
机器人随后利用这个数字孪生来规划如何移动真实的毛巾。
结果： 机器人成功地根据它在模拟中制定的计划移动了真实的毛巾。现实世界的结果与计算机预测相符，证明了机器人确实可以从人类的视频中“学习”物理学，并将其应用于自己的身体。

为什么这很重要

该论文声称，这是第一个能够通过单一、未经标定的穿戴式视频构建出完全交互式、具有物理准确性的柔软物体模型的系统。

以前： 你需要实验室、3D 扫描仪和数小时的计算才能模拟一个柔软物体。
现在： 你可以拍一段智能摄像头的视频，AI 就能立即构建出一个机器人可以用来规划动作的物理模型。

简而言之，EgoPhys 通过观察人类如何玩耍物体，教会了机器人理解世界的“柔软度”，将简单的视频转化为强大的机器人规划工具。

技术摘要：EgoPhys

问题陈述

忠实地预测可变形物体（例如弹性材料、织物）的复杂动力学仍然是计算机视觉和机器人领域的一个重大挑战。虽然人类能够通过日常交互自然地推断物体的物理特性，但目前的计算方法面临着一种两极分化：

生成式视频模型： 最新的视觉预训练进展可以产生视觉上合理的物体动力学视频，但缺乏显式的物理建模，这限制了其在面对新颖交互时的可解释性和基于动作的模拟能力。
基于物理的系统辨识： 现有的恢复可模拟物体的方法通常需要受控的三人称捕捉、深度传感、精确标定或针对每个场景的优化。这些要求阻碍了其扩展性，并阻碍了从人类自然提供的非结构化、单目、第一视角（自我中心）数据中构建“数字孪生”的过程。

核心问题在于：如何仅从单段自我中心 RGB 视频中，在无需深度传感器、多视角标定或针对每个物体的测试时优化的情况下，构建可控的可变形物理数字孪生。

方法论

EgoPhys 是一个旨在学习通用物理先验，以弥合自我中心观测与物理模拟之间差距的框架。该流水线由三个主要阶段组成：

1. 自我中心 4D 重建

系统从单段可穿戴 RGB 视频（例如 Meta Project Aria）中重建具有时间相干性的 4D 点云。

输入处理： 提取帧、进行去畸变处理，并使用 Grounded-SAM2 对物体和操作器（手）进行分割。使用 CoTracker3 进行稠密 2D 轨迹跟踪。
3D 提升： 不同于假设同步 RGB-D 相机的模型，EgoPhys 使用 VGGT 仅从 RGB 中预测逐像素的 3D 世界坐标和相机参数。
滤波： 根据置信度图和深度范围对点进行过滤。对于由于自我中心遮挡导致的缺失区域，使用 TRELLIS 进行补全，并从最低观察到的点推断地面平面。
输出： 一个具有分离物体和手部区域且度量一致的 4D 点云。

2. 单物体物理初始化

使用逆向物理方法将粗糙的弹簧-质点模拟器拟合到每个训练序列中。

表示： 物体被建模为弹簧-质点图 $G=(V, E)$ 。力根据弹簧刚度 ( $k_{ij}$ )、静止长度 ( $l_{ij}$ ) 和阻尼 ( $\gamma$ ) 计算。
优化： 使用 CMA-ES（协方差矩阵自适应进化策略），通过最小化相对于观测到的 4D 点云的几何（倒角距离）和运动（跟踪）差异，来估计图拓扑结构和粗略的全局物理参数。
控制器： 控制点（手）通过半径搜索连接到物体点，其静止长度根据观察到的手-物距离进行初始化。

3. 基于码本的物理先验（泛化）

为了避免针对新物体进行昂贵的逐弹簧测试时优化，EgoPhys 将从训练物体中提取的稠密刚度解蒸馏到一个紧凑且可复用的材料码本中。

参数化： 模型不是预测绝对刚度，而是预测相对于 CMA-ES 估计的粗略全局刚度 ( $\bar{k}$ ) 的对数刚度偏移量 ( $\Delta_{e,t}$ )。
特征编码： 为每个弹簧构建特征向量 $\phi_{e,t}$ $ϕ_{e, t}$ ，它拼接了：
- 静态特征： 静止几何、端点自由度、弹簧类型标志和形状线索。
- 动态特征： 应变 ( $\epsilon$ )、应变率 ( $\dot{\epsilon}$ )、方向和高度。
非对称建模： 两个原型库 ( $C_+, C_-$ ) 分别处理张力和压缩。一个轻量级 MLP 将特征映射到软原型分配（通过 softmax），通过选择原型的混合来确定刚度偏移量。
训练： 系统结合了展开损失（几何和运动）以及一个蒸馏项进行训练，该蒸馏项匹配源自逆向物理初始化的稠密对数刚度目标。正则化项确保了原型的多样性和决策性分配。

核心贡献

自我中心 RGB 驱动的可变形数字孪生： EgoPhys 被认为是第一个通过单段自我中心 RGB 视频构建可变形物理数字孪生的框架，消除了对深度传感或校准多视角捕捉的需求。
可泛化的物理先验： 作者提出了一种状态相关的材料码本，将稠密的逐物体弹簧刚度场蒸馏为可复用的物理原语。这使得系统能够在无需逐弹簧测试时细化的情况下，为未见物体预测稠密的刚度场。
自我中心基准测试与机器人验证： 策划了一个全新的自我中心可变形物体交互数据集。该框架在重建、未来预测和零样本泛化方面进行了评估。此外，从一段人类游戏视频初始化的数字孪生被部署在真实的 xArm6 机器人上，证明了其作为可变形物体规划的内部世界表示的实用价值。

实验结果

重建与预测： 在逐序列细化设置下，EgoPhys 在重建和未来预测方面均优于适配的基准模型（PhysTwin 和 Spring-Gaus）。它实现了更低的倒角距离 (CD) 和跟踪误差 (TE) 以及更高的 IoU，表明其具有更优越的几何和运动一致性。
零样本泛化： 在没有逐弹簧细化的情况下，在留出的物体类别和交互模式上进行评估时，EgoPhys 显著优于 PhysTwin。学习到的先验成功迁移到了未见物体，保持了高水平的模拟保真度。
消融实验：
- 原型瓶颈（码本）被证明是必不可少的；将其替换为直接 MLP 会降低性能，这表明码本起到了正则化器的作用。
- 动态调节（使用运动特征）提高了展开动力学中的时间一致性。
- 包含 $K=4$ 个原型的紧凑码本在准确性和表示规模之间提供了最佳平衡。
仿真到现实的迁移： 在 xArm6 机器人的实验表明，基于 EgoPhys 模拟（基于单段人类视频）规划的轨迹所产生的变形模式与现实执行一致，减少了物体配置误差。

重要性与主张

论文声称 EgoPhys 解决了可变形物体实到虚（real-to-sim）流水线中的扩展性瓶颈。通过利用从多样化人类交互中学习到的通用先验，该框架能够从非结构化、单目、第一视角的观测数据中创建交互式、物理准确的模拟。

作者将这项工作定位为实现能够“向人类学习”以理解物体物理特性的自主系统的关键一步。能够从单段人类游戏视频初始化数字孪生并用于机器人规划，凸显了在无需昂贵标定或受控捕捉设置的情况下，将机器人部署到接触密集型、可变形环境中的可扩展路径。这项工作通过针对自我中心观测（相机运动、遮挡、缺乏深度）的特定挑战，同时保持高水平的物理模拟保真度，对现有的基于物理的方法进行了补充。