💻 computer science

FunRec: Reconstructing Functional 3D Scenes from Egocentric Interaction Videos

本文提出了 FunRec，一种能够直接从第一人称 RGB-D 交互视频中重建具备功能性的室内 3D 数字孪生场景的方法，该方法无需控制环境或 CAD 先验即可自动识别可动部件并生成仿真兼容网格，在分割精度、运动估计及重建质量上均显著优于现有工作。

原作者： Alexandros Delitzas, Chenyangguang Zhang, Alexey Gavryushin, Tommaso Di Mario, Boyang Sun, Rishabh Dabral, Leonidas Guibas, Christian Theobalt, Marc Pollefeys, Francis Engelmann, Daniel Barath

发布于 2026-04-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Alexandros Delitzas, Chenyangguang Zhang, Alexey Gavryushin, Tommaso Di Mario, Boyang Sun, Rishabh Dabral, Leonidas Guibas, Christian Theobalt, Marc Pollefeys, Francis Engelmann, Daniel Barath

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你走进一个房间，打开冰箱门，拉开抽屉，或者转动门把手。对于人类来说，这很自然；但对于计算机来说，这就像在看一场没有剧本的魔术表演——它只能看到物体“变”了位置，却搞不清楚为什么变、怎么变，以及能不能再变回去。

这篇论文介绍了一个名为 FunREC 的“魔法系统”，它的任务就是：只看你戴着摄像头（比如智能眼镜）录制的互动视频，就能在电脑里重建出一个“活”的 3D 数字世界。

在这个数字世界里，门是可以推开的，抽屉是可以拉出来的，而且它们都能像真的一样动起来。

🎬 核心故事：从“死”照片到“活”模型

1. 以前的方法：像拼乐高，但缺零件

以前的技术想要重建一个能动的房间，通常需要：

多张静态照片：把门开着拍一张，关着拍一张，然后人工把它们拼起来（太累）。
完美的 CAD 图纸：先要有设计师画好的图纸，再往里面填数据（太死板）。
实验室环境：只能在桌子上摆几个小玩具做实验（太局限）。

这就好比你想要复原一个复杂的乐高城堡，但别人只给你一堆散落的砖块，还告诉你“别动，只能看”。

2. FunREC 的做法：像看侦探电影

FunREC 不需要那些繁琐的准备工作。它只需要一段你戴着第一人称视角（比如头显）录制的视频。

它在看什么？ 它在看你怎么动的。当你伸手去拉抽屉时，它观察你的手、抽屉的运动轨迹，以及周围静止的墙壁。
它怎么思考？ 它像一个聪明的侦探，利用现有的“大模型”（类似超级 AI 助手）来理解：
- “哦，这个物体在滑动（像抽屉）。”
- “哦，那个物体在旋转（像门）。”
- “这个轴心在哪里？它转了多少度？”

🛠️ 它是如何工作的？（三步走）

我们可以把 FunREC 的工作流程想象成拍电影并制作特效的过程：

第一步：剪辑与分类（把视频切成小段）
系统先把你的长视频切成很多小片段。它用 AI 判断：“这一段里，有人在动东西吗？”

如果是静止的（比如你在看墙），就跳过。
如果是互动的（比如你在开门），就标记为“动态片段”。

第二步：寻找“关节”与“轨迹”（像追踪幽灵）
在动态片段里，系统会追踪那些移动的点。

找关节：它发现所有移动的点都沿着一条直线走（抽屉），或者绕着一个点转圈（门）。这就找到了物体的“关节”和“运动轴”。
画蒙版：它把移动的部分（门）和静止的部分（墙）像涂色一样精准地分开，哪怕手挡住了门，它也能猜出门后面长什么样。

第三步：重建与组装（把碎片拼成完整的 3D 模型）
系统把刚才找到的信息整合起来：

静态部分：重建出房间、墙壁、地板的 3D 模型。
动态部分：重建出抽屉、门的 3D 模型，并给它们加上“关节”（比如告诉电脑：这个门只能绕着这个轴转 90 度）。
最终成果：一个数字孪生（Digital Twin）。这不仅仅是一张 3D 照片，而是一个可以交互的模拟器。你可以把门关上再打开，抽屉拉出来再推回去，它都会乖乖听话。

🌟 为什么这很厉害？（用比喻说明）

以前：你给机器人看一张冰箱的照片，机器人不知道冰箱门能打开，或者不知道把手在哪里。
现在（FunREC）：你给机器人看一段你开冰箱的视频，机器人不仅学会了冰箱长什么样，还学会了怎么开，甚至能模拟出打开后里面的空间。

🚀 它能用来做什么？

给机器人“上课”：
想象一下，你想教机器人怎么在厨房里做饭。以前你需要给机器人写几千行代码告诉它怎么开门。现在，你只需要录一段视频，FunREC 就能生成一个“虚拟厨房”，机器人可以在里面反复练习开门、拉抽屉，直到学会为止，然后再把技能用到现实世界。
游戏与模拟：
你可以把你家客厅的真实视频变成游戏场景。在这个游戏里，你可以随意打开所有的柜子，甚至把里面的东西拿出来，因为系统知道哪些东西是“能动”的。
虚拟试穿/试用：
你可以把买家具的视频变成 3D 模型，在电脑里先试试这个柜子能不能塞进你的房间，或者抽屉拉出来会不会撞到墙。

📊 它的表现如何？

论文里做了很多测试，结果非常惊人：

更准：它找出的“关节”位置，比以前的方法准确了 50% 以上。
更稳：以前那些方法经常“翻车”（比如把旋转的门识别成滑动的抽屉），FunREC 几乎不犯错。
更真：它重建出来的模型，连被手挡住看不见的内部结构都能猜出来，非常完整。

总结

FunREC 就像是一个拥有“透视眼”和“物理直觉”的 3D 建模大师。 它不需要你提供图纸，也不需要你摆弄复杂的设备，只需要你像平常一样生活、互动，它就能把你身边的世界“翻译”成一个活生生的、可以随意把玩的 3D 数字世界。

这不仅是计算机视觉的进步，更是让机器人真正理解并融入我们物理世界的关键一步。

论文标题

FUN REC: 从第一人称交互视频重建功能性 3D 场景 (Reconstructing Functional 3D Scenes from Egocentric Interaction Videos)

1. 问题定义 (Problem)

现有的 3D 场景重建方法大多侧重于静态几何，或者在重建可动物体（如门、抽屉、柜子）时存在显著局限：

依赖控制环境：许多方法需要多视角扫描、多状态采集（如门开/关状态分别扫描）或人工标注。
缺乏功能性：现有的数字孪生往往只是静态几何的复制，无法模拟物体的运动（关节运动学）或内部结构（如打开柜门看到内部）。
数据获取困难：基于 CAD 模型检索或“数字表亲”（Digital Cousins）的方法往往与真实场景的几何结构匹配度低，且依赖人工干预。

核心挑战：如何仅从单目第一人称（Egocentric）RGB-D 交互视频中，自动重建出包含静态背景和可动部件（具有正确运动学参数和内部几何）的功能性 3D 数字孪生，且无需训练、无需 CAD 先验。

2. 方法论 (Methodology)

FUN REC 提出了一种无需训练（Training-free）、基于**优化（Optimization-based）**的流水线，结合了基础模型（Foundation Models）的语义和运动先验。

核心流程：

视频片段化与分类 (Fragment Construction)：
- 将输入视频分割为时间连续的片段。
- 利用视频 - 语言模型 (VLM) 自动识别片段是“静态”还是“动态”（包含交互），并预测交互类型（移动/平移 Prismatic 或 旋转/转动 Revolute）。
动态片段重建 (Dynamic Fragment Reconstruction)：
- 相机姿态估计：利用 RoMA 提取稠密点匹配，结合 VISOR 的手部和交互物体掩码过滤干扰，使用 SupeRANSAC 估计相机运动。
- 稀疏 3D 轨迹：利用 TAPIP3D 获取世界坐标系下的稀疏 3D 点轨迹。
- 运动感知聚类 (Articulation-aware Motion Clustering)：
  - 根据预测的关节类型，将轨迹拟合为 3D 直线（平移）或圆弧（旋转）。
  - 使用 HDBSCAN 根据运动参数（轴、枢轴点、运动模式）对轨迹进行聚类，分离出独立运动的部件。
  - 结合 2D 交互掩码（VLM 预测）确定哪个聚类对应被操作的物体。
- 像素级部件分割：
  - 在关键帧上利用 SAM (Segment Anything Model) 生成过分割掩码。
  - 统计每个语义区域中动态轨迹与静态轨迹的比例，生成运动掩码。
  - 利用 SAM2 进行视频传播，获得整个片段中部件的稠密、时一致的分割掩码。
- 联合优化姿态与运动学参数：
  - 构建姿态图（Pose Graph），联合优化部件的 6D 姿态序列 $\{T^m_i\}$ 和关节参数 $\phi$ （轴、枢轴点、位移/角度）。
  - 最小化相对变换误差和闭环约束，确保运动在物理上的一致性。
- 几何重建：
  - 使用截断符号距离函数 (TSDF) 分别重建静态背景和可动部件（在部件的规范坐标系中）。
  - 最终输出包含完整内部几何（如打开的抽屉内部）的网格。
全局片段对齐 (Global Fragment Alignment)：
- 将所有局部子图（Submaps）通过几何对应关系（使用 PREDATOR）对齐到统一的全局坐标系，融合成完整的功能性场景。

3. 关键贡献 (Key Contributions)

首个端到端的功能性场景重建系统：直接从单目第一人称交互视频中重建可交互的 3D 数字孪生，无需 CAD 先验、多状态扫描或人工标注。
无需训练 (Training-free)：利用基础模型（VLM, SAM, RoMA 等）的语义和运动先验，结合几何优化，具有极强的泛化能力。
新数据集发布：
- RealFun4D：包含 60 个公寓、4 个国家、351 个真实世界交互视频。
- OmniFun4D：包含 12 个 OmniGibson 场景、127 个高保真模拟交互视频。
广泛的应用潜力：生成的模型可直接导出为 URDF/USD 格式用于物理仿真，支持机器人交互和手眼协同推理。

4. 实验结果 (Results)

在 RealFun4D, OmniFun4D 和 HOI4D 三个数据集上，FUN REC 显著优于现有最先进方法（如 MonST3R, SpatialTrackerV2, BundleSDF, ArtGS 等）：

运动学估计 (Articulation Estimation)：
- 关节轴方向误差降低至 5.3° (OmniFun4D)，比基线方法低 30°以上。
- 关节状态误差降低至 0.02m/0.02m (平移/旋转)，误差降低 5-10 倍。
- 失败率 (Failure Rate) 降至 0% (在 RealFun4D 和 HOI4D 上)。
部件分割 (Segmentation)：
- mIoU 达到 74.8% - 77.9%，比次优方法（MonST3R）高出 50% 以上。
6D 姿态估计 (6D Pose)：
- ADD-S 指标达到 75% - 79%，是基线方法的两倍以上。
重建质量 (Reconstruction)：
- 查普曼距离 (Chamfer Distance) 显著降低，在 HOI4D 上达到 0.7 cm，在 RealFun4D 上达到 6.1 cm，能够重建出包含内部结构的精细几何。

5. 意义与应用 (Significance & Applications)

具身智能与机器人：为机器人提供了可直接用于物理仿真的环境模型。机器人可以学习人类演示的交互轨迹，并在真实世界中复现（如打开柜子、抽屉）。
仿真与数字孪生：生成的 URDF/USD 文件可直接导入 Isaac Sim 等物理引擎，支持复杂的物理交互测试。
功能理解：不仅重建几何，还重建了“功能”（Affordance），即物体如何被操作、运动范围是多少，填补了静态 3D 重建与动态交互之间的空白。
低成本数据获取：证明了仅需普通的头戴式 RGB-D 相机和自然交互视频，即可构建高质量的功能性场景，极大地降低了数据获取门槛。

总结：FUN REC 通过结合基础模型的语义理解能力和几何优化方法，成功解决了从非结构化第一人称视频中重建功能性 3D 场景的难题，为具身 AI 和机器人交互提供了高质量的物理基础。