CRISP: Contact-Guided Real2Sim from Monocular Video with Planar Scene Primitives

CRISP 提出了一种从单目视频中恢复可模拟的人体运动与场景几何的新方法，其核心在于通过拟合平面基元构建凸且干净的仿真就绪几何、利用人体接触建模补全遮挡区域，并结合强化学习控制器确保物理合理性，从而显著降低了运动跟踪失败率并提升了仿真效率。

要点

这篇论文介绍了一个名为 CRISP 的新方法，它的核心目标非常酷：把我们在手机或相机里随便拍的一段视频，直接变成机器人或虚拟角色可以“玩”的 3D 世界。

想象一下，你拍了一段视频，里面有人在椅子上坐下，或者在楼梯上跳跃。通常，电脑只能看到这些是“像素”，但 CRISP 能让电脑“理解”这是一个物理世界，并且能在这个世界里让一个虚拟小人完美地模仿视频里的动作，而且不会穿模、不会摔倒。

为了让你更容易理解，我们可以用几个生动的比喻来拆解它的工作原理：

1. 核心难题：为什么以前的方法会“翻车”？

以前的技术（比如 VideoMimic）在把视频变 3D 时，就像是用一堆杂乱无章的乐高积木去拼一个场景。

• 问题：这些积木拼出来的表面坑坑洼洼，甚至有很多看不见的“幽灵墙壁”或“隐形坑”。
• 后果：当你试图让一个虚拟机器人（人形控制器）在这个世界里走路时，它的脚会踩到这些“幽灵墙壁”上，或者掉进“隐形坑”里。结果就是机器人要么卡住不动，要么像喝醉了一样乱跳，根本学不会视频里的动作。

2. CRISP 的三大绝招

CRISP 之所以能成功，是因为它用了三个聪明的策略，把“杂乱积木”变成了“光滑的地板和墙壁”。

第一招：化繁为简（平面原语拟合）

• 比喻：以前的方法试图用几百万个微小的三角形去还原每一粒灰尘和每一处凹凸，这太复杂了。CRISP 则像是一个极简主义的装修设计师。
• 做法：它不管那些细枝末节，而是把场景看作是由几十块巨大的、光滑的平板（比如地板、墙壁、椅子面）组成的。
• 效果：它把复杂的点云数据“聚类”成大约 50 个简单的平面块。这就好比把一堆乱石堆，直接铺成了平整的水泥地。
  • 好处：机器人走在平整的水泥地上，脚底打滑或卡住的情况就大大减少了，计算速度也快了 43%。

第二招：脑补缺失（接触引导的补全）

• 比喻：想象一个人坐在沙发上，你的相机拍不到沙发被身体挡住的那部分。以前的方法会以为那里是空的，导致机器人坐下去时直接穿模掉进沙发里。
• 做法：CRISP 会问：“这个人现在的姿势是‘坐’，那他屁股底下肯定有个东西！”它利用接触点预测（比如脚踩地、手扶墙、屁股坐椅子），结合 AI 大模型的知识，脑补出那些被挡住的部分。
• 效果：即使相机没拍到，它也能把被身体挡住的“隐形椅子面”或“楼梯台阶”给补全出来，让机器人坐得稳稳当当。

第三招：物理试错（强化学习验证）

• 比喻：这就好比驾校教练。
• 做法：CRISP 不只是把场景建好就完了，它还会让一个虚拟机器人（人形控制器）在这个重建的世界里疯狂尝试模仿视频动作。如果机器人摔倒了、穿模了，说明场景重建得不对（比如地面不平）。
• 效果：通过这种“试错 - 修正”的过程（强化学习），系统会自动调整，直到机器人能完美、流畅地复现视频动作。这就像是在告诉系统：“别管看起来像不像，只要能跑通物理规则，就是对的。”

3. 成果有多厉害？

• 成功率飙升：以前的方法在模拟时，失败率高达 55%（机器人经常摔倒或卡住）；用了 CRISP 后，失败率降到了 6.9%。也就是说，几乎每次都能成功。
• 速度快：因为把场景简化成了简单的平面块，模拟速度提升了 43%。
• 适用广：不管是专业的动作捕捉视频，还是你在公园随手拍的、甚至是用 AI 生成的（Sora）视频，它都能处理。

总结

CRISP 就像是一个拥有“物理直觉”的 3D 重建大师。

它不追求把每一粒灰尘都还原得一模一样（那样反而会让机器人迷路），而是专注于还原对物理交互最重要的部分（平坦的地面、坚实的支撑面）。通过把复杂的场景简化成“积木块”，并让机器人亲自去“试跑”来验证，它成功地把普通的手机视频，变成了机器人和 VR 世界可以安全、高效使用的“游乐场”。

这对于未来的机器人学习（让机器人看视频学干活）和VR/AR（让虚拟世界更真实）来说，是一个巨大的飞跃。

技术摘要

这是一篇关于计算机视觉与机器人学交叉领域的论文，标题为 《CONTACT-GUIDED REAL2SIM FROM MONOCULAR VIDEO WITH PLANAR SCENE PRIMITIVES》（基于平面场景原语的接触引导单目视频实机转仿真方法），发表于 ICLR 2026。

以下是对该论文的详细技术总结：

1. 研究问题 (Problem)

现有的从单目视频重建“人 - 场景”交互（Human-Scene Interaction）的方法存在以下主要痛点：

• 几何质量不足：现有的重建方法通常输出带有噪声、非水密（non-watertight）的 2.5D 几何体或复杂的网格。这些几何瑕疵（如伪影、过度平滑、重复结构）会导致物理仿真中的接触力计算错误，进而使基于强化学习（RL）的人形机器人控制器无法稳定运行（例如发生穿透、弹跳或陷入“鬼影”表面）。
• 遮挡处理困难：在单目视频中，人与场景的接触区域（如椅子座位、楼梯平台）常被人体遮挡，导致重建时缺失关键支撑面，使得物理仿真无法进行。
• 仿真效率低：复杂的网格几何体在进行碰撞检测时计算成本高昂，限制了 RL 训练的吞吐量。
• 缺乏物理闭环：大多数方法仅依赖数据驱动的先验进行联合优化，缺乏物理仿真作为闭环验证，导致重建结果在物理上不可行。

目标：构建一个“视频到仿真”（vid2sim）的流水线，从单目视频中恢复出物理可信、可仿真的 3D 人体运动和环境几何，用于驱动机器人或 AR/VR 应用。

2. 方法论 (Methodology)

作者提出了 CRISP 框架，其核心流程包含四个关键步骤：

2.1 初始化：相机、场景与人体

• 利用 MegaSAM 联合恢复相机内参、位姿和稠密深度图。
• 引入 MoGe 替换深度估计器，生成标度不变的稠密点云。
• 利用 GVHMR 恢复 SMPL 人体网格，并结合相机位姿将人体提升至世界坐标系。
• 利用已知的人体尺度信息，将点云和相机参数统一为度量尺度（Metric Scale）。

2.2 核心创新：基于平面的场景原语拟合 (Planar Primitive Fitting)

• 动机：物理仿真器（如 Isaac Gym）需要凸体（Convex Primitives）进行高效的碰撞检测。
• 流程：
  1. 聚类：对视觉 SLAM 生成的点云进行聚类。首先基于法向量（Normals）进行 K-means 聚类，然后在 3D 空间内使用 DBSCAN 进行空间分割，最后通过光流在时间维度上合并片段。
  2. 拟合：对合并后的区域使用 RANSAC 拟合平面，并定义厚度为 0.05m 的平面立方体（Planar Cuboids）。
  3. 优势：将场景简化为约 50 个紧凑的凸体，显著减少了计算量，消除了噪声和伪影，生成了“仿真就绪”的几何体。

2.3 接触引导的场景补全 (Contact-Guided Scene Completion)

• 问题：解决被人体遮挡的场景表面（如人坐着的椅子面）重建缺失问题。
• 方法：
  1. 利用 InteractVLM 预测人体顶点与场景的接触掩码。
  2. 应用时空运动学滤波（Temporal-kinematic filtering）：通过非极大值抑制（NMS）和时间一致性检查，过滤掉“近接触”产生的误报，仅保留高置信度的接触帧。
  3. 补全：利用接触线索推断被遮挡的几何结构（例如，根据坐姿推断椅子座位的存在），并生成相应的平面原语。

2.4 基于物理的运动跟踪 (Physics-Based Motion Tracking)

• 使用强化学习（RL）训练人形控制器，使其在重建的场景中跟踪视频中的动作。
• 策略：采用 Transformer 架构的策略网络，输入为当前状态和未来的目标姿态。
• 奖励函数：包含位置、旋转、速度匹配奖励，以及能量惩罚（鼓励平滑运动）。
• 验证：如果重建的几何或运动不准确，RL 策略将无法成功跟踪（失败），从而反向验证重建质量。

3. 主要贡献 (Key Contributions)

1. CRISP 流水线：首个将单目视频直接转换为仿真就绪资产（Simulation-Ready Assets）的端到端方法，集成了 HMR、4D 重建和接触预测。
2. 平面原语表示：提出了一种简单但高效的聚类算法，将复杂的点云重建转化为少量（~50 个）凸面平面原语。这不仅消除了重建噪声，还显著提高了物理仿真的稳定性和效率。
3. 接触引导的遮挡补全：利用视觉 - 语言模型（VLM）和接触线索，主动推理并重建被人体遮挡的关键交互表面（如椅子、台阶），解决了单目重建中的“缺失几何”问题。
4. 物理闭环验证：利用 RL 仿真作为验证手段，确保重建的人体和场景在物理上是可行的，实现了从“视觉重建”到“物理仿真”的跨越。

4. 实验结果 (Results)

在 EMDB 和 PROX 数据集上进行了广泛评估，并与当前最先进的方法（如 VideoMimic）进行了对比：

• RL 成功率 (Success Rate)：
  • CRISP 达到了 93.1% 的成功率，而 VideoMimic 仅为 44.8%。
  • 相比 VideoMimic，CRISP 将运动跟踪失败率降低了 8 倍。
• 仿真效率 (Throughput)：
  • 由于使用了轻量级的平面原语而非稠密网格，CRISP 的 RL 仿真吞吐量提高了 43% (23K FPS vs 16K FPS)。
• 重建质量：
  • 几何精度：在单向 Chamfer Distance (Recon→GT) 上表现优异，表明重建的接触面非常接近真实几何。
  • 非穿透性 (Non-Penetration)：CRISP 的非穿透得分最高，避免了仿真中常见的穿透和卡死现象。
  • 人体运动估计：经过 RL 优化后，CRISP 的 WA-MPJPE100 误差降至 70.60mm，优于 WHAM、TRAM 和 VideoMimic。
• 泛化能力：在野外视频（In-the-wild）、互联网视频甚至 Sora 生成的视频中均验证了有效性。

5. 意义与影响 (Significance)

• 推动具身智能 (Embodied AI)：CRISP 解决了从非受控视频到物理仿真环境的“最后一公里”问题，使得机器人可以利用海量互联网视频进行低成本、大规模的模仿学习。
• 提升 AR/VR 体验：生成的物理可信交互环境可用于增强现实和虚拟现实中的自然交互。
• 方法论启示：证明了在重建任务中引入“物理约束”和“接触推理”比单纯追求视觉上的几何完整性更为重要。通过牺牲部分非接触区域的细节（如微小的纹理），换取了接触区域的物理正确性，从而实现了鲁棒的仿真。

总结：CRISP 通过引入平面原语拟合和接触引导的几何补全，成功解决了单目视频重建中噪声大、遮挡多、物理不可行等难题，为机器人学习和虚拟仿真提供了一种高效、高精度的“实机转仿真”解决方案。