Joint Optimization for 4D Human-Scene Reconstruction in the Wild

本文提出了 JOSH 及其高效变体 JOSH3R，这是一种基于优化的方法，通过利用人机接触约束联合优化场景几何、相机姿态和人体运动，实现了从单目视频中在自然场景下的高质量 4D 人机重建。

要点

这篇论文介绍了一个名为 JOSH 的新系统，它的核心任务是：只给一段普通的手机视频，就能把视频里的人、他们周围的环境，以及摄像头的运动轨迹，全部在三维空间里“还原”出来。

想象一下，你手里拿着一段在公园拍的短视频，里面有人在长椅上休息，有人在走路。JOSH 就像是一个超级侦探，它能从这短短的视频里，把整个世界的“三维剧本”给推演出来。

为了让你更容易理解，我们可以用几个生动的比喻来拆解它的工作原理和厉害之处：

1. 以前的做法 vs. JOSH 的做法

以前的做法（像“流水线工人”）：
以前的技术通常是把问题拆开解决：

• 先让一个 AI 猜人在哪里（但可能猜不准）。
• 再让另一个 AI 猜背景是什么样（但可能把人也当成背景了）。
• 最后让第三个 AI 猜摄像头怎么动的。
• 问题： 它们各干各的，互不商量。结果就是：人可能会穿进长椅里（物理上不可能），或者人走路的姿势看起来很飘，脚不沾地。就像三个画家分别画了人、背景和相机，最后拼在一起发现比例全错了。

JOSH 的做法（像“交响乐团”）：
JOSH 的核心思想是**“联合优化”。它不再把任务拆开，而是让“人”、“背景”和“相机”这三个角色同时**在一个舞台上排练。

• 比喻： 想象你在排练一场戏。如果演员（人）不小心踩到了道具（场景），导演（JOSH）会立刻喊停，告诉演员：“你脚踩的位置不对，道具的位置也得调整，不然你穿模了！”
• 关键点： JOSH 特别利用了**“接触”**这个线索。当人的脚踩在地上、手扶着栏杆时，这是一个非常强的物理约束。JOSH 利用这些接触点，像一根根看不见的线，把人和场景紧紧绑在一起，强迫它们互相修正，直到达到最真实、最合理的状态。

2. JOSH 是怎么工作的？（三步走）

1. 初步猜测（打草稿）：
   JOSH 先借用一些现成的 AI 工具，快速猜一下人大概在哪、背景大概长啥样、相机怎么动的。这时候的草稿可能很粗糙，甚至有点乱。

   • 比喻： 就像画家先用铅笔随便勾勒几个轮廓。

2. 寻找接触点（找锚点）：
   JOSH 会仔细检查：人的脚是不是真的踩在地上了？手是不是真的碰到了墙壁？它会利用这些接触点作为“锚点”。

   • 比喻： 就像在拼图时，先找到几个边缘和关键连接处，确保拼图不会散架。

3. 联合大调整（精修）：
   这是 JOSH 最厉害的地方。它把所有参数（人的动作、场景的几何形状、相机的角度）放在一起，通过计算“接触点”是否合理，来同时微调所有东西。

   • 如果脚穿进了地里，JOSH 会调整地面的高度，或者调整人的脚的位置，直到它们完美贴合。
   • 如果人走得太飘，JOSH 会调整相机的运动轨迹，让人的步伐看起来是实实在在踩在地上的。

3. 为什么它这么重要？

• 从“网路视频”中学习：
  以前，训练这种高级 AI 需要昂贵的设备（比如很多摄像头、激光雷达）在实验室里拍摄，数据量很小。JOSH 的厉害之处在于，它可以直接从互联网上随便找的视频（比如 YouTube 上的路人视频）中学习。

  • 比喻： 以前学走路只能靠教练手把手教（实验室数据），现在 JOSH 能直接从观察成千上万个路人在街上怎么走（网络视频）中学会走路，而且学得比教练教的还像。

• 生成“完美教材”：
  因为 JOSH 能从乱糟糟的网络视频里还原出高质量的 3D 数据，它就可以把这些数据当作“标准答案”（伪标签），去训练更简单的、能实时运行的 AI 模型（论文里叫 JOSH3R）。

  • 比喻： JOSH 就像一个超级学霸，它先花很长时间把难题解出来（联合优化），然后把这些解题过程整理成教科书，教给那些反应快但脑子没那么灵光的学生（实时模型），让学生也能考高分。

4. 总结

简单来说，JOSH 是一个**“物理世界还原器”**。

它不需要昂贵的设备，只需要一个普通视频，就能通过**“让所有元素互相配合、互相纠错”**的聪明办法，把视频里的人、景、相机运动完美地还原成 3D 世界。这不仅让虚拟人看起来更真实（不会穿模、脚不飘），还让我们能利用海量的网络视频来训练未来的 AI，让自动驾驶、元宇宙、VR 游戏变得更加真实和智能。

一句话概括： JOSH 就像一位拥有“透视眼”和“物理直觉”的导演，能把任何一段普通视频，瞬间变成一部物理逻辑完美、细节逼真的 3D 大片。

技术摘要

1. 研究问题 (Problem)

核心挑战：
从单目（Monocular）网络视频（"In the Wild"）中重建4D 人 - 场景交互（即随时间变化的 3D 人体运动 + 3D 场景几何 + 相机位姿）。

现有方法的局限性：

• 分离优化： 现有方法通常将相机位姿估计、场景重建和人体运动估计作为独立的任务或分阶段进行（先重建场景，再拟合人体，或反之）。这种分离导致各部分无法相互修正，难以处理复杂的物理约束。
• 缺乏一致性： 分离优化往往导致人体与场景接触点（如脚踩地面、手扶物体）在物理上不合理（例如穿模、悬空、滑动），且缺乏全局尺度的一致性。
• 数据限制： 现有的高质量 4D 人 - 场景数据集通常是在受控环境（多相机、激光雷达）下采集的，缺乏自然、多样化的网络视频数据，限制了端到端模型的泛化能力。
• 多人与动态场景： 许多方法仅关注单人重建，难以处理同一场景中多人的交互和动态背景。

2. 方法论 (Methodology)

作者提出了 JOSH (Joint Optimization of Scene Geometry and Human Motion)，这是一个基于优化的通用框架，旨在单阶段联合优化所有参数。

2.1 核心流程

1. 初始化 (Initialization)：
   • 利用现成的预训练模型获取初始值：
     • 场景： 使用 DROID-SLAM, MonST3R, 或 MASt3R 获取局部点云图和对应关系。
     • 人体： 使用 HMR2.0, WHAM, 或 VIMO 获取局部 SMPL 人体参数。
     • 接触标签： 使用 BSTRO 预测人体网格顶点与场景的接触标签。
     • 预处理： 使用 DEVA 视频分割模型去除动态人体对场景深度估计的干扰，仅保留背景点云用于场景重建。
2. 联合优化 (Joint Optimization)：
   • 优化目标： 同时优化相机内参/外参 ($K_t, P_t$)、全局尺度 ($\sigma_t$)、深度图 ($Z_t$) 以及所有 $M$ 个人的局部 SMPL 参数 ($\Theta^t_c$)。
   • 关键创新：人 - 场景接触约束 (Human-Scene Contact Constraints)
     这是 JOSH 的核心，利用接触点作为强约束来桥接场景几何和人体运动：
     • 接触场景损失 ($L_{c1}$)： 强制人体接触顶点（如脚底）与场景中对应的最近点云点在 3D 空间中距离最小，确保物理接触的真实性。
     • 接触静态损失 ($L_{c2}$)： 如果某接触点在连续帧中保持接触，则强制该点在场景坐标系下保持静止，从而消除脚部滑动 (Foot Sliding) 和漂浮 (Foot Floating) 现象。
   • 总损失函数：
     $$L = L_{scene} + L_{human} + L_{contact}$$
     其中包含场景重建损失（3D/2D 重投影）、人体先验损失（平滑性、SMPL 先验、2D 关键点）以及上述接触损失。
   • 焦距优化： 支持联合优化相机焦距 $f$，解决因初始焦距估计错误导致的人体深度和运动比例错误问题。

2.2 端到端模型：JOSH3R

为了利用网络视频进行大规模训练，作者提出了 JOSH3R：

• 伪标签生成： 使用 JOSH 优化框架处理约 20 小时的网络视频，生成高质量的全局人体运动伪标签。
• 模型架构： 基于 MASt3R 的几何理解能力，引入轻量级的人体轨迹头 (Human Trajectory Head)，直接预测相邻帧之间的相对人体变换 ($\Delta T_c$)。
• 推理方式： 通过迭代累积相对变换得到全局轨迹，无需优化，实现实时推理。

3. 主要贡献 (Key Contributions)

1. JOSH 框架： 提出了首个在单阶段中联合优化相机位姿、全局多人体运动和密集场景几何的通用框架。利用人 - 场景接触约束解决了分离优化导致的物理不一致问题。
2. 性能突破： 实验表明，JOSH 在 4D 人 - 场景重建、全局人体运动估计和密集场景重建三个任务上均显著优于现有的分离优化方法（如 SynCHMR, SLAHMR, WHAM, TRAM 等）。
3. 可扩展训练 (Scalable Training)： 证明了利用 JOSH 生成的伪标签在大规模网络数据上训练端到端模型（JOSH3R）的可行性。结果显示，使用 JOSH 伪标签训练的模型性能甚至超过了在少量真实标注数据（Ground Truth）上训练的模型。
4. 多人与动态场景支持： 能够同时重建同一场景中多个人的运动及其与环境的交互，且支持动态背景。

4. 实验结果 (Results)

• 数据集： 在 SLOPER4D, EMDB, RICH 等主流数据集上进行了评估。
• 4D 重建质量：
  • 相比基线 SynCHMR，JOSH 显著降低了物理不合理性指标：脚部滑动 (Foot Sliding) 从 67.4mm 降至 56.9mm，脚部漂浮率 (FFR) 从 9.0% 降至 3.3%。
  • 在 SLOPER4D 上，JOSH3 (使用 VIMO+MASt3R 初始化) 的 Chamfer Distance 比基线降低了 70.1%。
• 全局人体运动估计：
  • 在 EMDB 数据集上，JOSH3 达到了新的 SOTA，W-MPJPE 为 174.7mm，RTE (相对根轨迹误差) 为 1.3%，优于 WHAM 和 TRAM。
  • 相比未联合优化的方法，JOSH 变体在所有初始化方案下均表现出更优的精度。
• 场景重建：
  • 联合优化显著提升了场景几何的准确性。例如，JOSH3 相比原始 MASt3R，Chamfer Distance 降低了 57.0%。
• 端到端模型性能：
  • JOSH3R 在保持较高精度（WA-MPJPE 220.0mm）的同时，推理速度达到 15.4 FPS（JOSH 优化版仅为 0.8 FPS），实现了实时推理。
  • 使用 JOSH 伪标签训练的 JOSH3R 在 WA-MPJPE 上比在真实标注数据上训练的模型提升了 59.2%。

5. 意义与影响 (Significance)

• 物理一致性： 通过引入接触约束，JOSH 解决了单目重建中常见的“穿模”和“滑动”问题，生成了符合物理规律的人 - 场景交互数据。
• 数据驱动的范式转变： 证明了利用无监督/自监督的优化框架（JOSH）从海量网络视频中提取高质量伪标签，是训练高性能端到端 4D 重建模型的有效途径。这解决了高质量 4D 数据稀缺的瓶颈。
• 应用前景： 该技术对于自动驾驶（行人行为预测）、城市规划（人流分析）、虚拟现实/增强现实（虚拟人融入真实环境）以及电影特效制作具有重要的应用价值。
• 通用性： JOSH 作为一个优化框架，可以兼容不同的初始化模型（如不同的 SLAM 或人体姿态估计器），具有极强的扩展性和鲁棒性。

总结： JOSH 通过“联合优化”和“接触约束”两个核心思想，成功将单目视频中的 4D 人 - 场景重建推向了新的高度，不仅提升了重建精度和物理合理性，更为利用互联网海量数据训练下一代 3D 视觉模型开辟了新的道路。