Phys2Real: Fusing VLM Priors with Interactive Online Adaptation for Uncertainty-Aware Sim-to-Real Manipulation

Phys2Real 提出了一种结合视觉语言模型物理参数先验与基于不确定性感知的在线交互适应的“实 - 仿 - 实”强化学习框架，通过融合 3D 高斯溅射重建、VLM 推断及在线估计，显著提升了机器人在复杂物理动力学任务中的 sim-to-real 迁移成功率与效率。

要点

这篇论文介绍了一个名为 Phys2Real 的机器人学习系统。简单来说，它解决了一个大难题：怎么让机器人在虚拟游戏里练好的本事，能完美地用到现实世界中？

想象一下，你教一个机器人推箱子。在电脑模拟里，箱子是完美的，摩擦力也是固定的。但到了现实世界，箱子可能有点歪，里面装的货物位置也不对（导致重心变了），推起来感觉完全不一样。如果机器人死板地照搬模拟里的经验，很容易推偏或者推不动。

Phys2Real 就像给机器人装上了一套"超级直觉 + 实时纠错"的组合拳。我们可以用三个生动的比喻来理解它的核心步骤：

1. 第一步：打造“数字孪生” (Real-to-Sim)

比喻：给物体拍一张“超清 3D 身份证”

在机器人开始学习前，我们需要先把它要推的物体（比如一个 T 型积木或一把锤子）放进电脑里。

• 传统做法：可能只是大概画个形状，或者手动输入参数，很不准。
• Phys2Real 的做法：它用一种叫"3D 高斯泼溅”的新技术，就像给物体拍了一组超高清的 360 度照片，然后瞬间在电脑里重建出一个滴水不漏、形状分毫不差的 3D 模型。
• 作用：这就像给机器人造了一个和现实世界一模一样的“虚拟训练场”，确保它在里面练出来的肌肉记忆，是建立在真实形状基础上的。

2. 第二步：请“博学家”和“老练工”联手 (The Core Idea)

这是论文最精彩的部分。机器人要推物体，必须知道物体的重心在哪里（比如锤子头重脚轻，重心就在上面）。如果不知道，推起来就会乱飞。Phys2Real 用了两个“顾问”来帮机器人判断重心：

• 顾问 A：博学家 (VLM - 视觉语言模型)

  • 角色：就像一位见多识广的教授。
  • 能力：机器人只要拍一张物体的照片，这位“教授”就能根据经验猜出：“嘿，看这个形状和材质，重心大概在中间偏上一点。”
  • 缺点：教授虽然懂理论，但他没亲手摸过这个特定的物体，所以他的猜测可能有点偏差，而且他不太确定自己猜得有多准。

• 顾问 B：老练工 (RL 策略 + 在线适应)

  • 角色：就像一位经验丰富的老工人。
  • 能力：机器人开始推物体了，老工人通过“手感”（接触历史、推了多久、物体怎么动）来实时计算：“刚才推了一下，感觉不对劲，重心其实更靠下！”
  • 缺点：刚开始推的时候，老工人还没摸透，信息太少，容易猜错，或者在没接触物体的时候完全瞎猜。

3. 第三步：聪明的“融合大师” (Uncertainty-Aware Fusion)

比喻：像调音师一样，根据“信心指数”来混合声音

机器人怎么决定听谁的？Phys2Real 发明了一个智能融合算法：

• 当机器人刚接触物体，还没摸透时：老工人（顾问 B）很迷茫，信心很低。这时候，系统会多听一点博学家（顾问 A）的，因为教授至少有个大致的方向。
• 当机器人推了一会儿，手感来了：老工人（顾问 B）的数据变多了，信心变高了。这时候，系统会多听老工人的，因为他的判断是基于真实物理反馈的，更准。
• 关键点：系统会实时计算两位顾问的“不确定度”（Uncertainty）。谁越不确定，权重就越低；谁越确定，权重就越高。

这就好比你在开车：

• 刚上路时（没经验），你听导航（VLM）的指引。
• 开了一会儿，发现导航说前面有路，但你亲眼看到前面是堵死的（交互反馈），你就立刻相信自己的眼睛，忽略导航。
• Phys2Real 就是那个能瞬间在“听导航”和“看路况”之间找到最佳平衡点的老司机。

实验结果：真的管用吗？

研究人员在两个任务上测试了这套系统：

1. 推 T 型积木：故意把重物放在积木的顶部（很难推，容易倒）或底部。
   • 结果：传统的机器人（只靠随机训练）成功率只有 23% 到 79%。而 Phys2Real 在底部配置时100% 成功，在极难的顶部配置时也达到了 57%（远超其他方法）。
2. 推锤子：这是一个形状不规则、重心很偏的物体。
   • 结果：Phys2Real 不仅成功率 100%，而且完成任务的速度比传统方法快了 15%。

总结

这篇论文的核心思想就是：不要只靠“死记硬背”（模拟训练），也不要只靠“瞎猜”（纯视觉），更不要只靠“试错”（纯交互）。

Phys2Real 把视觉上的先验知识（博学家）和现实中的交互经验（老练工）完美结合，并且知道什么时候该信谁。这让机器人变得既聪明又灵活，能像人类一样，看一眼物体大概知道怎么推，推一下再根据手感微调，最终完美完成任务。

这标志着机器人从“只会按程序办事”向“能理解物理世界并灵活适应”迈出了一大步。

技术摘要

Phys2Real 论文技术总结

1. 研究背景与问题 (Problem)

将模拟环境中训练的机器人操作策略（RL Policy）迁移到真实世界（Sim-to-Real）一直是一个核心挑战，特别是对于需要精确物理动力学（如摩擦力、质量分布、质心位置）的任务。

• 现有方法的局限性：
  • 域随机化 (Domain Randomization, DR)： 通过在模拟中随机化参数训练鲁棒策略，但往往导致策略采取“平均化”行为，无法针对特定物体的物理属性进行优化，泛化能力有限。
  • 纯视觉或纯交互适应： 仅依赖视觉推理（如大模型）可能缺乏物理 grounding；仅依赖在线交互适应（如 RMA）在接触稀疏（intermittent contact）的任务中，由于历史交互信息不足，难以快速准确估计物理参数。
  • 数字孪生缺失： 现有的高保真重建（如 NeRF, GSplat）通常只关注几何外观，忽略了物理属性，导致模拟与真实动力学不匹配。

核心问题： 如何结合视觉推理（VLM）的先验知识与在线交互的适应机制，在无需真实物理参数先验的情况下，实现高效、鲁棒的 Sim-to-Real 迁移？

2. 方法论 (Methodology)

Phys2Real 提出了一种 “真实 - 模拟 - 真实” (Real-to-Sim-to-Real) 的三阶段流水线，核心在于不确定性感知融合 (Uncertainty-Aware Fusion)。

阶段 I：真实到模拟 (Real-to-Sim) - 高保真几何重建

• 输入： 物体视频。
• 流程：
  1. 使用 SAM-2 进行物体分割。
  2. 训练 3D 高斯泼溅 (3D Gaussian Splatting, GSplat)。
  3. 利用 SuGaR 提取表面对齐的网格。
  4. 通过镜像对称和 Marching Cubes 算法生成干净、水密 (Watertight) 的网格。
• 目的： 为仿真环境提供几何上准确的数字孪生资产。

阶段 II：策略学习 (Policy Learning) - 基于物理参数的强化学习

• 策略架构： 策略网络 (Policy) 直接以可解释的物理参数（如质心 CoM、摩擦系数）作为条件输入，而非学习潜在向量 (Latent)。
• 三阶段训练 (Inspired by RMA)：
  1. Phase 1: 使用仿真中的真值物理参数训练策略。
  2. Phase 1.5 (可选): 在物理参数上加入高斯噪声进行微调，使策略对估计误差具有鲁棒性。
  3. Phase 2: 冻结策略，训练一个集成学习 (Ensemble) 的适应模型。该模型根据历史观测和动作序列预测物理参数，并输出认知不确定性 (Epistemic Uncertainty) 和 偶然不确定性 (Aleatoric Uncertainty)。

阶段 III：模拟到真实 (Sim-to-Real) - 不确定性感知融合

这是该方法的创新核心，旨在解决接触稀疏导致的适应困难。

• VLM 先验 (VLM Priors)： 在交互前，利用视觉语言模型 (VLM, 如 GPT-5) 根据物体图像估计物理参数（如质心位置）及其不确定性 ($\sigma_{vlm}$)。
• 在线适应 (Online Adaptation)： 机器人通过交互数据，利用集成适应模型估计物理参数及其不确定性 ($\sigma_{rma}$)。
• 融合机制 (Fusion)： 采用逆方差加权 (Inverse-Variance Weighting) 将 VLM 先验与在线估计融合：
  $$\hat{\theta} = \frac{\theta_{vlm}/\sigma^2_{vlm} + \theta_{rma}/\sigma^2_{rma}}{1/\sigma^2_{vlm} + 1/\sigma^2_{rma}}$$
  • 逻辑： 当交互历史信息不足（$\sigma_{rma}$ 大）时，系统更依赖 VLM 先验；当 VLM 视觉判断不确定时，系统更依赖交互数据。
  • 优势： 这种融合方式在理论上是最优线性无偏估计 (BLUE)，且允许策略直接利用物理可解释参数进行控制。

3. 关键贡献 (Key Contributions)

1. 不确定性感知的 VLM 与交互融合： 首次将 VLM 的物理推理能力（作为先验）与基于交互的在线适应（作为修正）通过不确定性量化进行动态融合，解决了接触稀疏场景下的适应难题。
2. 基于集成学习的物理参数估计： 改进了 RMA 框架，从学习潜在向量转向直接估计可解释的物理参数（如质心），并利用集成模型分解和量化认知与偶然不确定性。
3. 物理感知的数字孪生构建： 结合 3D GSplat 重建与在线物理属性估计，构建了包含几何和物理信息的数字孪生，显著优于纯视觉或纯适应方法。
4. 无需真值的 Sim-to-Real 性能提升： 证明了在测试时不使用真实物理参数（Ground Truth），仅靠融合估计即可达到接近使用真值参数的策略性能。

4. 实验结果 (Results)

实验在两个平面推物体任务上进行：T 型块（质心可变）和锤子（非对称质量分布）。

• T 型块推物体 (Weight at Top - 高难度)：
  • Phys2Real 成功率：57.14%
  • 对比基线：DR (23.81%), RMA-only (14.29%), 仅 VLM (4.76%)。
  • 结论： 单独使用 VLM 或 RMA 均无法有效处理高难度动态，融合是关键。Phys2Real 接近使用真值参数的策略 (90.48%)。
• T 型块推物体 (Weight at Bottom - 低难度)：
  • Phys2Real 成功率：100%
  • 对比基线：DR (79.17%), RMA-only (79.17%)。
  • 结论： 在较简单场景下，Phys2Real 实现了完美迁移，且位置误差显著低于基线。
• 锤子推物体 (真实世界重建)：
  • 成功率： Phys2Real 和 DR 均为 100%。
  • 效率： Phys2Real 平均完成任务时间 77.79 秒，比 DR (90.65 秒) 快 14.2%。
  • 结论： 证明了该方法在处理真实世界重建物体时的有效性和轨迹优化能力。

5. 意义与展望 (Significance)

• 范式转变： 突破了传统 DR 依赖“平均化”鲁棒性的局限，也超越了仅依赖 VLM 进行高层规划的模式，将 VLM 直接用于底层闭环控制的物理参数估计。
• 通用性潜力： 为机器人提供了一种利用基础模型 (Foundation Models) 的语义/物理先验知识，并结合实时物理交互进行自我修正的通用框架。
• 未来方向： 可扩展至更多物理参数（摩擦、刚度）的联合估计，以及更复杂的非对称、变形物体操作任务。

总结： Phys2Real 通过巧妙融合视觉大模型的先验知识与机器人交互的不确定性量化，成功缩小了 Sim-to-Real 的差距，特别是在物理动力学敏感的任务中，实现了无需真值参数的高性能自适应控制。