技术摘要：RealSimLoop

问题陈述

弥合物理可变形物体与其数字模拟之间的“现实鸿沟”（reality gap）对于机器人操控、结构健康监测和数字孪生等应用至关重要。虽然基于物理的模拟可以推断出难以直接测量的隐藏物理量（例如内部应力、相互作用力），但使模拟与现实世界行为保持一致仍然具有挑战性。

现有方法面临三个主要局限性：

1. 离线局限性： 传统的方案通常依赖于离线优化，即拟合一组预录数据集的材料参数。这些方法往往无法追踪随时间变化的材料属性（例如由于温度变化或老化引起的属性变化），并且在长时程交互过程中存在开环漂移问题。
2. 计算成本： 在线自适应需要重复进行模拟和微分运算，这对于高保真全空间模拟来说计算成本过高，阻碍了实现准实时性能的可能性。
3. 反馈稀疏性： 许多方法依赖于稀疏的标记点数据（例如动作捕捉），这可能无法有效捕捉复杂的表面变形或密集的几何变化。此外，纯基于视觉的重建方法往往缺乏与底层物理定律的联系，使得推断内部应力或力变得不可能。

方法论：RealSimлоop

作者提出了 RealSimLoop，这是一个在线“实到虚”（real-to-sim）自适应框架，它通过集成可微降阶模拟与视觉反馈，持续同步物理模拟器与现实世界的观测结果。

1. 神经降阶可微模拟

为了解决计算瓶颈，系统采用了神经子空间降阶模型。

• 子空间映射： 一个神经网络（具体为自动编码器架构）将高维全空间状态 ($\mathbf{x} \in \mathbb{R}^{3n}$) 映射到低维潜在子空间 ($\mathbf{z} \in \mathbb{R}^r$)。
• 可微动力学： 前向模拟在降阶子空间中使用时间积分进行重构。系统求解潜在状态 $\mathbf{z}$，使得物理残差与神经映射的切空间正交。
• 高效性： 该方法显著加速了前向模拟以及优化所需的反向梯度传播，相比全空间方法实现了 2.52 倍至 7.69 倍的加速。

2. 基于视觉的反馈与 3DGS 集成

RealSimLoop 不仅仅依赖稀疏标记点，而是利用来自多视图摄像机的密集视觉数据。

• 3D 高斯泼溅 (3DGS)： 被变形的网格几何体被映射到 3D 高斯原语。每个高斯的中心位置被定义为包围四面体顶点的重心插值，确保与物理模拟保持严格的空间对齐。
• 可微渲染： 系统从模拟的高斯体中渲染图像，并将其与实际捕获的图像 ($I_{real}$) 进行对比。
• 闭环优化： 渲染图像与真实图像之间的差异作为损失函数，允许梯度从像素空间通过渲染器、子空间映射和物理求解器进行反向传播，从而更新材料参数。

3. 滑动窗口优化

为了处理随时间变化的属性并防止误差累积，该框架使用了一个滑动窗口目标函数。

• 时间窗口： 优化过程最小化最近时间窗口 $\{t-w+1, \dots, t\}$ 内累积的视觉损失。
• 动态自适应： 通过在此窗口内更新材料参数（例如杨氏模量 $E$ 和泊松比 $\nu$），系统可以追踪演变的物理行为，例如由于温度或材料老化导致的刚度变化，而不是假设参数是静态的。

4. 通过伴随方法进行的梯度优化

系统求解一个约束优化问题，以最小化关于材料参数 $\theta$ 和高斯属性的损失。

• 伴随方法 (Adjoint Method)： 为了在不显式构建稠密雅可比矩阵的情况下计算关于 $\theta$ 的梯度，作者采用了伴随方法。该方法通过降阶物理方程在时间上进行反向传播梯度，高效地处理了模拟状态对材料参数的依赖关系。

核心贡献

1. 滑动窗口在线自适应： 一种新颖的优化策略，通过在滚动时间窗口内更新参数，减少了开环漂移并使模拟与演变的现实行为保持一致。
2. 高效的神经可微模拟器： 集成了基于神经的降阶模型，加速了前向模拟和梯度反向传播，使得在线、基于梯度的“实到虚”自适应在计算上变得可行。
3. 视觉-物理闭环： 将可微模拟与可微渲染（通过 3DGS）相结合，将高保真像素数据作为物理反馈，从而能够直接从图像观测中精炼材料参数。

实验结果

该框架在包括机器人操控、多材料结构和温度依赖刚度追踪在内的多种虚拟与物理场景中得到了验证。

• 性能与速度： 与全空间方法相比，降阶方法实现了显著的加速（例如，软棒实现 6.23 倍加速，埃菲尔铁塔模型实现 7.56 倍加速），从而实现了准实时性能。
• 准确性：
  • 在双臂机器人操控任务中，该方法将平均重建误差降低至 4.6 mm（模型尺寸的 2.3%）。
  • 与离线基准方法相比，RealSimLoop 始终保持较低的 $L_2$ 误差（损失降低了 3–5 倍）和更高的 PSNR，特别是在离线方法无法捕捉时间变化的长时间程任务中。
  • 基于视觉的反馈优于基于标记点的输入，由于其具有更密集的空间信息，将顶点 $L_2$ 误差降低了约 50%。
• 下游应用：
  • 应力重建： 系统成功重建了内部冯·米塞斯（von Mises）应力场，并能在新视角下进行可视化。
  • 力预测： 通过重建应力场，系统准确预测了多材料线驱动装置中的外部缆绳力，并与地面真值传感器数据相匹配。
  • 刚度追踪： 该方法成功追踪了 PCL 桁架结构在从 45°C 冷却到 27°C 过程中不断增加的刚度，捕捉到了相应的变形和力响应变化。
• 消融实验： 实验证实，子空间维度 $r=100$ 且窗口大小 $w=5$ 在准确性和计算成本之间取得了良好的平衡。研究发现，在处理大变形时，Neo-Hookean 材料模型比 Yeoh 模型在在线自适应方面更具鲁棒性。

意义与主张

论文声称 Real-SimLoop 解决了在实际计算约束下，维持变形物体具有物理意义的模拟这一系统级挑战。通过将视觉反馈与高效的可微模拟相结合，该方法弥合了观测到的几何形状与底层物理参数之间的差距。

作者指出，通过持续缩小“实到虚”的差距并保持物理一致性，其方法优于传统的离线方法和纯基于视觉的流水线。这种能力使得诸如力估计和结构分析等下游应用成为可能，而这些应用仅靠表面层级的观测是无法实现的。该框架被呈现为构建能够模仿物理世界交互（具有动态、随时间变化的属性）的稳健数字孪生迈出的重要一步。

注：作者承认了局限性，指出降阶模型在处理高度动态系统（例如高速弹跳球）时可能会遇到困难，因为这类场景仍需要全空间模拟；此外，将该方法扩展到逐单元的材料分布会增加优化的复杂性。