💻 computer science

Simulator Adaptation for Sim-to-Real Learning of Legged Locomotion via Proprioceptive Distribution Matching

该论文提出了一种基于本体感知分布匹配的实用方法，通过直接对比硬件与仿真中关节观测和动作的分布来适配仿真器动力学，从而在无需外部传感或时间对齐的情况下，显著降低了四足及双足机器人从仿真到现实的迁移误差。

原作者： Jeremy Dao, Alan Fern

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Jeremy Dao, Alan Fern

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于如何让机器人在现实世界中像在游戏里一样灵活行走的故事。

想象一下，你正在教一个机器人（比如一只四足机器狗）走路。为了安全起见，你通常先在电脑里的虚拟世界（模拟器）里训练它。在虚拟世界里，你可以无限次地让它摔倒、重来，而且物理规则是完美的。

但是，当你把训练好的机器人放到现实世界时，问题就来了：

现实中的电机有摩擦力，虚拟世界里的可能没有。
现实中的零件有重量误差，虚拟世界里的参数是完美的。
现实中的地面可能有点滑，或者传感器有延迟。

这就好比你在模拟器里练成了“武林高手”，但一上真擂台，因为鞋子太滑、空气阻力不同，结果摔了个狗吃屎。这就是著名的“仿真到现实”（Sim-to-Real）的鸿沟。

过去的做法：拿着尺子硬量

以前的科学家试图解决这个问题，方法是：“拿着尺子硬量”。
他们会让机器人在现实里走一段路，同时在电脑里让机器人走完全一样的路。然后，他们拿着尺子（运动捕捉系统）去量：

“哎呀，第 0.5 秒的时候，现实里的腿比电脑里的腿低了 1 毫米。”
“第 1.2 秒的时候，现实里的身体歪了 2 度。”

然后他们根据这些微小的误差，去调整电脑里的参数。
缺点：这需要极其昂贵的设备（运动捕捉相机）来时刻盯着机器人，而且要求机器人每次起跑的姿势必须分毫不差。如果机器人稍微滑了一下，或者起跑姿势歪了一点，整个对比就全乱了，因为误差会像滚雪球一样越滚越大。

这篇论文的新方法：不看“过程”，只看“气质”

这篇论文的作者（Jeremy Dao 和 Alan Fern）提出了一个更聪明、更省事的办法。他们不再纠结于“每一秒腿在哪里”，而是关注**“整体感觉”**。

核心比喻：听歌识曲 vs. 逐字校对

旧方法（逐字校对）：就像两个人合唱，你必须拿着歌词本，时刻检查对方是不是在第 3 句第 2 个字唱跑了调。如果对方稍微慢了一拍，你就没法比了。
新方法（听歌识曲/看气质）：作者说：“别管他第几秒唱什么，我们听听整首歌的风格和音色。”
- 如果现实中的机器人走路时，关节转动的声音（数据分布）听起来像“沉闷的鼓点”，而电脑里是“清脆的铃铛”，那我们就知道电脑里的参数不对。
- 他们不需要机器人每一步都同步，也不需要知道机器人具体在哪。他们只需要收集机器人走路时关节的动作数据（比如腿转多快、转多大角度），把这些数据画成一张**“分布图”**（就像把所有人的身高画成直方图）。
- 然后，他们调整电脑里的参数，直到电脑里生成的“分布图”和现实里的“分布图”长得一模一样。

具体是怎么做的？

收集数据：让机器人在现实里随便走走（比如走 5 分钟），记录下它关节的动作数据。
调整模拟器：在电脑里，他们像调音师一样，调整虚拟机器人的“摩擦力”、“电机力度”等参数。
匹配“气质”：用一种数学工具（叫Wasserstein 距离，你可以把它想象成**“把一堆水从一个形状倒进另一个形状所需的最小力气”**），计算电脑里的数据分布和现实里的数据分布有多像。
微调策略：一旦电脑里的机器人“气质”变得和现实里的一样了，他们就用这个新电脑来重新训练机器人。
实战：最后，把训练好的机器人放到现实里，它就能走得很稳了。

实验结果：又快又准

作者在论文里做了几个有趣的实验：

弹簧腿实验：他们在机器狗的一条腿上绑了一根弹簧（这就改变了它的物理特性）。旧方法很难处理这种突发变化，但新方法只用了不到 5 分钟的实地行走数据，就成功让电脑里的模型“学会”了这根弹簧的存在，并训练出了能完美适应弹簧腿的机器人。
两条腿走路：让四足机器狗只用两条后腿走路（这非常难，很容易摔倒）。新方法成功让机器人在现实里站稳了，大大减少了走路时的摇晃和偏离。

总结

这篇论文的核心思想就是：不要试图去完美复刻现实中的每一个瞬间（那太难太贵了），而是要让虚拟世界和现实世界在“整体行为模式”上保持一致。

这就好比教孩子学骑车：

旧方法：拿着秒表和尺子，记录孩子每一秒脚踩多快、身体歪多少度，然后告诉孩子“你刚才歪了 2 度，下次要少歪 1 度”。这需要有人全程盯着，孩子一紧张就乱了。
新方法：你只需要看孩子骑完一圈后的整体状态（是不是摔了？是不是骑得稳？）。如果感觉不对，你就调整一下自行车的座椅高度或轮胎气压（调整模拟器参数），直到孩子骑起来的感觉和你在心里预期的“稳”一样。

这种方法不需要昂贵的设备，不需要完美的起跑，只需要一点点现实数据，就能让机器人在现实世界中像在游戏里一样游刃有余。这是一个非常实用且高效的“仿真到现实”的解决方案。

1. 研究背景与问题 (Problem)

核心挑战：
在强化学习（RL）中，基于模拟训练的四足机器人控制策略在部署到真实硬件时，往往因模拟器与真实世界之间的**动力学差异（Dynamics Discrepancies）**而表现不佳。

现有方法的局限性：

动力学随机化 (Dynamics Randomization, DR)： 虽然常用，但通常仅随机化静态参数，且存在鲁棒性、性能与采样效率之间的权衡。DR 旨在让策略适应差异，而非消除差异。
传统的系统辨识 (System Identification)： 通常通过精确的时间对齐（Time-aligned）来比较模拟与真实的关节/基座轨迹（如使用均方误差 MSE）。
- 缺点： 需要运动捕捉（MoCap）获取基座状态（Privileged Sensing）；对初始条件极其敏感，微小的差异会随时间累积导致轨迹发散；难以处理腿足机器人不稳定的特性；需要严格的时间同步。

本文目标：
提出一种无需运动捕捉、无需时间对齐、仅利用机器人本体感知（Proprioceptive）数据的实用方法，通过自适应调整模拟器本身来缩小 Sim-to-Real 差距。

2. 方法论 (Methodology)

本文提出了一种基于**本体感知分布匹配（Proprioceptive Distribution Matching）**的模拟器自适应框架。

A. 核心思想

不再逐点比较轨迹（Pointwise Comparison），而是将模拟和真实硬件的轨迹视为由策略交互产生的平稳分布（Stationary Distribution）。通过比较这些分布的形状（包含步态模式、接触统计、执行器滞后等特征），来量化差异并优化模拟器参数。这种方法天然免疫时间偏移和初始状态的不一致。

B. 关键组件

成本函数 (Cost Function)：Wasserstein 距离
- 使用 Wasserstein 距离（推土机距离）来衡量模拟分布与硬件分布之间的差异。
- 1D 边际近似： 为了计算效率，将多维数据（关节位置、速度、动作）分解为多个一维分布，分别计算 1D Wasserstein 距离（即排序后样本的 $L_1$ 距离），然后取平均值。
- 优势： 计算高效（ $O(n \log n)$ ），无需时间对齐，无需基座状态信息（Privileged State），且对轨迹发散不敏感。
- 特征选择： 联合位置、关节速度、策略动作。
模拟器修改模型 (Simulator Modifications)
论文探索了三种不同表达能力的模拟器修改方式：
- 静态参数辨识 (Static Parameters)： 调整固定的物理参数（如关节摩擦、转动惯量）。
- 动作增量模型 (Action-Delta Model)： 学习一个状态依赖的神经网络，输出残差动作（Residual Action），叠加在原始策略输出上。
- 残差执行器模型 (Residual Actuator Model)： 学习一个状态依赖的神经网络，直接输出残差扭矩（Residual Torque），叠加在 PD 控制器的输出上。这是表达能力最强的模型，能捕捉未建模的执行器动态。
优化流程
- 使用 CMA-ES（协方差矩阵自适应进化策略）作为黑盒优化器，最小化上述分布匹配成本。
- 流程：
  1. 在名义模拟器中训练初始策略 $\pi_0$ 。
  2. 在真实硬件上收集少量轨迹数据。
  3. 优化模拟器参数/模型，使模拟轨迹分布匹配硬件分布。
  4. 在更新后的模拟器中对策略进行微调（Fine-tuning），得到 $\pi_1$ 。

3. 主要贡献 (Key Contributions)

提出分布匹配指标： 引入基于本体感知数据分布的 Wasserstein 距离作为 Sim-to-Real 差距的度量标准，彻底消除了对运动捕捉、时间对齐和初始状态精确同步的依赖。
验证了多种自适应模型： 系统性地评估了静态参数、动作增量和残差执行器三种模型，发现残差执行器模型在复杂动力学匹配中表现最佳。
高效的 Sim-to-Real 流程： 证明了仅需少于 5 分钟的真实硬件数据，即可优化出能显著减少漂移的模拟器模型，并实现高性能的策略迁移。
广泛的实验验证： 在 Unitree Go2 四足机器人上进行了大量 Sim-to-Sim 和 Sim-to-Real 实验，涵盖了参数偏移、弹簧关节（非线性动力学）以及双足行走（高难度任务）等多种场景。

4. 实验结果 (Results)

A. Sim-to-Sim 实验（理想化验证）

参数辨识： 在已知参数偏移（摩擦和转动惯量）的场景下，分布匹配方法（Wass）的辨识精度与需要全状态信息的传统时间对齐方法（MatchS）相当，误差极小。
抗噪性： 在加入扭矩噪声和时间偏移的噪声条件下，分布匹配方法（Wass）显著优于仅使用本体感知的时间对齐方法（MatchO），甚至在某些高噪场景下优于需要基座状态的方法。
微调性能： 在“弹簧关节”（复杂非线性动力学）场景下，静态参数调整失效，而基于分布匹配的残差执行器模型微调后的策略性能与在真值模拟器上训练的策略相当。

B. Sim-to-Real 实验（真实硬件）

弹簧关节实验： 在 Go2 后右腿加装物理弹簧。
- 原始策略：侧向行走漂移超过 2 米，甚至失败。
- 微调后策略：最大漂移降至约 0.4 米（误差约 20%），成功恢复侧向行走能力。
双足行走实验： 挑战 Go2 仅用后腿行走（高难度、高不稳定性）。
- 原始策略：在真实硬件上出现严重的前向漂移（特别是负 Y 轴方向）。
- 微调后策略：漂移量减少高达 50%，显著提升了跟踪精度和稳定性。
数据效率： 仅需 64 条、每条 4 秒的硬件轨迹（总计约 4 分钟数据）即可完成优化。

C. 局限性分析 (Humanoid Challenge)

在 Agility Robotics Digit 人形机器人上尝试反向行走时失败。
原因： 初始策略在硬件上完全失败（摔倒），导致收集的数据分布中缺乏“反向行走”的有效样本。优化器无法学习到能复现这种失败模式的物理参数，陷入退化模式。这表明该方法假设初始 Sim-to-Real 转移必须产生“有信息量”的硬件轨迹。

5. 意义与结论 (Significance & Conclusion)

实用性与可访问性： 该方法极大地降低了 Sim-to-Real 的门槛，无需昂贵的运动捕捉系统和复杂的同步设置，仅需机器人自带的本体感知传感器。
有效性： 证明了分布匹配是解决腿足机器人 Sim-to-Real 差距的有效途径，其性能可媲美甚至超越依赖特权信息的传统方法。
通用性： 框架适用于各种机器人形态和模拟器修改类型，为在物理硬件上实现更复杂的运动行为提供了可靠工具。
未来方向： 论文建议未来可探索学习随机动力学（Stochastic Dynamics），以更好地模拟真实世界中随温度、噪声变化的动态特性，并解决在初始策略完全失败（如摔倒）情况下的数据收集难题。

总结： 本文提出了一种通过匹配本体感知数据分布来自动校准模拟器参数的创新方法。它摒弃了繁琐的时间对齐和外部传感需求，利用少量真实数据即可显著提升四足机器人在真实世界中的运动表现，是 Sim-to-Real 领域的一项重要进展。