技术摘要：学习复杂机器人控制中神经缩减动力学的正确抽象

问题陈述

高保真具身智能模拟器（如 Project Chrono）提供了必要的物理真实感，用于评估涉及多体动力学、摩擦接触和可变形地形的复杂机器人系统。然而，其计算成本极高，使得大规模强化学习（RL）变得不切实际，因为强化学习需要数百万次的环境转换。相反，学习到的动力学模型（神经代理模型）往往会失败，因为它们要么试图学习完整的高维模拟器状态（这既不必要也很困难），要么过度简化系统，导致控制相关的物理特性（如轮胎侧滑、载荷转移）丢失。核心挑战在于确定神经网络模型应该保留什么、接收什么输入、进行何种解析重建以及忽略什么，从而在保持计算效率的同时满足控制需求。

方法论：神经缩级动力学（NRD）框架

作者提出了一个将模型传播的状态与输入及解析恢复量相分离的框架。其核心理念是，“缩减”是指保留任务相关的保真度，而非仅仅最小化维度。

1. 框架流水线

该流水线包含四个阶段：

1. 数据采集： 从模拟器（Chrono）中采集高保真轨迹，生成状态-动作对。
2. NRD 建模： 基于因果 Transformer 结构的神经网络，根据缩减状态、动作及可选上下文的历史窗口，学习特定任务缩减状态的下一步增量（$\Delta \hat{z}_t$）。
3. 策略训练： 训练好的 NRD 模型被冻结并向量化（在 GPU 上并行运行数千个副本）。控制策略完全在该冻结的高吞吐量环境中，使用近端策略优化算法（PPO）进行训练。
4. 验证： 训练好的策略在不改变任何参数的情况下，被迁移至高保真模拟器进行闭环评估。成功的标准是在高保真环境中表现出色，而非仅仅在代理模型内部表现良好。

2. 状态抽象原则

缩减状态（$z_t$）的设计原则是仅包含动力学依赖且具有不确定性或受接触影响的变量。

• 传播状态： 循环变量（例如：本体速度、关节位置、轮胎载荷）。
• 输入： 外生指令（动作）和机制上下文（例如：地形类型），当相同的状态-动作对在不同物理条件下演化出不同行为时，需提供此类上下文。
• 解析重建： 那些是传播状态的确定性函数的量（例如：通过正向运动学恢复的全局车辆位姿、末端执行器位置）将在网络外部进行恢复。

3. 模型架构

NRD 模型利用类 GPT 的因果 Transformer。输入被标记为连接了缩减状态、动作和上下文代码的序列。模型预测状态增量（$\Delta \hat{z}_t$），将其加到当前状态上以推进展开过程。模型选择基于长时程开环展开保真度而非单步预测误差，因为后者无法保证自回归生成过程中的稳定性。

案例研究

案例 I：地形感知型 HMMWV 动力学

• 任务： 在刚性平坦地形、颠簸刚性地形和可变形 CRM（连续表示模型）土壤上进行 HMMWV 的轨迹跟踪。
• 抽象： 一个 15 维的缩减状态，包含本体运动（速度、姿态、角速度）和一个 8 通道的地面力学模块（四个轮胎法向载荷和四个轮速）。
• 上下文： 提供一个两类的 One-hot 编码（刚性 vs. CRM）作为输入，以区分在相同状态-动作对下演化不同的动力学行为。
• 结果： 一个在混合了刚性和 CRM 数据上训练的“通用型”策略，在所有地形上的表现均优于单地形专家策略，包括在未见过的颠簸刚性地形上的**零样本（zero-shot）**迁移。该通用型策略在各自的训练地形上均实现了更低的其中值和平均跟踪误差。

案例 II：带有关节臂的履带式车辆

• 任务： 在单一平台上实现两个独立的控制目标：履带式车辆的平面目标到达，以及前置 4 自由度机械臂的末端执行器到达。
• 抽象：
  • 车辆： 一个 3 维平面状态（$v_x, v_y, \omega_z$）。全局位姿通过解析积分获得。
  • 机械臂： 一个 8 维关节空间状态（$q, \dot{q}$）。末端执行器位置通过正向运动学恢复。
• 安全性： 一个基于正向运动学的几何安全屏蔽层，可以在训练期间防止碰撞和违反关节极限，而无需 NRD 模型去学习接触物理学。
• 结果： 完全在冻结的 NRD 模型中训练的策略成功迁移至 Chrono。
  • 车辆： 在 0.75m 范围内达到了 100/100 个目标。
  • 机械臂： 在 0.05m 范围内达到了 97/100 个目标，且未发生任何接触或违反关节极限的情况。

关键结果与性能

• 吞吐量： NRD 模型的操作速度大约比高保真模拟器快 四个数量级。
  • 案例 I（CRM 土壤）：约 11,500 倍加速。
  • 案例 II（履带式车辆）：约 58,400 倍加速。
  • 案例 II（机械臂）：约 8,300 倍加速。
• 迁移保真度： 在缩减模型中训练的策略在保持高保真模拟器中的高性能方面得到了验证，证明了抽象过程保留了必要的控制相关物理特性。
• 泛化能力： 地形调节的 HMMWV 策略展示了对颠簸地形强大的零样本泛化能力，而无需显式的训练数据，这证明了该抽象捕捉到了底层物理规律而非仅仅是记忆特定地形。

意义与主张

论文声称，对于神经动力学而言，“正确的抽象”并非一个固定的低维表示，而是一个任务相关的设计，它能够：

1. 保留任务相关保真度： 它保留了完成控制任务所需的特定物理变量（如轮胎侧滑、关节惯性），同时丢弃无关或确定性的信息。
2. 利用上下文： 它使用显式的机制标签来消除当缩减状态不足以区分物理行为时的歧义。
3. 实现可扩展的学习： 通过冻结并向量化这些模型，迭代式的在策略（on-policy）强化学习变得切实可行，弥合了精确物理模拟与大规模机器人学习之间的鸿沟。

作者强调，NRD 模型的最终验证标准不是其单步预测误差或其内部奖励，而是训练后的策略在回到高保真模拟器进行闭环迁移时的表现。这项工作表明，通过正确的抽象，单个学习到的模型可以作为一个大规模并行的训练环境，服务于多样化的机器人形态和控制任务。

局限性

作者指出了以下局限性：

• 模态间迁移（Sim-to-Sim Transfer）： 验证完全在模拟器内进行；尚未涉及向物理硬件的迁移。
• 启发式设计： 目前缩减状态的选择依赖于物理洞察力和人工实验，而非自动发现。
• 接触模式： 该框架未在显式的接触模式转换（如抓取、撞击）上进行评估，因为机械臂模型仅在自由空间运动下进行训练。将该框架扩展到富接触操作可能需要引入接触调节的动力学。