Imagined Rollouts are Kinematic, Not Dynamic: A Diagnosis of Long-Horizon World-Model Failure

技术摘要：想象中的展开是运动学的，而非动力学的

问题陈述
世界模型在长时程（long-horizon）中的失效通常被归因于“复合误差”（compounding error），这一框架准确地描述了误差的累积，但未能区分误差的类型或特定特征维度的退化。作者认为，这种通用的框架掩盖了一个特定的结构性特征：世界模型倾向于想象出运动学一致（即基于线性更新规则外推位置、速度和加速度轨迹）但动力学不一致（即未能考虑到支配真实运动的物理约束，如质量、摩擦力和接触）的运动。这种“运动学回退”（kinematic fallback）是现有表征工程理论和误差复合界限之外的一个独特的失效层。

方法论
为了诊断这种结构性缺陷，作者提出了一种基于运动学与动力学运动区别的重构世界模型评估方法。

1. 想象运动学一致性误差 (iKCE)：
   作者定义了一个每步诊断指标 iKCE，用于衡量想象展开与闭式运动学零值（例如恒定速度或恒定加速度）之间的偏差。

   • 定义： $iKCE = \frac{1}{T} \sum_{t=0}^{T-1} \| \hat{x}^{WM}_{t+1} - kin(\hat{x}^{WM}_t) \|^2$。
   • 解释： 与直觉相反，低 iKCE 表示模型成功地外推了运动学模式（运动学想象）。高 iKCE（特别是随时程增长并对物理机制变化做出响应时）则是动力学想象的特征。

2. 条件扰动协议：
   为了区分运动学想象与动力学想象，作者通过扰动具有物理意义的条件参数（例如摩擦系数 $\mu$、初始速度、负载）来驱动 iKCE 的剂量-反应曲线。

   • 特征 1（机制不变性）： 运动学想象器产生的 iKCE 曲线会随着扰动幅度平滑缩放，而与物理机制无关，因为它外推的是相同的线性结构。动力学想象器则应表现出对机制边界（例如步态崩溃）的敏感性。
   • 特征 2（单调一致性）： 模型应当尊重物理上的单调性（例如更高的摩擦力 $\to$ 更短的停止距离），但仅当这些关系在物理上成立时。运动学模型尊重线性单调性，但在机制条件下的单调性方面会失效。

实验设置
该诊断工具实例化在训练于 DMC walker-walk 环境的已发布的 DreamerV3 检查点上。

• 基准测试： 与由训练策略驱动的真实物理展开进行了对比。
• 条件： 研究包括了跨越 13 个量级的摩擦力扫描（$\mu \in [0.1, 1.7]$），横跨了经验确定的步态崩溃边界 $\mu=0.20$。
• 控制变量： 实验包括了 Actor 训练时程的消融实验以及领域随机化控制，以排除策略分布外（OOD）伪影的影响。

关键结果

1. 误差量级（假设 1）： DreamerV3 世界模型的想象 iKCE 显著高于匹配的真实物理展开。

   • 在时程 $T=16$ 时，比例约为 $\sim 180\times$（$7.7 \times 10^{-3}$ 对比 $4.2 \times 10^{-5}$）。
   • 在时程 $T=64$ 时，比例缩小至 $\sim 30\times$，这种缩小归因于模型平滑的长时程尾部导致的每步稀释。
   • 这证实了模型的想象相对于运动学零值带有实质性的残差。

2. 机制不变性（假设 2）： 在摩擦力扫描过程中，训练策略的奖励在摩擦力降至步态崩溃边界（$\mu=0.20$）以下时，从 $\sim 650$ 崩溃至 $\sim 200$。然而，想象的 iKCE 在整个范围内保持统计学上的平坦。

   • 回归分析显示，世界模型 iKCE 随摩擦力变化的斜率包含零（$\beta_{WM} = -0.009$, 95% CI $[-0.096, +0.082]$），而真实物理的斜率显著为负（$\beta_{phys} = -0.220$）。
   • 这表明世界模型对物理机制的变化是“盲目”的，证实了“运动学而非动力学”的特征。

意义与主张
本文声称，长时程世界模型的失败不仅是方差或表征工程问题，而是一个结构性缺陷，即模型学习了丰富的运动学特征，但系统性地低估了动力学特征。

• 诊断价值： iKCE 协议提供了一种可证伪的评估诊断，能够区分在长于具身智能步态周期的时程下的运动学想象与动力学想象。
• 对训练的启示： 作者指出，如果想象中的展开在运动学上是结构的但在动力学上是不忠实的，那么通过长时程传播的策略梯度将使 Actor 在偏离真实动力学的轨迹分布上进行优化。这与观察到的现象一致：长时程 Actor 训练（例如 $h=64$）会导致不稳定的收敛和较弱的部署策略，相比之下，短时程（$h=15$）表现更佳。
• 谦逊性： 作者明确指出，该诊断是结构性的，而非预测性的。低 iKCE 识别出一个模型是运动学的，但并不保证其为一个有用的预测器；反之，高 iKCE 且对摩擦力敏感虽然证明了一个模型是动力学的，但不一定保证其准确性。目前的结果局限于单一具身智能（DMC walker）和特定的世界模型家族，尽管该协议旨在具有通用性。