技术摘要：用于鲁棒扩散策略的柯尔莫哥洛夫回归 (Kolmogorov Regression)

问题陈述

有限维 (FD) 扩散策略虽然在学习机器人及自主系统中的视觉运动策略方面占据主导地位，但由于离散化伪影，常遭受时间漂移 (Temporal Drift) 的困扰。标准方法在训练前对动作空间进行离散化（例如，将连续轨迹映射为像素或文本标记）。这种“先离散化数据再进行扩散”的方案使策略与底层连续自主系统动力学失配。由此产生的网格伪影会产生插值误差，并在轨迹展开过程中不断累积，导致：

• 在安全至关重要的现实世界部署中表现不稳定。
• 长时程规划执行能力差。
• 收敛界限随动作维度 $d$ 以 $O(\sqrt{d})$ 的速度退化。
• 缺乏不依赖奖励信号的确定性失效诊断机制。

本文认为，一种原则性的控制导向近似应当直接在函数空间中表示可采轨迹的分布，尽可能延迟离散化过程，以保留动力学的几何结构。

方法论

作者提出了一种基于高斯测度论和后向柯尔莫哥洛夫方程 (Backward Kolmogorov Equation, BKE) 的无限维 (ID) 扩散框架。该方法并非在欧几里得空间中学习随机分数匹配目标，而是将扩散策略提升至 Cameron-Martin 空间（希尔伯特空间 $H = L^2([0, T], \mathbb{R}^{d_a})$ 的一个子集）。

其核心创新在于通过三个最小化替换取代了标准的 DDPM 流水线，且无需更改神经网络架构：

1. 有色前向噪声 (Colored Forward Noise)：

   • 标准白噪声 $\eta \sim \mathcal{N}(0, I)$ 被替换为有色噪声 $\eta = L_N \xi$，其中 $\xi \sim \mathcal{N}(0, I)$ 且 $L_N = \text{chol}(G_N)$ 是 Matérn 格拉姆矩阵 (Gram matrix) 的 Cholesky 分解因子。
   • 这遵循了动作分布的协方差结构，产生了平滑、符合物理规律的轨迹，并避免了突发的速度不连续。

2. 精度加权的 Cameron-Martin 损失 (Precision-Weighted Cameron-Martin Loss)：

   • 标准均方误差 (MSE) 损失被 Cameron-Martin 损失取代：
     $$\mathcal{L}_{CM} = \mathbb{E} \left[ \| C_\mu^{-1/2} (\eta_\theta - \eta) \|_H^2 \right]$$
   • 此处的逆协方差权重确保了去噪损失能够保持底层噪声分布的测度结构（通过 Radon-Nikodym 定理），并实现与维度无关的收敛。

3. 有色反向噪声 (Colored Reverse Noise)：

   • 在推理阶段，白噪声被替换为与训练时相同的有色噪声结构 ($\eta = L_N \xi$)，以保持整个采样轨迹与协方差结构的一致性。

理论基础：后向柯尔莫哥洛夫方程 (BKE)

该框架通过定义作为 Cameron-Martin 对数导数的分数 (Score)，避开了在无限维空间中因缺乏勒贝格参考测度而失效的基于密度的表述方法。值函数 $u(x, s) = \mathbb{E}[f(X_t) | X_s = x]$ 满足确定性 BKE：
$$-\frac{\partial u}{\partial s} = \left\langle -\frac{1}{2}x, \nabla_x u \right\rangle_H + \frac{1}{2} \text{Tr}[C_\mu \cdot \nabla^2_x u]$$
这把随机分数匹配问题转化为一个确定性的边值问题偏微分方程 (PDE)。

推理时诊断：柯尔莫哥洛夫残差 (Kolmogorov Residual)

一项新颖的贡献是 柯尔莫洛夫残差 ($R(\hat{u})$)，这是一个确定性的、无需先验知识 (Oracle-free) 的信号，用于检测策略失效。它衡量了学习函数 $\hat{u}$ 对 BKE 约束的违反程度：
$$R(\hat{u}) := \left\| \frac{\partial \hat{u}}{\partial s} + \left\langle -\frac{1}{2}x, \nabla_x \hat{u} \right\rangle_H + \frac{1}{2} \text{Tr}[C_\mu \cdot \nabla^2 \hat{u}] \right\|_H$$
高残差表示偏离了 BKE 约束，这与下游失效模式（如轨迹漂移或不可行的规划）高度相关，且无需任务奖励或地面真值。

核心贡献

1. 用于扩散的柯尔莫洛夫 PDE： 将扩散策略置于 BKE 框架下，用确定性边值问题取代了随机分数匹配，从而获得了收敛保证，其常数项取决于核函数的有效秩 (Effective Rank) 而非动作维度。
2. 三点算法实例化： 证明了该 ID 框架可以简化为对标准 DDPM 的三个替换（有色噪声、精度加权损失、有色反向噪声），从而实现易于采用且无需改变网络架构。
3. 确定性失效检测： 引入了具有可解释性的无监督诊断工具——柯尔莫洛夫残差，用于监测策略的可信度。
4. 多领域验证： 在机器人操控和制造流控制领域验证了该方法的有效性。

实验结果

1. PushT 操控基准测试

• 性能： Cameron-Martin 损失实现了 17% 的最大回合奖励提升（0.95 对比 MSE 的 0.78）。
• 轨迹质量： 与 MSE 基准相比，推理过程中的步间漂移减少了 67.6%。
• 诊断： CM 训练模型的柯尔莫洛夫残差约为 $\approx 0.11$（而 MSE 约为 $\approx 0.34$），显示出与 BKE 约束的高度一致性。高残差与任务失败表现出强相关性。

2. 制造流控制 (6站式 CONWIP)

• 预测： 该 ID 模型在在制品 (WIP) 预测方面的 RMSE 比经典的 LSTM 基准降低了 28.4%。
• 异常检测： 柯尔莫哥洛夫残差作为瓶颈检测器，实现了 Precision@1 = 1.0 以及 13 倍的信噪比（成功识别出过载站点 S2，其平均残差为 13.05，而其他站点仅为 0.96）。
• 安全认证： 通过与 Hamilton-Jacobi (HJ) 可达性理论集成，该系统认证了调度策略，与无控制调度相比，减少了 96% 的死锁事件（在 100 次运行中预防了 351 起事件）。

意义与主张

本文声称，通过将扩散策略提升至无限维函数空间并将其置于测度论基础之上，解决了离散训练伪影与连续物理动力学之间的根本失配问题。

• 收敛保证： 理论界限表明，收敛速率与问题维度解耦，转而取决于协方差算子的谱性质（有效秩）。
• 可解释性： 该框架提供了一个物理感知的诊断工具（柯尔莫洛哥洛夫残差），能够在无需奖励信号的情况下检测策略失效，弥合了黑盒学习与安全至关重要的验证之间的鸿沟。
• 操作优越性： 在制造业中，该方法通过捕捉函数值的站间耦合，在预测方面优于基于标量的预测（LSTM），并通过 HJ 可达性提供了经过认证的安全包络，从而防止了饥饿和死锁等运行故障。

作者总结道，无限维结构不仅仅是一个理论构想，对于底层动力学具有函数值特征的系统而言，它在操作上具有优越性，为更可靠、更具可解释性且更安全的扩散策略部署提供了一条路径。