技術要約：ロバストな拡散方策のためのコルモゴロフ回帰

問題定義

有限次元（FD）拡散方策は、ロボティクスや自律システムにおける視覚運動方策の学習において支配的であるが、離散化によるアーティファクトに起因する**時間的ドリフト（temporal drift）**の問題を抱えている。標準的な手法では、連続的な軌跡をピクセルやテキストトークンにマッピングするなど、拡散学習の前にアクション空間を離散化する。この「拡散の前にデータを離散化する」スキームは、基礎となる連続的な自律システムのダイナミクスと方策を不整合にする。その結果生じるグリッド・アーティファクトは、補間誤差を生み出し、それが軌跡のロールアウトを通じて累積し、以下の問題を引き起こす：

• 安全性に敏感な実世界へのデプロイメントにおける不安定性。
• 長期的なプランニング実行能力の低下。
• アクション次元 $d$ に対して $O(\sqrt{d})$ で劣化する収束境界。
• 報酬信号に依存することなく、方策の失敗を判定するための決定論的な診断機能の欠如。

本論文は、制御指向の近似手法としては、可能な限り離散化を遅らせてダイナミクスの幾何学的構造を保持するために、許容可能な軌跡の分布を直接関数空間において表現すべきであると主張している。

手法

著者らは、ガウス測度論と後退コルモゴロフ方程式（Backward Kolmogorov Equation: BKE）に基づいた無限次元（ID）拡散フレームワークを提案する。ユークリッド空間における確率的スコアマッチング目的関数を学習する代わりに、この手法は拡散方策をキャメロン・マーティン空間（ヒルベルト空間 $H = L^2([0, T], \mathbb{R}^{d_a})$ の部分集合）へと持ち上げる。

核心となる革新は、ニューラルネットワークのアーキテクチャを変更することなく、3つの最小限の置換によって標準的なDDPMパイプラインを置き換えることである：

1. カラー化された前方ノイズ（Colored Forward Noise）:

   • 標準的なホワイトノイズ $\eta \sim \mathcal{N}(0, I)$ を、カラーノイズ $\eta = L_N \xi$ （ここで $\xi \sim \mathcal{N}(0, I)$ かつ $L_N = \text{chol}(G_N)$ はMatérン・グラム行列のコレスキー因子）に置き換える。
   • これにより、アクション分布の共分散構造が尊重され、滑らかで物理的に妥当な軌跡が得られ、急激な速度の不連続性が回避される。

2. 精度重み付きキャメロン・マーティン損失（Precision-Weighted Cameron-Martin Loss）:

   • 標準的な平均二乗誤差（MSE）損失を、キャメロン・マーティン損失に置き換える：
     $$\mathcal{L}_{CM} = \mathbb{E} \left[ \| C_\mu^{-1/2} (\eta_\theta - \eta) \|_H^2 \right]$$
   • ここで、$C_\mu$ は共分散作用素である。この逆共分散重み付けは、デノイジング損失が（ラドン＝ニコディムの定理を通じて）基礎となるノイズ分布の測度的構造を保持することを保証し、次元に依存しない収束を実現する。

3. カラー化された逆方向ノイズ（Colored Reverse Noise）:

   • 推論時には、サンプリング軌跡全体で共分散構造との一貫性を維持するために、学習時と同じカラーノイズ構造（$\eta = L_N \xi$）をホワイトノイズの代わりに用いる。

理論的基礎：後退コルモゴロフ方程式 (BKE)

本フレームワークは、密度ベースの定式化（無限次元ではルベーグ基準測度の欠如により失敗する）を避け、スコアをキャメロン・マーティンの対数微分として定義することで、BKEを満たす決定論的な境界値問題へとスコアマッチングを変換する。値関数 $u(x, s) = \mathbb{E}[f(X_t) | X_s = x]$ は、以下の決定論的BKEを満たす：
$$-\frac{\partial u}{\partial s} = \left\langle -\frac{1}{2}x, \nabla_x u \right\rangle_H + \frac{1}{2} \text{Tr}[C_\mu \cdot \nabla^2_x u]$$

推論時の診断：コルモゴロフ残差

新たな貢献は、決定論的かつオラクルフリーな、方策の失敗を検知するための信号であるコルモゴロフ残差（Kolmogorov Residual）($R(\hat{u})$) である。これは、学習された関数 $\hat{u}$ によるBKE制約の違反を測定する：
$$R(\hat{u}) := \left\| \frac{\partial \hat{u}}{\partial s} + \left\langle -\frac{1}{2}x, \nabla_x \hat{u} \right\rangle_H + \frac{1}{2} \text{Tr}[C_\mu \cdot \nabla^2 \hat{u}] \right\|_H$$
高い残差は、BKE制約からの逸脱を示しており、報酬信号やグラウンドトゥルースを必要とせずに、ダウンストリームの失敗モード（例：軌跡のドリフトや実行不可能なプランニング）と相関する。

主な貢献

1. 拡散のためのコルモゴロフPDE: 拡散方策をBKEに接地させることで、確率的スコアマッチングを決定論的な境界値問題へと置き換え、問題の次元ではなくカーネルの有効ランクに依存する収束保証を実現した。
2. 3点アルゴリズムの実装: IDフレームワークが、標準的なDDPMにおける3つの置換（カラーノイズ、精度重み付き損失、カラー逆方向ノイズ）に還元されることを示し、ネットワーク構成の変更なしでの容易な採用を可能にした。
3. 決定論的な失敗検知: 解釈可能な教師なし診断として、コルモゴロフ残差を導入し、方策の信頼性を判定する仕組みを提供した。
4. マルチドメイン検証: ロボット操作および製造フロー制御の両ドメインにおいて、本手法を検証した。

実験結果

1. PushT 操作ベンチマーク

• パフォーマンス: キャメロン・マーティン損失は、最大エピソード報酬において17%の向上（MSEの0.78に対し0.95）を達成した。
• 軌跡の品質: MSEベースラインと比較して、推論時のステップ間ドリフトが67.6%減少した。
• 診断: CM学習モデルのコルモゴロフ残差は $\approx 0.11$ であった（MSEの $\approx 0.34$ に対比）。これはBKE制約との強い整合性を示しており、高い残差はタスクの失敗と強く相関していた。

2. 製造フロー制御 (6ステーション CONWIP)

• 予測: IDモデルは、古典的なLSTMベースラインと比較して、仕掛品（WIP）予測において28.4%低いRMSEを達成した。
• 異常検知: コルモゴロフ残差はボトルネック検出器として機能し、Precision@1 = 1.0 および 13倍の信号対雑音比（SNR）（過負荷状態のステーションS2を、他のステーションの平均残差0.96に対し、平均残差13.05で特定）を示した。
• 安全性認証: ハミルトン・ヤコビ（HJ）到達可能性理論と統合し、無制御のディスパッチと比較して、デッドロック発生を96%削減（100回の試行で351件のイベントを防止）するディスパッチ方策を認証した。

意義と主張

本論文は、拡散方策を無限次元関数空間へと持ち上げ、測度論に基づかせることで、離散的な学習アーティファクトと連続的な物理ダイナミクスの間の根本的な不整合を解決すると主張している。

• 収束保証: 理論的境界は、問題の次元ではなく、共分散作用素のスペクトル特性（有効ランク）に依存する収束率を示す。
• 解釈性: 本フレームワークは、物理学に基づいた診断（コルモゴロフ残差）を提供し、報酬信号なしで方策の失敗を検知することで、ブラックボックス学習と安全性に敏感な検証の間の溝を埋める。
• 運用の優位性: 製造現場においては、関数値としてのステーション間の結合を捉えることで、スカラーベースの予測（LSTM）を凌駕し、HJ到達可能性を通じて安全なエンベロープを提供し、飢餓やデッドロックといった運用上の失敗を防ぐ。

著者らは、無限次元の構造は単なる理論的構成物ではなく、ダイナミクスが関数値を持つシステムにおいて運用上優れていることを結論付けており、より信頼性が高く、解釈可能で、安全なデプロイメントへの道筋を提示している。