🤖 machine learning

DiRecT: Safe Diffusion-Based Planning via Receding-Horizon Denoising

DiRectは、後退ホライゾン・デノイジングを通じて最終的なクリーンな軌道に対してのみ制約を課すことで、既存の手法においてサンプル品質を低下させる原因となる中間ステップへの過剰な制約を回避し、拡散モデルにおける安全なプランニングを保証するトレーニングフリーのアルゴリズムである。

原著者： Paolo Giaretta, Zeyang Li, Navid Azizan

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Paolo Giaretta, Zeyang Li, Navid Azizan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

コーヒーを一杯取りに、混雑した部屋を歩いて進むロボットに、歩き方を教えている場面を想像してみてください。あなたのロボットは非常に賢く、何千本ものビデオを見て学習してきました。そのため、一般的な「動き方」は理解していますが、「今、目の前にある特定の椅子やテーブル」については知りません。

もしあなたが単に「コーヒーを取りに行け」と命じただけなら、ロボットは独創性を発揮しようとするあまり、テーブルに直進してぶつかってしまうかもしれません。一方で、計画を立てる際の一歩一歩に対して、「テーブルに当たらないように」と指示しすぎると、ロボットがフリーズしたり、もたついたり、あるいは不自然でぎこちない経路を通ったりすることになります。あなたはロボットの思考をマイクロマネジメント（過剰管理）してしまっているのです。

これが、DiRecTという論文が解決しようとしている問題です。

問題点：「過剰修正」の罠

著者らは、既存のAIプランナー（計画立案）の安全性を高める手法を、子供の手を強く握りすぎる「心配性な親」に例えています。

従来の方法： ロボットが経路を計画する際（ステップ・バイ・ステップで）、コンピュータは「このステップは安全か？」とチェックします。もし安全でなければ、即座にその特定のステップを変更するように強制します。
欠陥： ロボットの計画プロセスには、多くの「ノイズ」や「下書き」が含まれます。こうした下書きに対して安全性をチェックすることは、絵描きに対して「パレットで色を混ぜている最中に、木のように見える筆致を一筆たりとも作るな」と言っているようなものです。これはロボットの創造性を制限し、最終的な結果が醜くなったり、ぎこちなくなったり、あるいは目標に到達できなくなったりする原因となります。

解決策：DiRecT（「後退ホライゾン」のコーチ）

著者らは、DiRecTを、心配性な親ではなく「賢明なコーチ」として紹介しています。

1. 「クリーンな軌道」のビジョン
DiRectTは、すべての下書きに対して安全性をチェックするのではなく、ロボットが最終的でクリーンな計画を思いつくのを待ちます。そしてこう問いかけます。「もしこの計画通りに進んだら、テーブルにぶつかるか？」

比喩： ロボットが紙に経路を描いているところを想像してください。従来の方法は、鉛筆が紙に触れた瞬間に、線が少しでも曲がっていれば消しゴムで消そうとしました。DiRectTは、鉛筆に自由に描かせた後、完成した絵を見ます。もし完成した絵がテーブルに当たっているなら、その時になって初めて、絵全体をそっと動かして回避させるのです。

2. 「後退ホライゾン（Receding-Horizon）」のテクニック
この論文では、「モデル予測制御（MPC）」に着想を得た「後退ホライゾン（Receding-Horizon）」という概念を使用しています。

比喩： 霧がかかったヘッドライトで夜間のドライブをしていると考えてください。あなたは数フィート先しか見ることができません。
- 従来の方法： まだ先の道路が見えていないにもかかわらず、100マイル先の全行程に対して完璧にハンドルを切ろうとします。
- DiRectT： 目の前の道路を注視し、数秒先までの安全な経路を計画し、それを実行します。そして、次の数秒間のために再び計画を立て直します。常に「今」見えているものに基づいて計画を更新していくため、壁にぶつかることはありませんが、道がカーブしているのに車を無理に直進させようとすることもありません。

3. 「学習不要」という強力な武器
最も優れた点は、DiRectTはロボットを再学習させる必要がないことです。これは、ロボットの既存の知識（「学習済みモデル」）を活用し、その上に安全性のレイヤーを追加するだけです。

比例： 熟練したドライバーに、障害物を警告してくれるGPSを与えると想像してください。ドライバーに運転の仕方を教え直す必要はありません。ただ、その特定の都市にある「特定の水たまり」を避けるためのツールを与えるだけなのです。

実践における仕組み

論文では、以下のいくつかのロボットタスクで検証を行いました。

迷路のナビゲーション： 予期せぬ新しい壁が現れる迷路の中を転がるボール。DiRectTは、他の手法が立ち往生したり衝突したりする中で、壁にぶつかることなく迷路をナビゲートすることに成功しました。
ロボットアーム： 柱を避けながら物体を掴むアーム。DiRectTは、柱がトリッキーな場所に配置されていても、アームが決して柱に触れないようにしました。
マルチロボット・スウォーム（群れ）： 一群のロボットが互いにぶつかることなく一緒に移動する。DiRectTは、ロボットの数が増えても、安全かつ効率的に制御しました。

結論

DiRectTは、AIプランナーを安全にするための新しい手法です。AIの思考プロセスを絶えず中断して安全性を確認する（それによってAIをぎこちなくさせてしまう）のではなく、AIに自由に考えさせ、その後に「最終的な計画」を優しく修正して安全を確保します。それは、学生が文章を書いている最中に一文ごとに止めるのではなく、最終稿を編集する際に、完璧なものにするために手助けをするようなものです。

その結果、ロボットは安全（衝突しない）であり、かつ熟練した動き（スムーズに動き、任務を遂行する）を実現できるのです。

技術要約: DiRecT – Receding-Horizon Denoisingによる安全な拡散ベースのプランニング

問題提起

拡散モデルは、行動や軌跡のマルチモーダルな分布を学習することで、プランニングと制御のための強力なフレームワークとして台頭しています。しかし、これらのモデルを安全性が重要なタスクにデプロイする場合、信頼性の高い推論時の安全性確保が大きな障壁となります。制約付き拡散サンプリングにおける既存の手法は、通常、各ノイズを含む中間的なデノイジングの反復ステップにおいて、実行可能集合への投影によって実現可能性を強制します。これは根本的なミスマッチを生じさせます。なぜなら、プランニングの制約は最終的なクリーンな軌跡に対して定義されているのに対し、中間的なサンプルは本質的にノイズを含んでおり、必ずしも実行可能である必要はないからです。サンプリングプロセス全体を通じて制約を強制することは、学習された逆ダイナミクスを過剰に制約し、生成プロセスを歪め、サンプル品質を大幅に低下させます。さらに、投影ベースの手法は、追加のソフト報酬やコストと共にハード制約を扱うための統一されたメカニズムを欠いていることが多いです。

手法: DiRecT

これらの制限に対処するため、著者らは、制約付きサンプリングのためのトレーニング不要なアルゴリズムである DiRecT (Diffusion-based planning via Receding-horizon denoising with Terminal constraints) を導入します。

コアとなる定式化

DiRecTは、推論時の制約強制を確率的最適制御 (SOC) の観点から再定義します。学習された逆拡散プロセスは、公称の確率的ダイナミクスとして機能し、制御入力は最終的なクリーンな軌跡の実現可能性に向けてサンプラーを誘導します。決定的なのは、制約が最終的なクリーンなサンプルに対してのみ課されることであり、これによりノイズを含む中間的なイテレートに対する不必要な制限を回避しています。目的は、最終状態 $X_0$ が実行可能集合 $S$ 内にあるという制約の下で、コスト関数（終端コストと制御エネルギーのバランス）を最小化する最適な制御ドリフト $u^*$ を見つけることです。

アルゴリズムの導出

ニューラル・デノイジング・マップを通じた高次元かつ非凸な性質を持つニューラル・ダイナミクスの完全なホライゾン最適化を解くことは、計算量的に困難です。DiRecTは、モデル予測制御 (MPC) に着想を得た2つの主要な近似を用いて、スケーラブルで扱いやすい代理問題を導出します。

後退ホライゾン代理モデル (Receding-Horizon Surrogate): フルホライゾンの最適化を解く代わりに、DiRectTは問題を一歩ずつのサブ問題のシーケンスに分解します。各デノイジングステップ $i$ において、現在のノイズを含むイテレートから、Tweedieの公式 ( $\hat{x}^\theta_0(X_i, t_i)$ ) を用いて、示唆される最終的なクリーンな軌跡を予測します。
データドメイン最適化 (Data-Domain Optimization): ニューラル・デノイジング・マップを通じて制約付き最適化問題を繰り返し解くことを避けるため、アルゴリズムは不動点議論を用いてTweedieの公式を近似的に逆転させます。これにより、最適化を潜在空間からデータドメインへと移動させることが可能になります。具体的には、潜在的な変位を、予測されたクリーンなサンプルのスケーリングされた差分によって近似します。

結果として得られるアルゴリズム（アルゴリズム1）は、以下のように動作します：

事前ノイズベクトルをサンプリングする。
$t_N$ $t_{N}$ から $t_0$ $t_{0}$ に向かって逆方向に反復する：
- 制御されていないデノイジングのプロポーザルを計算する。
- スコアモデルを使用して、対応するクリーンなサンプルを推定する。
- データドメインにおいて、ハード制約 $S$ を満たし、かつコスト $C$ を最小化しつつ、制御されていない予測に近いクリーンなサンプルを見つけるための制約付き最適化問題を解く。
- この洗練（リファインメント）を、現在のノイズを含むイテレートの制御された更新へと翻訳する。
最終的な実行可能なサンプルを返す。

この設計は、確率的なデノイジングと制約充足を明確に分離しており、学習された拡散ダイナミクスを歪めることなく、サンプルを実行可能な最終軌跡へと段階的に誘導します。

主な貢献

主要な限界の特定: 本論文は、ノイズを含む中間的なデノイジング・イテレートに対して実現可能性を強制することが、サンプリング・ダイナミクスを過剰に制約し、サンプル品質を低下させることを特定しました。そして、制約付き拡散プランニングを、終端制約付きのSOC問題として定式化することを提案しています。
DiRecTアルゴリズム: 学習不要の制約付き拡散サンプラーであり、扱いにくい制約付きSOC問題を、一連の扱いやすいクリーンな軌跡の最適化サブ問題へと削減します。これは、学習されたデノイジング・プロセスを歪めることなく、サンプルを制約充足へと誘導します。
柔軟性: オフザシェルフおよびドメイン固有のオプティマイザをサポートし、等式制約と不等式制約の両方を扱い、環境固有のダイナミクス・プライアを組み込み、推論時に追加のソフト報酬やコストを最適化できます。
実証的検証: 広範な実験により、DiRectTが既存の拡散ベースのプランニング・ベースラインと比較して、デプロイメントの安全性とタスク性能を大幅に向上させることが示されました。

実験結果

著者らは、4つの多様なロボット・プランニング・ベンチマークにおいてDiRectTを評価しました。

安全な迷路ナビゲーション (Maze2D): テスト時の障害物がある「ブロード」および「ナロー」の両方の迷路バリアントにおいて、DiRectTはそれぞれ 安全性率 (SR) 0.970 および 0.940 を達成し、違反数はほぼゼロ（0.45 および 0.23）でした。これに対し、Diffuser、Gradient Guidance、Projected Diffusion などのベースラインは、SRが0.00から0.78の範囲にあり、違反数も大幅に高くなりました。DiRectTは、高いタスクスコアを維持しながら安全性を確保しました。
安全なロボット操作 (D3IL): ロボットアームが柱やその他の制約を回避しながらターゲットに到達する必要があるタスクにおいて、DiRectTは 安全性率 100%、タスク成功率 100% を達成し、安全性に大幅な低下が見られたすべてのベースライン（例：Gradient GuidanceのSR 0.88）を上回りました。
マルチロボット・モーションプランニング (MRMP): 最大20体のエージェントが存在する環境でテストされた際、DiRectTは、特にエージェント数が増加するにつれて、MMD-CBSやProjected Coupled Diffusionを含むベースラインよりも、制約安全性 (Constraint Safety) と 成功率 (Success Rate) の両方において一貫して優れた性能を示しました。複雑な衝突および速度制約を満たしながら、期待される運動パターンへの高い遵守を維持しました。
接触豊富な操作 (PushT): 多様な、互いに交差しない軌跡を含む結合生成タスクにおいて、DiRectTのバリアント（DiRectT-LBおよびDiRectT-DPP）は、他の制約付きサンプラーと比較して、多様性（DTWおよびDFDで測定）を向上させつつ、100%の制約充足を達成しました。

重要性と主張

本論文は、DiRectTが確率的なデノイジング・プロセスと制約充足を分離することで、安全な拡散ベースのプランニングへの原理的なアプローチを提供すると主張しています。最終的なクリーンなサンプルに対してのみ制約を課すことで、既存の投影ベースの手法が抱える中間ダイナミクスの過剰制約を回避しています。

著者らは、DiRectTが トレーニング不要 (training-free) であることを強調しており、再学習やファインチューニングを必要とせずに、既存の学習済み拡散モデルに広く適用できることを示しています。この柔軟性は、推論時の追加の計算量（最適化サブ問題の解決）を導入しますが、本手法は、ソフトな目的関数を組み込む柔軟性を保持しながら、単一の制約違反が壊滅的な失敗につながる可能性のある安全性重視のプランニングにおいて、より強力な安全保証を提供します。