⚡ electrical engineering

Trajectory-Regularized Stochastic Optimal Control via KL Divergence

本論文は、制御された軌道分布と参照軌道分布の間のカルバック・ライブラー情報量によるペナルティを導入することで、動的計画法の構造を維持しつつ実行コストを修正し、線形二次設定における閉形式解をもたらし、かつ性能と参照への追従性の間の調整可能なトレードオフを可能にする、軌道正則化確率的最適制御（TRSOC）というフレームワークを導入するものである。

原著者： Mintae Kim, Koushil Sreenath

公開日 2026-07-27

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mintae Kim, Koushil Sreenath

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットに混雑した雨の公園を歩く方法を教えていると想像してください。ロボットは特定のベンチにできるだけ早く到達したいと考えていますが、地面は滑りやすく、風は予測不可能です。これが**確率的最適制御（Stochastic Optimal Control: SOC）**の世界です。「確率的（Stochastic）」とは、「予期せぬサプライズに満ちている」ということを意味する、少し凝った言葉だと考えてください。そして「最適制御（Optimal Control）」とは、次に何が起こるかを正確に予測できない状況で、最善の経路を見つけ出すための数学のことです。通常、これらの数学の問題は、最小限の労力や時間で目標に到達すること一点のみを重視します。

しかし、現実世界では、動き方の「好ましい形」の「幽霊（ゴースト）」が存在することがよくあります。例えば、ロボットがゆっくりと慎重に歩くように人間から訓練された場合や、安全なロボットがかつてどのように振る舞っていたかを示す古いビデオデータがある場合です。標準的な数学は、この「幽霊」を無視しがちであり、最短ルートのみに焦点を当てます。そのため、ロボットの動きがぎこちなくなったり、不安全になったりする可能性があります。この論文は、シンプルな問いを投げかけます。「ロボットに、速く動くことと、かつての動き方に礼儀正しく近づき続けることの両方を教えることはできるだろうか？」 著者たちは、**軌跡正則化確率的最適制御（Trajectory-Regularized Stochastic Optimal Control: TRSOC）**と呼ばれる新しい手法を提案しています。彼らは、**KLダイバージェンス（KL Divergence）**という数学的ツール（これは単一のステップではなく、経路全体の「距離計」のようなものです）を使用して、ロボットのランダムな動きを、参照パターンに完全に強制することなく、そのパターンに緩やかに近づけるように促します。

論文の核心：機械の中の「幽失」

著者であるミンテ・キムとコウシル・スリーナは、相反する二つの欲求、すなわち**「仕事をうまくこなすこと（性能）」と「以前の安全なバージョンのように振る舞うこと（参照）」を巧みに混ぜ合わせる方法を提案しています。彼らは、この新しいシステムをTRSOC**と呼んでいます。

あなたが車を運転している場面を想像してください。「性能」の目標は、10分以内に食料品店に到着することです。「参照」となる振る舞いは、あなたの慎重なおばあちゃんの運転です。彼女は決してスピードを上げず、常に合図を出し、幅の広いカーブを描きます。標準的な運転の数学は、あなたにおばあちゃんのことは無視して、交通法規が許す限り速く走るように指示します。しかし、TRSOCはそこに「礼儀正しさのペナルティ」を加えます。それはこう言います。「速く走ってもいいが、もしおばあちゃんの習慣を無視して激しく蛇行したりしたら、罰金を科すぞ」と。

この論文の魔法のトリックは、その「罰金」をどのように計算するかという点にあります。通常、経路全体（軌跡）を比較することは、映画の全フレームをフレームごとに比較しようとするほど非常に困難です。しかし、著者たちは**ギルサノフの定理（Girsanov's theorem）という有名な数学的定理を用いて、これを簡略化しました。彼らは、映画全体を比較する代わりに、ロボットが任意の瞬間において進もうとしているドリフト（方向）**だけを見ればよいことを示しました。

もしロボットが「幽霊」である参照パスとは大きく異なる方向に自分を押し進めようとすると、数学的に**二次形式のペナルティ（quadratic penalty）**が加算されます。これはゴムバンドのようなものだと考えてください。ロボットが参照パスから離れようとすると、ゴムバンドが伸び、コスト（「罰金」）が増大します。このゴムバンドの強さ（ $\lambda$ と呼ばれる数値によって制御される）が強ければ強いほど、ロボットが逸脱することは難しくなります。

結果：スイートスポットの発見

この論文は、単にアイデアを提案するだけでなく、それが数学的に機能することを証明し、シミュレーションでテストしています。

1. トレードオフは実在する
著者たちは、「ゴムバンド」のつまみ（ $\lambda$ ）を回すことで、二つの極端な状態の間をスムーズに移動できることを示しています。

$\lambda = 0$ （ゴムバンドなし）： ロボットは純粋に性能に基づいて行動します。最も効率的な経路を見つけますが、動きがぎこちなくなったり、安全な習慣を無視したりする可能性があります。
$\lambda = \text{巨大}$ （非常にタイトなゴムバンド）： ロボットは模倣者になります。たとえその経路が最速ではなくても、参照パスをほぼ完璧に辿ります。
その中間： ロボットは妥協点を見つけます。仕事をこなしつつも、その動きを滑らかで馴染みのあるものに保ちます。

実験では、フィギュアエイト（8の字）のトラックに従うロボットを使用しました。正則化を強めると、ロボットは鋭く攻撃的な修正をやめ、たとえ「最速」の経路が少し不安定であったとしても、参照パスの滑らかな曲線に従うようになりました。

2. 「幽霊」データとも機能する
最も興味深い部分の一つは、この「参照」が完璧な数学的公式である必要はないということです。著者たちは、オフラインデータ（ロボットが動いている録画映像など）をシステムに投入できることを示しました。

彼らは、参照ロボットがどのように動いたかを推測するための小さなニューラルネットワークを訓練しました。
そして、TRSOCシステムにその推測をガイドとして使用させました。
結果はどうだったでしょうか？新しいロボットは、録画されていたロボットと非常によく似た振る舞いを見せました。これは、この手法が完璧な方程式だけでなく、現実世界のデータから「幽霊」の振る舞いを学習できることを証明しています。

3. 安全性と安定性
この論文はまた、この「ゴムバンド」がロボットを不安定にするかどうかについても検討しています。驚くべきことに、この正則化を加えることで、システムはむしろより安定することが分かりました。激しく荒々しい動きにペナルティを課すことで、数学的にコントロールを失うようなリスクを取ることを自然に抑制できるのです。シミュレーションにおいて、数学が複雑になった場合でも、ロボットは安全な範囲内に留まりました。

これが将来にもたらす意味

この論文は、宇宙のあらゆる制御問題を解決したと主張しているわけではありません。代わりに、柔軟なツールを提示しています。それは、「速くてリスクが高い」か「安全で遅い」かのどちらかを選ばなければならないのではない、ということを示しています。単一の数値を調整するだけで、その両方を実現できるのです。

著者たちは、これが人間のデモンストレーションから学習する必要があるロボット（例：ビデオを見て洗濯物を畳む方法を学ぶロボットアーム）や、交通の流れの中で現地の運転習慣を尊重する必要がある自動運転車にとって、非常に大きな意味を持つと考えています。この「軌跡正則化」を用いることで、エンジニアは、効率的であるだけでなく、予測可能で礼儀正しい、つまり、仕事に取り組みながらも、自身の歴史という「幽霊」に寄り添うことができるロボットを構築できるのです。

要するに、TRSOCはロボットに「良心」を与えるようなものです。ロボットは依然としてレースに勝ちたいと考えていますが、かつて自分がどのように振る舞っていたかを記憶しており、自らの野心と歴史の両方を満たす経路を見つけようとするのです。

技術要約：KLダイバージェンスによる軌道正則化確率最適制御

1. 問題定式化

本論文は、標準的な確率最適制御（SOC）の限界に対処している。標準的なSOCは、不確実性下での期待累積コストの最小化のみに焦点を当てており、結果として得られるシステムダイナミクスが、所望のリファレンス挙動からどの程度逸脱するかを制約しない。多くのアプリケーションにおいて、リファレンス挙動（受動的ダイナミクス、ベースラインコントローラ、またはオフラインデータから導出された分布など）は、価値のある構造的事前知識をエンコードしている。リファレンスからの大きな逸脱は、脆弱な方策を招く可能性がある。

著者らは、軌道正則化確率最適制御（TRSOC）を提案する。その目的は、タスクのパフォーマンスと、制御された軌道の分布とリファレンス軌道の分布との近接性のバランスを取るように、コスト関数を最小化することである。この近接性は、制御されたプロセスの確率測度（ $P_u$ ）とリファレンスプロセスの確率測度（ $P_0$ ）の間のカルバック・ライブラー（KL）ダイバージェンスを用いて測定される。

システムは、制御された拡散過程としてモデル化される：
$dX_t = f(X_t, u_t)dt + \sigma(X_t)dW_t$
ここで、制御 $u_t$ はドリフトを通じて作用する。リファレンスダイナミクスは、同じ拡散行列 $\sigma$ を共有するが、異なるドリフト $f_0$ を持つ。

2. 手法

A. 軌道KLから局所コストへの低減

中心的な理論的貢献は、軌道レベルのKLダイバージェンスを、局所的で扱いやすい実行コストへと低減させることである。

ギルサノフの定理: 拡散行列 $\sigma(x)$ が可逆であり、ドリフトの不一致がノビコフの条件を満たすという仮定の下で、制御された測度とリファレンス測度の間のラドン＝ニコディム微分が存在する。
補題1: 有限ホライゾン $[0, T]$ におけるKLダイバージェンス $KL(P_u \| P_0)$ は、二次的なドリフト不一致ペナルティの期待積分に等しいことが示される：
$KL(P_u \| P_0) = \frac{1}{2} \mathbb{E}_{P_u} \left[ \int_0^T \|\phi_t^u\|^2 dt \right]$
ここで、 $\phi_t^u = \sigma(X_t)^{-1}(f(X_t, u_t) - f_0(X_t))$ である。
拡張実行コスト: この結果により、軌道正則化を、実行コストへの加法的項として標準的なSOCフレームワークに直接組み込むことが可能になる：
$L(x, u) = \ell(x, u) + \frac{\lambda}{2} \|\sigma(x)^{-1}(f(x, u) - f_0(x))\|^2$
ここで、 $\lambda \geq 0$ は正則化パラメータである。

B. 動的計画法とHJB構造

KLペナルティが実行コストの積分に低減されるため、TRSOC問題はマルコフ性と**動的計画法（DP）**の原理を保持する。

値関数 $V(t, x)$ は、標準的な**ハミルトン・ヤコビ・ベルマン（HJB）**方程式を満たす：
$-\partial_t V(t, x) = \inf_{u \in U} \{ L(x, u) + \mathcal{L}_u V(t, x) \}$
ここで、 $\mathcal{L}_u$ は拡散の無限小生成子である。
軌道測度を直接最適化する「KL制御」のアプローチ（しばしばリスク感受性目的関数や指数型傾斜化を伴う）とは異なり、TRSOCは、加算された実行コストを持つ標準的なSOC問題であり、線形な期待値と標準的なHJB特性を維持している。

C. 最適制御構造（制御アフィン形式）

制御アフィン・ドリフト $f(x, u) = f_0(x) + B(x)u$ と二次制御コストを持つシステムに対して、著者らは明示的な最適フィードバック則を導出する。

KL項は追加の制御ペナルティとして機能し、実効的な制御重み行列を修正する：
$\bar{R}(x) = R(x) + \lambda B(x)^\top (\sigma(x)\sigma(x)^\top)^{-1} B(x)$
最適制御は以下のように与えられる：
$u^*(x) = -\bar{R}(x)^{-1} B(x)^\top \nabla V(x)$
この定式化は、ノイズの少ない方向における大きなドリフト変化を誘発する制御が、より厳しくペナルティを受けることを意味している。

D. 線形二次（LQ）への特化

線形二次設定において、この問題は修正された制御重み $\bar{R}$ を持つ割引線形二次レギュレータ（LQR）へと帰着する。その解は、正則化パラメータ $\lambda$ がフィードバックゲインに直接影響を与え、 $\lambda$ が増加するにつれて制御をより保守的に導く、修正された代数リッカチ方程式（ARE）を解くことに含まれる。

3. 主な貢献

TRSOCの定式化: 軌道レベルのKLダイバージェンスを介して、事前行動（公称コントローラやデータ駆動型ベースライン）を組み込んだ、挙動正則化SOCフレームワークの導入。
局所コストへの低減: ドリフトのみの制御かつ非退化な拡散の下では、軌道KLダイバージェンスが二次的なドリフト不一致ペナルティに低減されることを証明した。これにより、DP構造が保持され、標準的なHJB特性が可能となる。
最適方策の特性付け: 制御アフィン・システムに対する明示的な最適フィードバック則の導出、およびLQケースの分析を行い、正則化がいかに制御コストと安定性を変化させるかを示した。
安定性解析: 軌道正則化が閉ループ・ドリフトの散逸性を改善し、リアプノフ不等式を容易にし、状態の平均二乗有界性を保証することを証明した。

4. 結果と実験

論文では、確率二重積分器システムを用いた、フィギュアエイト（8の字）軌道の追従に関する数値実験を通じて、理論的知見を検証している。

パフォーマンスと偏差のトレードオフ: 実験は、正則化パラメータ $\lambda$ $λ$ が連続的なトレードオフを誘起することを示している。
- $\lambda \to 0$ のとき、コントローラは標準的なパフォーマンス駆動型SOCとして振る舞い、タスクコストは低いが、リファレンスから大きく逸脱する可能性がある。
- $\lambda \to \infty$ のとき、コントローラは誘導されるドリフトをリファレンスダイナミクスに一致させようとし、リファレンスへの偏差を最小化する代わりに、タスクのパフォーマンスを犠牲にする。
データ駆動型リファレンス: 本フレームワークは、リファレンスダイナミクスを（ニューラルネットワークを用いて近似加速度から）学習した設定にも成功的に適用されている。実験結果は、TRSOCがタスクの最適化と学習されたリファレンス挙動への遵守を効果的に両立させていることを示している。
軌道の幾何学: 軌道の可視化により、正則化が誘導されるダイナミクスの幾何学に作用することが明らかになった。正則化されたコントローラは、未正則化の最適コントローラによる攻撃的な修正と、公称リファレンス挙動の中間的な挙動をとる軌道を生成する。これは特に高曲率領域において顕著である。

5. 意義と主張

著者らは、TRSOCが、標準的なDP/HJBフレームワークを放棄することなく、事前知識やオフラインデータを確率制御に統合するための原理的な手法を提供すると主張している。

構造の保持: 他の軌道正則化手法（測度の最適化を必要としたり、非標準的なリスク感受性目的関数を導いたりするもの）とは異なり、TRSOCは標準的なSOC構造を維持しており、一般的な非線形ダイナミクスへの適用が可能である。
補間: 本フレームワークは、マルチオブジェクティブ最適化問題（タスクパフォーマンス vs リファレンスへの適合）のスカラー化を提供し、実務者が単一のパラメータ $\lambda$ を通じてコントローラの挙動を調整できるようにする。
堅牢性: 本手法は、リファレンスダイナミクスがデータから学習される際の近似誤差に対して堅牢であることが示されており、オフラインからオンラインへの強化学習や模倣学習の文脈における潜在的な有用性を示唆している。

結論として、軌道正則化は「ノイズを考慮した」制御エネルギーの修正として機能し、システムがより確率的でない方向におけるドリフトの変化をより厳しく罰することで、パフォーマンスと安全性/一貫性のバランスを取るための、幾何学的に直感的なメカニズムを提供している。