論文「Policy Optimization for Unknown Systems using Differentiable Model Predictive Control」の技術的サマリー

本論文は、不確実なシステム（未知のダイナミクス）に対するモデル予測制御（MPC）の方策最適化（Policy Optimization）における課題を解決するための新しいフレームワークを提案しています。モデルベースの手法とゼロ次（モデルフリー）最適化手法を組み合わせることで、モデルの精度が不十分であっても、収束を保証しつつ高速な学習を実現する手法を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義

• 背景: モデルベースの方策最適化（特に MPC ベース）は、システムモデルに依存して軌道計画を行うため、モデルが不正確な場合、閉ループ性能が劣化する問題があります。
• 課題: 既存の MPC 方策最適化手法の多くは、システムモデルが正確であるという仮定に基づいており、モデルが不正確な場合の収束保証は未解決の問題でした。また、MPC の最適化マップは非滑らか（nonsmooth）であるため、従来の勾配法を直接適用することが困難です。
• 目的: 未知のシステムダイナミクス $f$ に対して、パラメータ $\theta$ を持つ MPC 方策を最適化し、コスト関数 $C$ を最小化すること。ただし、利用可能なモデル $g$ は真のダイナミクス $f$ とは一致しない（近似である）と仮定します。

2. 提案手法：ハイブリッド勾配推定

提案手法は、モデルベースの勾配推定とゼロ次（モデルフリー）勾配推定を組み合わせる「グレーボックス」アプローチです。

2.1 数学的基礎

• 非滑らか性の処理: MPC の最適化マップは非滑らかであるため、Clarke 微分ではなく、Bolte と Pauwels (2021) が導入した**保守的ヤコビアン（Conservative Jacobian）**の枠組みを採用しています。これにより、定義可能関数（definable functions）のクラス内で一般化されたヤコビアンを定義し、連鎖律を適用可能にしています。
• 最適性条件: 完全な情報がないため、従来のクリティカルポイントではなく、**Goldstein $\delta$-臨界点（Goldstein $\delta$-critical point）**への収束を目指します。

2.2 アルゴリズムの構成

更新則は以下のハイブリッド形式をとります：
$$\theta_{k+1} = \Pi_\Theta [\theta_k - \alpha_k d_k]$$
ここで、更新方向 $d_k$ は以下の 2 つの成分の重み付き和です：
$$d_k = \eta_k d_{k,1} + (1 - \eta_k) d_{k,2}$$

1. モデルベース成分 ($d_{k,1}$):

   • 利用可能な近似モデル $g$ を用いて、MPC の解マップの保守的ヤコビアンを再帰的に計算し、コスト関数の勾配を推定します。
   • モデルが信頼できる場合、この成分が高速な収束を主導します。

2. ゼロ次成分 ($d_{k,2}$):

   • 真のコスト関数 $C$ に対する値のみを用いたゼロ次勾配推定（ランダムな摂動による一次近似）を行います。
   • 具体的には、ランダムな方向 $v_k$ に対して $C(\theta_k + \delta v_k) - C(\theta_k)$ を評価し、Goldstein 部分微分集合の要素を推定します。
   • モデルが不正確な場合や、モデルベース推定が誤った方向へ導く場合、この成分が収束性を保証します。

3. 重み付けパラメータ ($\eta_k$):

   • $\eta_k \in [0, 1]$ は、モデルへの信頼度に応じて調整されます。
   • 初期段階やモデルが信頼できる場合は $\eta_k$ を大きくし、モデルベースの情報を重視します。
   • 時間経過とともに $\eta_k$ を減少させることで、最終的にはデータ（ゼロ次情報）に依存し、モデルの誤差によるバイアスを排除します。

3. 主要な貢献

1. 不確実なモデル下での収束保証:
   • モデルが不正確であっても、ゼロ次推定を組み合わせることで、Goldstein $\delta$-臨界点への収束を保証する理論的枠組みを構築しました。
   • 従来のモデルベース手法（モデル不正確時に発散する可能性あり）と、純粋なモデルフリー手法（収束が遅い）の両方の欠点を克服しています。
2. MPC 非滑らか性の扱い:
   • MPC の非滑らかな性質を、保守的ヤコビアンと定義可能関数の理論を用いて厳密に扱い、勾配ベースの最適化を可能にしました。
3. 柔軟なトレードオフ:
   • モデルへの信頼度に応じて、モデルベース情報とモデルフリー情報の重みを動的に調整するメカニズムを提供しました。

4. 実験結果

• 対象: 12 次元のクアッドコプター（位置、速度、オイラー角、角速度）の非線形制御タスク。
• 設定:
  • 真のシステムは非線形だが、MPC 内部では線形モデル（最小二乗法で同定した近似モデル）を使用。
  • 比較対象：純粋なモデルベース手法、純粋なゼロ次（モデルフリー）手法、提案手法（$\gamma$ 値を変化させた場合）。
• 結果:
  • 収束速度: 提案手法は、初期段階でモデルベース手法と同様に高速なコスト低下を示し、その後ゼロ次補正により安定して最適解に収束しました。
  • 安定性: 純粋なモデルベース手法は初期に改善しましたが、モデル誤差により後に不安定化し、収束に失敗しました。純粋なゼロ次手法は安定していましたが、収束が遅かったです。
  • 性能: 提案手法で学習された制御器は、完全な真のモデルを用いて最適化された制御器とほぼ同等の性能（コスト差 1% 未満）を達成しました。
  • 軌道: 学習された制御器による飛行軌道は、真のモデル最適化による軌道と定性的・定量的に高い一致を示しました。

5. 意義と将来展望

• 意義:
  • 現実の制御システムでは、正確な物理モデルの構築は困難であり、同定誤差や外乱が存在します。本手法は、そのような「不完全なモデル」が存在する状況でも、安全かつ効率的に制御方策を学習できることを示しました。
  • モデルベースの効率性とモデルフリーの頑健性を両立させる「グレーボックス」アプローチの新たな可能性を開拓しました。
• 将来展望:
  • 安全性保証の強化（制約違反の厳格な防止など）。
  • より複雑な非線形システムや、実機への適用。

総じて、本論文は、モデルの不確実性下での MPC 方策最適化において、理論的な収束保証と実用的な高性能を両立させる画期的なアプローチを提示しています。