技術要約：最適制御のための実行可能アクション (Feasible Action for Optimal Control: FAOC)

問題設定

制約付き動的システムの運用には、複雑なタスクを解決しつつ、再帰的な実行可能性（recursive feasibility）と安全制約を厳格に遵守できるコントローラーが必要である。強化学習（RL）は、様々な領域において複雑な制御問題を解決する能力を示しているが、サンプル効率の低さと、制約充足を厳密に保証できないという固有の課題を抱えている。一方、最適制御（OC）、特にモデル予測制御（MPC）は、明示的な制約適用を通じて厳格な安全保証を提供するが、非凸かつ長ホライゾンの問題における計算の実行可能性や、アクション空間の広範なチューニングを必要とする点に苦慮することが多い。

RLとOCを組み合わせた既存のハイブリッド手法は、しばしば以下の決定的なトレードオフに直面する：

1. 実行可能性の問題： RLエージェントが最適制御問題（OCP）のパラメータを直接選択する場合、そのアクションがOCPを「実行不可能」な状態にしてしまうことがあり、その結果、スラック変数やヒューリスティックなペナルティが必要となり、パフォーマンスが低下する。
2. アクション空間の設計： 実行可能性を確保するために、先行研究では静的なヒューリスティック・アクション空間（例：有界なハイパーキューブ）が採用されることが多いが、これらは基礎となるOCの「状態依存的な実行可能パラメータ集合」を考慮していない。これにより、実行不可能なアクションや冗長なアクションが含まれることになり、RLポリシーが複雑な実行可能性の境界を暗黙的に学習することを強いるため、学習効率と最終的な性能が阻害される。

手法：最適制御のための実行可能アクション (FAOC)

著者らは、計算効率の高い最適化ベースのマッピングアルゴリズムを介して、RLとOCを橋渡しする階層的フレームワークである**Feasible Action for Optimal Control (FAOC)**を提案する。その核心的な革新は、RLエージェントの出力を、静的で幾何学的に単純な抽象アクション集合から、状態依存的なOCの実行可能パラメータ集合へと変換する、全単射なマッピングにある。

フレームワークのアーキテクチャ

1. 高レベルRLポリシー： RLエージェントは、静的でコンパクト、固体的（solid）、かつ凸な抽象アクション空間 $\bar{A}$（例：ハイパーボックス）内で動作する。エージェントは生の（raw）アクションを出力し、それは抽象アクション $\bar{a} \in \bar{A}$ へと変換される。
2. マッピングアルゴリズム ($M$)： $\bar{a}$ を、OCPの、状態依存的な実行可能集合 $P(x)$ に属するパラメータ $p$ へと写像する新しいアルゴリズムである。このマッピングは、$p$ が現在のシステム状態 $x$ に対して常に実行可能であることを保証し、OCPの解が存在することを確実にする。
3. 低レベルOCP： マッピングされたパラメータ $p$（例：終端状態の目標値）は、パラメータ化されたOCPに供給される。OCPは、物理的制約に従って最適な制御軌道を解き、安全性と再帰的な実行可能性を保証する。

主要なアルゴリズム構成要素

本論文では、抽象集合 $\bar{A}$ と状態依存集合 $P(x)$ の間の幾何学的変換を扱うための一連のマッピングアルゴリズムを開発している：

• トポロジー的特性： 著者らは、一般的なOCPの実行可能パラメータ集合がコンパクト、固体的、かつ凸であることを保証する緩やかな幾何学的条件（補題1）を確立した。これは、終端制約を持つ線形MPCにおいて明示的に示されている（系1）。
• 可逆な放射状マッピング（Invertible Radial Mapping）： コアとなるマッピング（アルゴリズム1）は、$\bar{A}$ から $P(x)$ への点を全単射に変換する放射状のスケーリングアルゴリズムである。これは可逆性を保証しており、いかなる実行可能なパラメータも抽象アクション空間へと投影できるため、「アクションのエイリアシング（重複）」を防ぐことができる。
• 幾何学的歪みの緩和：
  • 2D面積一致： 2次元空間に対しては、集合の面積の周辺角分布を一致させるための方向変換が導出されている。これにより、ターゲット集合の狭い領域への点の蓄積を防ぐ（命題2および3）。
  • 線形変換（任意次元）： 高次元の場合、幾何学的歪みを近似するためにアフィン・サロゲート（具体的には最大体積包含楕円体）を使用することを提案している。これにより、幾何学的表現を明示的に必要とせずに、分布密度を保持したままスケーラブルな線形変換が可能となる（命題4）。
• 暗黙的な集合の取り扱い： 本手法の重要な貢献は、これらのマッピングを $P(x)$ の明示的な幾何学的表現なしに実行できる点にある。OCPの制約構造を利用することで、内部点や形状行列を直接計算するための堅牢な定式化を導出し（命題6–8）、リアルタイム実行を可能にしている。

主な貢献

本論文は、主に5つの貢献を挙げている：

1. トポロジー的特性の特定： 一般的なOCPの状態依存パラメータ集合が、コンパクト、固体的、かつ凸であることを保証する幾何学的条件の特定。
2. 可逆な実行可能アクションのマッピング： 抽象的なRLアクションを、確実に実行可能なOCPパラメータへと全単射に写像する、計算効率の高い放射状アルゴリズム。
3. 幾何学的歪みの緩和： 点の蓄積を防ぎ、学習を加速させるための面積一致（2D）および線形変換（任意次元）技術の開発。
4. 暗黙的な集合に対する計算可能性： 必要なマッピング構成要素（内部点、形状行列）を、計算負荷の高い明示的な幾何学的表現を避けつつ、OCPの制約から直接計算する堅牢な定式化の導出。
5. 実験による検証： 8自由度のロボット卓球システムを用いたリアルタイム・モーションプランニングへの適用により、プロレベルのパフォーマンスを実証。

実験結果

FAOCフレームワークは、高速な意思決定と運動学的制約への厳格な遵守が求められる、実機の8自由度ロボットアームによる卓球タスクを用いて評価された。

• セットアップ： RLエージェント（Soft Actor-Criticを使用）は、各関節の2次元のウェイポイント（位置と速度）を選択した。FAOCマッパーは、これらをパラメータ化されたOCPの実行可能な終端制約へと変換した。
• ベースライン： FAOCは以下の手法と比較された：
  • 1Dバリアント： RLエージェントが位置、速度、または加速度のいずれかのみを選択するコントローラー（制御能力が限定的）。
  • 2Dsoft： 不可能なターゲットを扱うためにソフトな終端コストを使用する、状態に依存しない静的なアクション空間を用いたコントローラー。
• パフォーマンス：
  • サンプル効率： FAOCは、すべての実験において最高のサンプル効率と最終性能を達成し、1Dおよび2Dsoftの両方のベースラインを上回った。
  • 制御可能性： FAOCは、特にRLの決定頻度が減少した場合（レイテンシが高い状況をシミュレート）において、優れた制御可能性を示した。他のコントローラーは周波数の低下に伴い大幅に性能が低下したが、FAOCは状態依存的なアクション空間によって実行可能な軌道セグメントを確保しているため、高い性能を維持した。
  • 実世界での成功： 本フレームワークにより、ロボットが公式のITTFマッチにおいてプロレベルの人間プレイヤーと競い、勝利することが可能となった。

意義と主張

本論文は、FAOCがRLとOCを組み合わせる際の永続的な実行可能性および探索の課題を解決することを主張している。RLエージェントを物理的制約から切り離すことで、本フレームワークは、ポリシーが戦略的な意思決定のみに集中し、OCが局所的な運動学的制約を処理することを可能にする。

著者らは、FAOCが先行研究とは異なり、エキスパートによるアクション空間の設計を必要とせず、また実行不可能なアクションによってOCの定式化を妥協させることもないと強調している。本フレームワークは、OCの予測可能な安全性と、RLの柔軟性を効果的に融合させている。高速かつ競争的な環境における実機ロボットへの展開は、このアプローチが（RLによって扱われる）非凸な戦略的問題を扱いながら、（OCによって扱われる）厳格な局所的実行可能性を維持できることの証明となっている。マッピングアルゴリズムとOCの実装は、さらなる研究を促進するためにオープンソース化されている。