技術要約：羽ばたき型ドローンのハイブリッド制御に向けた強化学習ツインニング（Reinforcement Twinning）

問題定義

羽ばたき型マイクロ航空機（FWMAV）の制御は、本質的に不安定で、強い非線形性と時変性を有するダイナミクスに起因する大きな課題を抱えている。これらのシステムは劣駆動であり、粘性力が慣性効果を支配する領域で作動するため、前縁渦（leading-edge vortices）のような複雑な空気力学的相互作用が生じる。さらに、小規模製造によるパラメータの不確実性や、センサーデータのノイズも問題となる。

従来の制御戦略は、根本的なトレードオフに直面している：

• モデルベース（MB）手法（例：LQR、MPC）：簡略化された線形または非線形モデルに依存しているが、これらは時変の不確実性や複雑な運動学を捉えきれないことが多く、機敏な操縦において性能が低下する。
• モデルフリー（MF）手法（例：強化学習）：明示的なモデリングの仮定を回避できるが、サンプル効率が悪く、収束のために広範かつ潜在的に危険な試行錯誤による探索を必要とする。

本論文は、羽ばたき型ドローンのサンプル効率が悪くリスクの高い環境に特化した、物理ベースのモデリングの堅牢性とデータ駆動型学習の適応性を組み合わせるための制御フレームワークの必要性に取り組んでいる。

手法：強化学習ツインニング（Reinforcement Twinning: RT）

著者らは、2つの学習エージェント間の双方向の協調を促進するために設計された、ハイブリッドなモデルフリー／モデルベース・アーキテクチャである**強化学習ツインニング（RT）**フレームワークを提案している。このシステムは、以下のコンポーネントを通じて機能する。

1. デュアルエージェント・アーキテクチャ

2つの並行した制御ポリシーが同時に訓練される：

• モデルフリー・ポリシー ($\pi_{mf}$)：深層決定論的ポリシー勾配（DDPG）アルゴリズムを用いて訓練される。累積報酬を最大化するために、実環境（ドローンの非線形時変（NLTV）シミュレーション）と直接相互作用する。
• モデルベース・ポリシー ($\pi_{mb}$)：仮想環境（非線形時不変（NLTI）サロゲートモデル）内で訓練される。仮想領域内での制御コストを最小化するために、随伴変数を用いた勾配降下法を用いて最適化される。

2. 適応型デジタルツイン（仮想環境）

仮想環境は静的なモデルではなく、適応型デジタルツインである。これは、サイクル平均化された空気力学的力から導出された、簡略化されたNLTI定式化を利用している。

• 閉鎖則（Closure Law）：空気力学的力は、状態変数と制御変数の多項式関数（具体的には、二次制御項を含むModel 3定式化）として表現される。
• オンライン同定：モデルパラメータは、随伴変数に基づくデータ同化手順を通じて継続的に更新される。このプロセスは、「同化バッファ」に保存された実世界と仮想世界の軌跡間の不一致を最小化することで、モデルが進化するダイナミクスや不確実性にリアルタイムで適応することを可能にする。

3. 協調メカニズム

2つのエージェントは、実世界と仮想世界の相互作用を管理する**ポリシー・レフェリー（Policy Referee）**によって調整される：

• ポリシー仲裁（Policy Arbitration）：レフェリーは、どちらのポリシー（$\pi_{mf}$ または $\pi_{mb}$）を実環境における「ライブ」コントローラーとして動作させるかを決定する。この決定は、以下の指標に基づく：
  • 実世界対仮想世界信頼比（RVET）：仮想環境で予測された改善度と、実環境で観察された改善度を比較する指標。仮想モデルが現実と矛盾している場合、モデルフリー・ポリシーが展開される。
  • 性能比較：現在展開されていない方のポリシー（アイドル・ポリシー）が、仮想環境内でライブ・ポリシーを一貫して上回っている場合、切り替えが行われる可能性がある。
  • 停滞検出：学習が停滞した場合、発散を防ぐために、より優れたパフォーマンスを示すポリシーから重みを複製（クローン）する。
• 共有体験：
  • ライブ・ポリシー（MFまたはMBのいずれか）からの遷移は、MFのクリティック（Critic）およびアクター（Actor）を訓練するためのリプレイ・バッファに格納される。
  • 状態・行動の軌跡は、同化バッファに保存される（多様性を確保するために最大分散基準を用いて更新される）。これは、仮想環境の閉鎖則を特定し、更新するために使用される。

主な貢献

本論文は、主に3つの技術的貢献を詳述している：

1. オンライン・モデル同定戦略：非線形時変（NLTV）環境から生成された短期間の軌跡を用いて、簡略化された非線形時不変（NLTI）モデルを校正するための、連続的な随伴変数最適化の定式化。これにより、事前に収集されたデータセットに頼ることなく、制御ポリシーが訪問する特定の状態空間領域にモデルを適応させることが可能となる。
2. 双方向学習メカニズム：モデルが主にポリシーを支援するという標準的なモデルベース強化学習（MBRL）とは異なり、本フレームワークは相互的な相互作用を確立している。モデルは制御空間における探索をガイドし、一方で強化学習エージェントはモデル同定に使用されるデータを豊かにする。
3. ポリシー・レフェリーと協調：実世界と仮想世界の整合性に基づいてエージェントの展開を管理する、動的な仲裁システムの設計。これにより、状況の変化に応じて、モデルベースの効率性とモデルフリーの堅牢性の間での切り替えが可能となる。

結果

本フレームワークは、3つの異なる初期化シナリオの下で、羽ばたき型ドローンの縦方向制御（垂直上昇から目標状態への遷移）に対して評価された：

1. オフライン校正：仮想モデルが豊富なデータセットで事前に校正されていた場合、ハイブリッドRTフレームワークは、スタンドアロンのDDPG（モデルフリー）アプローチよりも大幅に速く収束し、分散も小さかった。モデルベース・ポリシーが初期の訓練を主導し、探索のセーフガードとして機能した。
2. 完全オンライン学習（ランダム初期化）：モデルとポリシーの両方がランダムなパラメータで開始されたシナリオでは、純粋なモデルベースのアプローチは初期のモデルバイアスにより効果的に収束できなかった。純粋なモデルフリーのアプローチは収束したが、速度は遅かった。RTフレームワークはこれら両方のベースラインを上回り、より速い収束と高い最終報酬を達成した。システムはサロゲートモデルをオンラインで適応させることに成功し、デジタルツインの忠実度が向上するにつれて、モデルフリー優位からモデルベース優位へと移行した。
3. モデルバイアスを伴うオンライン学習：初期モデルが顕著なバイアス（例：質量33%増加、または圧力中心のシフト）を持つデータで校正されていた場合でも、RTフレームワークはサロゲートモデルをオンラインで修正することに成功した。効率的なポリシー学習を維持しながら目標状態を達成し、パラメータの不確実性とダイナミクスの変化に対する堅牢性を実証した。

モデル選択：二次制御項を含む多項式閉鎖則（Model 3）が、予測精度と計算複雑性の最適なバランスを提供し、縦方向および垂直位置において0.99以上のピアソン相関係数を達成することが示された。

重要性と主張

本論文は、強化学習ツインニング・フレームワークが、モデルフリー学習のサンプル効率の低さと、従来のモデルベース制御のモデル不正確さの間のトレードオフを効果的に緩和することを主張している。データ駆動型のポリシーと適応型の物理ベースモデルとの間の継続的かつ双方向の相互作用を可能にすることで、本フレームワークは以下を実現する：

• 高度に非線形で時変なシステムの制御におけるサンプル効率と堅牢性の向上。
• 広範な事前学習データを必要としない、進化するダイナミクスやパラメータの不確実性へのオンライン適応。
• 動的に変化する環境におけるリアルタイム制御のための、汎用性の高いアーキテクチャの提供。特に、極めて困難な羽ばたき型ドローンの飛行という文脈においてその有効性を実証した。

著者らは、現在の研究は理想的な状態推定を用いた縦方向制御に焦点を当てているが、今後の課題として、フル3Dダイナミクスへの拡張および高精度なCFDシミュレーションを用いた検証を挙げている。