技術的概要：RL ベースのクアッドコプター制御におけるパフォーマンスチューニングのためのヒューリスティックアプローチ

問題定義

強化学習（RL）は、ドローンレースや雑多な環境を航行する高速で機敏なクアッドコプタータスクにおいて印象的な能力を示してきましたが、インフラ点検などのアプリケーションに必要な、調整可能で精密かつ制御された機動を提供する能力は欠いていることが多いです。典型的な RL 訓練設定は硬直的であり、結果として得られる挙動を特定の制御理論的指標（例えば、整定時間、オーバーシュート、定常状態誤差）を満たすように反復的にチューニングすることは、莫大な計算コストを伴わずには困難です。さらに、直感的なチューニングヒューリスティックを提供する古典的な比例・積分・微分（PID）コントローラーとは異なり、RL の報酬関数は複雑であり、特定の過渡的および定常状態のパフォーマンス要件にマッピングすることが困難です。

手法

著者は、報酬設計と終了条件を操作することで、エンドツーエンドの RL ベースのクアッドコプター制御において調整可能なパフォーマンスを達成するための新しいヒューリスティックアプローチを提案します。システムは、近接方策最適化（PPO）アルゴリズムを用いて、部分観測マルコフ決定過程（POMDP）としてモデル化されます。

1. システムと観測

• プラットフォーム: 本研究では、X 構成の Crazyflie 2.1 クアッドコプターを使用します。
• ダイナミクス: システムは特異点を回避するために姿勢表現に単位四元数を用い、推力、トルク、重力を含む剛体ダイナミクスをモデル化します。
• 観測空間: エージェントは、位置誤差、四元数誤差、線形速度、角速度、および直前のアクションからなる 17 次元ベクトルを観測します。リアルタイムのセンサーノイズに対する堅牢性を高めるため、直前のアクションを除くすべての状態成分にガウスノイズを注入します。
• アクション空間: 方策は正規化されたモーター RPM 値を出力し、ドローンの 4 つのモーターに直接マッピングされます。

2. 報酬関数の設計

方策を安定化制御へと導くために、多成分の報酬関数が設計されます：
$$R(t) = s_R + \lambda_1 e^R_{xy} + \lambda_2 e^R_{z} + \lambda_3 v_R + \lambda_4 \theta_R - \lambda_5 a^P_{\Delta}$$

• 生存報酬（$s_R$）: エージェントに衝突や安全でない状態を回避するようインセンティブを与えます。
• 位置誤差報酬（$e^R_{xy}, e^R_z$）: デュアルバンド幅の指数関数報酬を利用します。この構造は、早期応答（$\alpha$）と定常状態精度（$\beta$）に影響を与える係数に報酬を分割します。
• 速度および角度報酬（$v_R, \theta_R$）: 線形速度と姿勢誤差（測地線角度で測定）の減少に報酬を与えます。
• 平滑化ペナルティ（$a^P_{\Delta}$）: 連続するアクション間の差のユークリッドノルムの二乗にペナルティを課し、微分的な制御挙動を促す減衰項として機能します。

3. 終了およびトリュンケーション条件

著者は、特定の失敗条件（例：10 cm 未満への降下、過度な加速度）およびトリュンケーション時間範囲を定義します。これらの条件は、クアッドコプターの挙動を制約し、機敏性と応答の臨界減衰特性に影響を与えるように調整されます。

4. ヒューリスティックチューニング規則

核心的な貢献は、報酬重み、指数係数、および終了境界を調整して、パフォーマンスを 3 つの明確なモード間でシフトさせるための直感的なヒューリスティックのセットです：

• ベースライン: 低い定常状態誤差を持つ臨界減衰応答。
• アクロバティック（高速）: 位置誤差の早期応答バンド幅を増加させ、速度制約を緩和することで達成され、より短い整定時間を可能にします。
• 点検（低速）: 速度終了境界を縮小し、位置誤差報酬の鋭敏さを高め、局所最小値を回避するために生存報酬を緩和することで達成され、より滑らかで遅い過渡応答をもたらします。

主要な貢献

1. 新しい報酬構造: 設定点追跡において低い定常状態誤差を持つ臨界減衰応答を達成するデュアルバンド幅の指数関数報酬の導入。
2. 調整可能なヒューリスティック: 報酬重みと終了条件を調整して、「アクロバティックのような（高速）」および「点検のような（低速）」整定時間を生成しつつ、ベースラインの定常状態誤差特性を維持するための直感的な規則の枠組み。
3. サンプル効率: 複雑なハイブリッドアーキテクチャ（例えば、PID とカスケード接続された RL）を必要とせず、PPO を用いて約 600 万時間ステップで所望のパフォーマンスを達成できることの証明。
4. 統計的検証: ランダムな初期条件を用いた 100 回の試行における検証により、位置およびヨー追跡において一貫したパフォーマンスを示すことの証明。

結果

著者は、同一の PPO 超パラメータを使用して 3 つの異なる方策（ベースライン、アクロバティック、点検）を訓練しました。

• 訓練効率: すべての方策は 600 万時間ステップで報酬飽和に達しました。ランダムシード間の分散は低く、安定性を示しています。
• パフォーマンス指標:
  • 整定時間: アクロバティック方策は常に短い整定時間を達成し、点検方策はベースラインと比較してより長く滑らかな過渡応答を示しました。
  • オーバーシュート: x、y、z 位置変数はオーバーシュートにおいて四分位範囲（IQR）がゼロであり、少なくとも 75% の試行が意図された臨界減衰応答を達成したことを示しています。ヨーのオーバーシュートは大きかったですが、これはランダム化された初期条件に起因します。
  • 定常状態誤差: 3 つの方策すべてが、位置およびヨーに対して規定された 2% 帯域内の定常状態誤差を維持しました。
• モーター作動: 点検方策は、より攻撃的なアクロバティック方策と比較して、より少ないモーター作動を必要とし、RPM 安定化の観点からより速く整定しました。

意義と主張

本論文は、提案されたヒューリスティックアプローチが、調整可能な安定化性能を持つ RL ベースのクアッドコプターコントローラーを設計するための信頼性が高く実用的な手法であることを主張しています。固定された期待値を持つ単一の方策を訓練することに焦点を当てた従来のハイブリッドアプローチとは異なり、この研究は、直感的なパラメータ調整を通じて方策のパフォーマンス特性（過渡的対定常状態）を制御するメカニズムを提供します。

著者は、このアプローチが RL の柔軟性と古典制御理論の予測可能性の間のギャップを埋め、高速レースから精密なインフラ点検まで多様なアプリケーションに適したコントローラーの生成を可能にすることを強調しています。この研究は、ガウスノイズを用いたシミュレーションベースの検証に焦点を当てた限定的な範囲であり、シミュレーションから実世界への転移（sim-to-real transfer）、ドメインランダム化、遅延、およびオンボード計算の制限を、今後の研究に必要な領域として明確に特定しています。