Safe Deep Reinforcement Learning for Spacecraft Reorientation with Pointing Keep-Out Constraint

技術概要：ポインティング禁止領域制約を伴う宇宙船の姿勢再向きのための安全な深層強化学習

問題定義
宇宙船の姿勢再向き機動では、光学カメラなどの敏感な搭載機器が太陽などの明るい天体に曝露されるのを防ぐため、厳格なポインティング制約の遵守が求められることが多い。制約付き姿勢制御に対する従来のアプローチ（姿勢計画や非線形モデル予測制御（MPC）など）は計算集約的であり、リアルタイムの搭載適用には課題を伴う。一方、人工ポテンシャル場（APF）法は効率的であるが、局所極小値に陥りやすい傾向がある。深層強化学習（DRL）は連続制御に対する計算効率の高い代替手段を提供するが、安全性が重要な制約付きシナリオへの適用は依然として限定的である。主要な課題は、形式的な安全性保証の欠如であり、報酬設計のみで訓練された標準的な DRL エージェントは、展開時に制約を厳密に遵守できない可能性がある。

手法
本論文は、単一のポインティング禁止領域を有する宇宙船の姿勢再向きに対する安全強化学習（Safe RL）フレームワークを提案する。この手法は、ソフト・アクター・クリティック（SAC）アルゴリズムと、制御バリア関数（CBF）に基づく安全フィルタを統合する。

• 状態空間と報酬設計: 姿勢制約領域のコンパクトかつ明示的な表現を含む、新たな状態空間表現が設計されている。状態ベクトルには、相対姿勢、角速度、ペイロード光軸ベクトル、光軸と回避方向との間の角度、安全マージン角度、および相対回避方向ベクトルが含まれる。報酬関数は、姿勢収束と制御努力の最小化のためのベース報酬と、宇宙船が禁止領域の境界に近づくにつれて増加する特定のペナルティ関数（$P_{f-zone}$）を組み合わせる。
• 訓練戦略: エージェントは、2 段階のカリキュラム学習アプローチを用いて訓練される。第 1 段階では、増加する初期偏差角を用いて、制約なしの姿勢制御のためのベースライン方策を訓練する。第 2 段階では、禁止領域のペナルティを有効にしてこの方策を微調整し、エージェントの最短経路回転軌道と交差する制約を生成する。
• 安全フィルタ: 展開中の制約遵守を保証するため、RL エージェントと環境の間に CBF ベースの安全フィルタが挿入される。このフィルタは、各時間ステップで二次計画問題（QP）を解き、制御限界と禁止領域制約を満たしつつ、エージェントが提案した動作に最も近い制御トルクを決定する。安全集合は、サンプリング時間と潜在的な外乱を考慮した頑健な内部制約集合を用いて定義される。

主要な結果
提案フレームワークを評価するため、10,000 シナリオのモンテカルロ分析を含む広範なシミュレーションが実施された。

• 標準 RL の限界: 標準的な RL フレームワーク（報酬設計のみ）を使用した場合、エージェントは約 97% のケースで目標に到達した。しかし、2.66% の機動で禁止領域の違反が発生し、報酬設計のみでは安全性を保証できないことを示した。
• 安全 RL の性能: CBF ベースの安全フィルタを統合したところ、制約違反率は 0% に低下した。平均報酬と整定時間は標準 RL アプローチと同等に維持された（報酬のわずかな減少と整定時間のわずかな増加）一方、制御努力はわずかに減少した。
• パラメータ感度: CBF 定式化におけるパラメータ $\mu$ は性能に大きく影響する。$\mu=0.0025$ は最適な安全性と性能を提供したが、不適切に設定されたより小さな $\mu$（0.0001）は、違反を回避しつつも、標準 RL アプローチと比較して性能の低下（高い整定時間と未収束ケースの増加）をもたらした。
• 未収束ケース: 少数のケース（フィルタ使用時 0.22%）が収束しなかった。分析によると、これらは安全フィルタではなく、エージェントの方策（バイアスまたはリミットサイクルの発生）に起因しており、さらなるエージェント訓練が必要であることを示唆している。

意義と主張
本論文は、提案されたフレームワークが、宇宙船姿勢制御への DRL 適用における安全性のギャップを効果的に解決すると主張する。主な貢献は、報酬設計が制約認識を向上させるものの、重要な機動における安全性を保証するには不十分であることを実証した点にある。対照的に、CBF ベースの安全フィルタの統合は、制御性能を著しく損なうことなく、ポインティング制約への厳格な遵守を保証する。著者らは、このアプローチが制約付き宇宙船の姿勢再向きに対する実用的なリアルタイム解決策を提供すると結論付けているが、未収束動作への対応と、Long Short-Term Memory（LSTM）ネットワークを用いた複数の禁止領域へのアルゴリズムの拡張には、今後の研究が必要であると指摘している。