技術的概要：多目的方策最適化のための適応的滑らかチェビシェフ注意機構

問題定義

ロボティクス分野における深層強化学習（RL）では、しばしば複数の矛盾する目的（例：速度対安全性、探索カバレッジ対ステルス性）のバランスを取る必要があります。標準的な RL はスカラー報酬に依存しますが、多目的強化学習（MORL）は、環境が報酬のベクトルを返すシナリオに対処します。その目標は、他の目的を劣化させずにどの目的も改善できないパレートフロント上の方策を見つけることです。

既存のアプローチは、最適化の安定性と幾何学的精度の間の根本的なトレードオフに直面しています：

1. 線形スカラー化（LS）： 重み付き和を通じて目的を結合します。安定性は高いものの、パレートフロントの非凸領域における解を理論的に回復することができず、複雑な動的環境では劣った方策をもたらします。
2. チェビシェフ（TCH）スカラー化： 理想的な「ユートピア」点からの最大重み付き偏差を最小化することで、凸性に関係なく理論上すべてのパレート最適解を回復できます。しかし、微分不可能な max 演算子が、深層 RL において勾配の不安定性とスパースな更新を引き起こします。
3. 滑らかなチェビシェフ（STCH）： max 演算子を、滑らかさパラメータ $\mu$ によって制御される Log-Sum-Exp 近似に置き換えます。これにより勾配の流れが可能になりますが、決定的なボトルネックを導入します：
   • 小さな $\mu$： 真の TCH 関数に近づきますが、勾配の枯渇を引き起こします。これは、支配的な目的のみが更新を受け、他の目的の破滅的な忘却につながる状態です。
   • 大きな $\mu$： 滑らかな勾配を確保しますが、手法を線形スカラー化に戻し、非凸領域をナビゲートする能力を失います。
   • 静的な調整： RL の「データセット」（エージェントの経験）は非定常であるため、固定された $\mu$ の調整は困難です。アドバンテージの規模とユートピア点への近接性は、方策が進化するにつれて変化します。

手法：PASTA

著者は、最適化の安定性と精度の間の緊張関係を解決するために、最適化ランドスケープの曲率を動的に変調するフレームワークであるPASTA（Adaptive Smooth Tchebycheff Attention による方策最適化）を提案します。

1. 適応的滑らかチェビシェフ（ASTCH）

PASTA の中核には、リアルタイムの勾配干渉に基づいて滑らかさパラメータ $\mu$ を動的に調整する ASTCH スカラー化があります。

• 競合駆動コントローラ： システムは、負の内積（破壊的干渉を示す）を示すサンプリングされた目的勾配ペアの割合として定義される**競合比（$\kappa$）**を監視します。
• 弾力的適応：
  • アニーリング： 訓練が進み競合が解決されるにつれて、$\mu$ は正確な低値へと減衰し、スカラー化を鋭くします。これにより、エージェントは非凸パレート解に収束できます。
  • 動的ブレーキ： 競合比が閾値を超え（不安定な最適化を示す）、コントローラは一時的に $\mu$ を増加させます。これによりプロセスが「ブレーキ」され、方策更新を安定化させ勾配枯渇を防ぐために、より滑らかで線形に近い近似に戻ります。
  • 慣性滑らか化： オンライン方策アルゴリズムの定常分布仮定を侵害する可能性のある急速な振動を防ぐため、$\mu$ に指数移動平均（EMA）を適用します。

2. 注意整合ブランチドクリティック

価値関数が正しい優先順位を学習することを保証するために、PASTA は共有特徴抽出器と各目的ごとの独立した価値ヘッドを備えたブランチドクリティックアーキテクチャを導入します。

• STCH 注意機構： STCH 関数の勾配は、目的に対して正規化された正の重み付け（$\delta$）を自然に誘発します。ユートピア点からの偏差が大きい目的は、指数関数的に高い注意を受けます。
• 維持率（$\rho$）： 低 $\mu$ 領域における勾配枯渇に対抗するため、維持率が導入されます。実効的な注意重みは、STCH 由来の注意と一様分布のブレンドであり、すべての目的が最小限の勾配予算を受け取ることを保証します。
• 損失整合： クリティックの損失はこれらの注意係数によって重み付けられ、価値推定能力が現在ボトルネックとなっている目的に割り当てられることを保証します。

3. 競合認識勾配射影

破壊的干渉をさらに軽減するため、PASTA は**競合勾配の射影（PCGrad）**の変種を統合します。

• 直ちにアドバンテージをスカラー化するのではなく、アルゴリズムはアドバンテージのベクトルを維持します。
• 個々の目的の方策勾配は個別に計算されます。
• 2 つの目的勾配間に競合が検出された場合、一方を他方の法線平面に射影します。これにより、エージェントは非凸パレートフロントに固有の幾何学的競合をナビゲートしながら、個別の信頼領域制約を尊重できます。

主要な貢献

1. ASTCH フレームワーク： 目的間勾配競合のオンライン推定に基づいて滑らかさパラメータ $\mu$ を動的に調整する新規スカラー化手法。手動調整の必要性を排除し、勾配枯渇を防ぎます。
2. PASTA アルゴリズム： ASTCH、競合駆動コントローラ、注意整合クリティックを統合するオンライン方策勾配法。MORL におけるユートピア点と価値推定の非定常性を明示的に考慮します。
3. 実証的検証： 困難な実世界およびシミュレーションタスクにおける広範な評価。線形ベースラインでは到達不可能な非凸領域や、静的非線形手法では不安定な領域におけるパレート最適方策の堅牢な発見を実証しました。

実験結果

著者は PASTA を 3 つの異なるドメインで評価しました：

1. ステルス視覚探索（実世界およびシミュレーション）：

   • タスク： 地上ロボットが露出を最小化（ステルス）し、探索速度を最大化しながら物体を検索します。
   • 結果： PASTA は、最も強力な静的ベースライン（$\mu=10.0$ の STCH）に対して 0.291 のハイパーボリューム（HV）を達成し、45.5% の改善を示しました。多様な優先ベクトル全体で 100% の勝率を達成し、線形、チェビシェフ、固定パラメータ STCH ベースラインを大幅に上回りました。
   • 実世界展開： 不均一な地形や障害物のある屋外環境における Clearpath Jackal UGV 上で検証され、探索、ステルス、安全性のバランスを成功裡に取ることができました。

2. 多目的 MuJoCo ベンチマーク：

   • タスク： 矛盾する目的を持つ連続制御タスク（HalfCheetah, Humanoid, Ant, Walker2D）。
   • 結果： PASTA は、すべての環境においてベースラインと比較して一貫して高いハイパーボリュームと優れたパレートフロントカバレッジを達成し、優れたサンプル効率と堅牢性を示しました。

3. クアッドコプターナビゲーション（Crazyflie）：

   • タスク： 「Frogger」（動的障害物のナビゲーション）と「Formation」（障害物を回避しながら三角形の編隊を維持）。
   • 結果： PASTA は HV とタスク成功率の両方でベースラインを上回りました。実世界飛行において、エージェントはクラッシュすることなく 91.2% のタスク成功率（52/57 の目的）を達成し、確率的な動的障害物を持つ航空プラットフォームへの手法の適用可能性を実証しました。

意義と主張

本論文は、PASTA がモデルフリー MORL における長年の課題である最適化の安定性と幾何学的精度の間の緊張関係に対する堅牢な解決策を提供すると主張しています。勾配干渉をフィードバック信号として扱うことで、この手法は「弾力的」な最適化ランドスケープを創出します：

• 目的が整合する際には、正確な非凸スカラー化へとアニーリングし、パレートフロントの凹部における解の発見を可能にします。
• 破壊的な勾配競合が発生した際には、安定した滑らかな近似へと弾力的にブレーキをかけ、破滅的な忘却や訓練の崩壊を防ぎます。

著者は、このアプローチにより、ロボットが静的スカラー化手法に必要な広範なハイパーパラメータ調整なしに、構造化されていない実世界のシナリオで複雑な矛盾する要求を自律的に解決できると強調しています。この研究は、ロボット工学のための信頼性が高く、特定の優先順位に基づく多目的学習への一歩として提示されていますが、著者はハイパーパラメータ（競合比対維持率）の相互依存性や、特定の優先順位に基づく方策ではなく、条件付き方策への焦点に関する限界にも言及しています。