技術的概要：パレート被覆集合の学習のための単一の深層選好条件付き方策

問題定義

多目的強化学習（MORL）は、しばしば競合する複数の報酬信号を最適化することを目指します。MORL における中心的な対象は、単一の最適方策ではなく、パレート最適のトレードオフの集合（パレートフロント）です。注目すべき方向性の一つに、ユーザーが指定した選好ベクトル $\omega$ に基づいて多様な方策を出力する単一の深層モデルを用いる選好条件付き学習があります。

しかし、既存のアプローチは「線形と非線形の緊張関係」に直面しています：

1. 線形スカラー化：凸被覆集合（CCS）を目標とする手法は、しばしば線形重み付き和に依存します。数学的に明快である一方、これらはパレートフロントの頂点解のみを回復できます。固定された選好に対して、最適目的ベクトルが一意でない場合（例えば、完全な支持面全体など）、曖昧な目標が生じ、選好が変化するにつれて方策のスイッチングが不連続になります。さらに、これらは非頂点のトレードオフに対する密な被覆を提供することに苦慮します。
2. 非線形スカラー化：パレート被覆集合（PCS）を目標とするアプローチは非頂点解に到達できますが、しばしば複雑な問題定式化、強力な正則化、または真のパレートフロントから逸脱する可能性があるヒューリスティックを必要とします。加えて、一般的な非線形スカラー化の下での選好から解への写像の一意性と連続性は不明瞭なままであり、安定した「選好掃引」を困難にしています。

本論文は、特に深層設定へ拡張する前の表形式（tabular）の多目的マルコフ決定過程（MOMDP）の文脈において、非線形スカラー化の下でパレートフロントの密で、安定し、連続的な被覆を提供する単一の深層方策を学習するという課題に取り組みます。

手法

1. 理論的基盤：滑らかなチェビシェフ（STCH）スカラー化

著者らは、スカラー化のための単調効用関数として滑らかなチェビシェフ（STCH）効用関数を採用します。非滑らかなチェビシェフノルムとは異なり、STCH は滑らかパラメータ $\tau$ によって制御される log-sum-exp 近似を使用します。

• 一意性と最適性：有限状態・行動空間を持つ割引 MOMDP において、達成可能な目的集合 $\mathcal{J}$ は凸多面体です。著者らは、任意の厳密に正の選好ベクトル $\omega$ に対して、STCH によって誘導される最適目的ベクトル $J_\omega$ が一意であり、かつパレート最適であることを証明しました。
• リプシッツ連続性：決定的に重要なのは、選好単体内部における写像 $\omega \mapsto J_\omega$ がリプシッツ連続であることを証明した点です。この理論的保証により、選好の微小な変化が目標目的の微小かつ安定した変化をもたらすことが保証され、パレートフロントの密な被覆のための選好掃引の使用が正当化されます。

2. アルゴリズム：凹ミラー降下方策反復（CMDPI）

生じる非線形スカラー化された問題を目的関数を変更せずに解くために、著者らは占有測度（$\mu$）上での最適化を定式化します。

• ミラー降下定式化：負の条件付きエントロピーを距離生成関数として用い、占有測度空間におけるミラー降下アルゴリズムを導出します。これにより、目的の非最適性に対して$O(1/k)$ の収束率が得られます。
• 方策反復の解釈：占有空間におけるブレグマン発散と方策空間における KL 発散との対応関係を利用することで、更新が、直前の方策を参照として機能させるKL 正則化 MDPを解くことと等価であることが示されます。
  • ソフトベルマン評価：方策評価ステップは、ソフトベルマンの不動点を解きます。
  • 乗法的方策改善：方策改善ステップは、ソフト Q 値に基づき指数関数的な再重み付け（乗法的重み）によって方策を更新します。
• 有限ステップ連続性：重要な理論的貢献として、表形式設定において、初期化が連続で完全な支持を持つ場合、任意の有限反復 $k$ における方策 $\pi_k$ が選好 $\omega$ に対して連続であることの証明があります。これは、そのような正則性を検証なしに仮定することが多い従来の単一ネットワークアプローチとは対照的です。

3. 深層実装：PCSAC

著者らは、CMDPI 更新を深層、モデルフリーおよびモデルベースのアクター・クリティックアルゴリズムであるPCSAC（Pareto Coverage Soft Actor-Critic）に具体化しました。

• アーキテクチャ：クリティック $Q_\phi(s, a, \omega)$ は $m$ 次元ベクトルを出力し、アクター $\pi_\theta(s, \omega)$ は行動の分布を出力します。
• 学習：このアルゴリズムは、ソフト・アクター・クリティック（SAC）に似たオフポリシー最適化を使用します。クリティックは、ベクトル目標に対する二乗ベルマン残差を最小化します。アクターは、$\pi_k \exp(Q/\alpha)$ に比例する目標分布への KL 発散を最小化することで更新され、実質的にミラー降下ステップを実装します。
• ユートピア点推定：STCH に必要なユートピア点 $I$ は深層設定では未知であるため、著者らは報酬パーセンタイルの指数移動平均を用いたオンライン推定手順を提案しました。

主な貢献

1. STCH の理論的保証：表形式 MOMDP における STCH スカラー化の下では、最適目的ベクトルが一意かつパレート最適であり、選好から解への写像がリプシッツ連続であることを確立しました。これは、選好掃引による密なパレートフロント被覆のための原理的な基盤を提供します。
2. CMDPI アルゴリズム：目的変形なしに非線形スカラー化された問題を解く、占有測度空間における $O(1/k)$ 収束するミラー降下アルゴリズムを導出しました。
3. 方策反復の同等性と連続性：更新を等価な方策反復形式で書き直し、有限反復における $\omega$ 連続性の証明を含む深層選好条件付き学習の理論的動機を提供しました。
4. 実証的性能：離散および連続制御タスクの両方において、提案手法が最近のベースライン（LS, CAPQL, PreCo, C-MORL）と比較して、パレートフロント近似の質（ヒューパーボリュームで測定）と期待効用性能において優れていることを実証しました。

実験結果

著者らは、8 つの離散行動タスクと 8 つの連続行動タスクを含む MO-Gymnasium 課題で手法を評価しました。

• 表形式計画：制御された玩具 MOMDP において、CMDPI は、頂点のみをヒットする線形スカラー化や、偏った被覆を示した CAPQL と比較して、はるかに均一で密な被覆を持つパレート最適解を回復しました。
• 離散行動タスク：8 つの MO-Gymnasium ベンチマークにおいて、CMDPIはヒューパーボリューム（HV）と期待効用指標（EUM）の両方で最良の平均順位を達成しました。PCSACも HV において線形スカラー化および CAPQL を上回りました。
• 連続行動タスク：8 つの MuJoCo タスクにおいて、モデルベース変種のPCSAC-MBは HV と EUM の両方で最良の平均順位を達成し、線形スカラー化ベースライン（CAPQL-MB）および他の最先端 MORL 手法を上回りました。モデルフリー変種のPCSAC-MFも、特に HV において強力な性能を示しました。
• ロバスト性：感度分析により、これらの手法がユートピア点推定および温度/滑らかパラメータの変動に対してロバストであることが示されました。

意義と主張

本論文は、線形スカラー化の理論的安定性と非線形手法の被覆能力の間のギャップを埋めることを主張しています。STCH によって誘導される解の一意性とリプシッツ連続性を証明することで、著者らは単一の深層ネットワークを用いてパレートフロントを密かつ安定して被覆するための厳密な基盤を提供します。

その意義は以下の点にあります：

• 原理的な密な被覆：ヒューリスティックな選好掃引を超え、安定性と被覆密度の理論的保証を持つ手法へと移行すること。
• アルゴリズムの明確さ：ミラー降下、KL 正則化 MDP、および非線形 MORL の間の明確な関連性を提供し、方策反復に対する新たな視点を提供すること。
• 実用的有効性：これらの理論的洞察が、特にモデルベース設定におけるサンプル効率において、離散および連続制御ドメインの両方で最先端のパフォーマンスに変換されることを実証すること。

著者らは、理論的分析が現在表形式設定に限定されており、関数近似へのこれらの保証の拡張は今後の研究の未解決の方向性であると謙虚に指摘しています。また、分析は滑らかで厳密に凹な効用に依存しており、他の効用クラスにおける挙動は未探索であることを認めています。