技術サマリー：非マルコフ性強化学習のための方策勾配法

問題定義

強化学習（RL）は伝統的にマルコフ決定過程（MDP）の枠組みに依存しており、ダイナミクスと報酬が現在の状態と行動のみに依存すると仮定しています。しかし、部分的に観測可能なシステム、対話エージェント、レコメンデーションシステム、金融市場など、多くの現実世界の環境は本質的に**非マルコフ性決定過程（NMDP）**です。これらの設定では、観測と報酬は相互作用の履歴全体に依存します。

履歴全体を直接条件付けることは、履歴空間が指数関数的に増大するため、計算的に困難です。既存のアプローチは履歴を圧縮しようと試みますが、しばしば以下の限界に直面します：

• 固定ダイナミクス： 一部の方法は、エージェントの内部状態ダイナミクスが固定であると仮定し、制御方策のみを最適化します（例：Dong et al., 2022）。
• 予測目的： 他の方法は、補助的な予測目的（例：将来の観測の予測）を最適化することで状態表現を学習しますが、高次元の表現を必要とする可能性があり、累積報酬の最大化という究極の目標と直接整合しない場合があります（例：Subramanian et al., 2022）。

本論文は、固定ダイナミクスや中間的な予測目的に依存することなく、NMDP においてコンパクトな状態表現と制御方策を同時に学習する課題に対処します。

手法

エージェント状態マルコフ（ASM）方策

著者はエージェント状態マルコフ（ASM）方策というクラスを導入します。この枠組みにおいて、エージェントは内部状態 $S_t$ を維持し、これを前の状態、前の行動、現在の観測に基づいて再帰的に更新します：
$$S_t \sim \nu_t(\cdot \mid S_{t-1}, A_{t-1}, O_t)$$
制御方策 $\phi$ は、現在のエージェント状態を行動にマッピングします：
$$A_t \sim \phi_t(\cdot \mid S_t)$$
対 $(\nu, \phi)$ が ASM 方策を構成します。重要なのは、著者が $\nu$ を固定したり予測を通じて学習したりするのではなく、状態ダイナミクス $\nu$ と制御方策 $\phi$ の両方のパラメータを、期待累積報酬を最大化するために同時に最適化することを提案している点です。

理論的貢献

本論文は、エピソード型および無限時間割引 NMDP の両方に対して古典的な結果を拡張する、ASM 方策のための方策勾配定理を確立します。

1. 勾配式： パラメータ化された ASM 方策 $\pi_\theta$ に対して、期待リターン $J(\theta)$ の勾配は以下のように導出されます：
   $$\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta} \left[ \sum_{t} R_{t:\infty} \nabla_\theta \log \pi_\theta(S_t, A_t \mid S_{t-1}, A_{t-1}, O_t) \right]$$
   ここで、$R_{t:\infty}$ は将来のリターン（リワード・トゥ・ゴー）を表します。
2. 因数分解： ASM 方策の構造により、対数確率項は状態ダイナミクスと制御方策に因数分解されます：
   $$\nabla_\theta \log \pi_\theta = \nabla_\theta \log \nu_\theta + \nabla_\theta \log \phi_\theta$$
   これにより、状態表現と方策を個別かつ同時に更新することが可能になります。
3. 収束保証： 標準的な滑らかさと有界性の仮定の下で、著者は以下を証明します：
   • 有限時間収束： エピソード型タスクにおいて、時間平均された二乗勾配ノルムは $\tilde{O}(H^{3.5}/\sqrt{K})$ の速度で収束します（ここで $H$ は時間範囲、$K$ は反復回数です）。
   • 概収束： 減少するステップサイズを用いる場合、勾配ノルムは確率 1 でゼロに収束します。
   • 同様の保証が、有効な時間範囲が割引率 $\gamma$ によって決定される無限時間割引設定についても確立されています。

アルゴリズム：ASMPG

勾配定理に基づき、著者は**エージェント状態マルコフ方策勾配（ASMPG）**アルゴリズムを提案します。これはオンライン型の REINFORCE 風アルゴリズムであり、以下の処理を行います：

• 現在の ASM 方策を使用して軌道をサンプリングします。
• エージェント状態の再帰的構造を用いて勾配推定量を計算します。
• 確率的勾配上昇を用いて、状態ダイナミクスネットワークと方策ネットワークの両方のパラメータを更新します。

実験結果

著者は ASMPG を 5 つの非マルコフ性環境で評価しました：

1. CheeseMaze： 重複した観測を持つ部分的に観測可能なナビゲーションタスク。
2. HallwayNavigation： 局所的な壁の配置が曖昧な決定論的迷路タスク。
3. HealthcareTreatment： 隠れた毒性と耐性変数を持つ治療計画タスク。
4. MachineRepair： 機械の劣化に影響を与える隠れた摩耗レベルを持つ保守タスク。
5. VelocityOnlyCartPole： 位置ではなく速度のみが観測される制御タスク。

比較： ASMPG は、予測目的（近似情報状態）を通じて状態表現を学習する AIS-KL および AIS-MMD（Subramanian et al., 2022）と比較されました。

知見：

• 5 つの環境すべてにおいて、ASMPG は予測ベースラインと比較して、ステップあたりまたはエピソードあたりの平均報酬をより高く達成しました。
• 性能差は、CheeseMaze、MachineRepair、VelocityOnlyCartPole など、長期的な記憶を必要とするタスクで特に顕著でした。
• 結果は、予測的十分性のために最適化するよりも、報酬目的のために状態ダイナミクスを直接最適化する方が効果的であることを示唆しています。

意義と主張

本論文は、非マルコフ性 RL に対する報酬中心の定式化を主な貢献であると主張しています。エージェント状態ダイナミクスを制御方策と同時に最適化される学習可能なコンポーネントとして扱うことで、この手法は補助的な予測目的や固定された状態表現の必要性を回避します。

主な主張には以下が含まれます：

• 理論的妥当性： 一般的な NMDP に対する方策勾配定理の導出は、古典的な MDP の結果を拡張し、同時最適化のための厳密な基盤を提供します。
• 実用的有効性： 実証結果は、表現サイズが同等であっても、予測的状態表現に依存する手法よりも、報酬中心の同時最適化が優れていることを示しています。
• 最適性条件： 本論文は、「理想的な」エージェント状態ダイナミクスが存在する場合（報酬と将来の観測に対する十分統計量であるもの）、ASM 方策への探索を制限しても最適性の損失が生じないことを指摘しています。

著者は、提案された手法が REINFORCE 型の推定量に依存しており、高い分散の影響を受ける可能性があることを認めています。分散を低減しつつ報酬中心の目的を維持するため、ASM 方策に対するアクター・クリティック派生手法の開発を、将来の作業の自然な方向性として特定しています。