技術的概要：行動としての分布：多様な行動空間のための統合フレームワーク

問題定義

強化学習（RL）アルゴリズムは、従来、特定の行動空間構造に対する適合性によって分類されてきた。価値ベースの手法（例：DQN）は、行動値を列挙することで離散空間において優位性を発揮するのに対し、方策ベースの手法（例：DPG、SAC）は、行動価値関数の微分可能性を活用するように設計され、連続空間向けである。しかし、現在のアルゴリズムは依然として、行動空間の特定の構造と密接に結合したままとなっている。離散、連続、およびハイブリッドな行動空間にわたって一般化する統合アルゴリズムを設計することは困難であり、なぜなら各ドメインに対して異なる勾配推定量やアーキテクチャが必要とされることが多いためである。さらに、LR（尤度比）法や RP（再パラメータ化）法などの確率的方策に対する既存の方策勾配推定量は、特に離散的な設定において、高い分散やバイアスの導入に悩まされることが多い。

手法

行動としての分布（DA）フレームワーク

本論文は、エージェントと環境の境界を再定義する新たな定式化を導入する。古典的な RL フレームワークでは、エージェントの方策 $\pi_\theta$ が行動（または分布のパラメータ）を出力し、内部で行動をサンプリングする。提案される**行動としての分布（DA）**フレームワークでは以下の通りである：

1. エージェントは、その行動として分布パラメータ $\bar{\pi}_\theta(s)$（例えば、ガウス分布の平均と分散、カテゴリカル分布の確率ベクトル）を出力する。
2. サンプリング過程 $A \sim f(\cdot|\bar{\pi}_\theta(s))$ は、環境の確率的遷移関数の一部として扱われる。

この変換により、元の行動空間 $\mathcal{A}$（離散、連続、またはハイブリッドのいずれかであり得る）は、連続的な分布パラメータ空間 $\mathcal{U}$ に変換される。その結果、エージェントは、$\mathcal{A}$ の本質的な性質に関わらず、連続的な行動空間 $\mathcal{U}$ を持つ新しいマルコフ決定過程（DA-MDP）内で動作することになる。

行動としての分布方策勾配（DA-PG）

DA-MDP に基づき、著者らはDA-PG推定量を導出した。連続的なパラメータ空間 $\mathcal{U}$ に決定性方策勾配（DPG）定理を適用することで、以下の勾配推定量が得られる：
$$\hat{\nabla}_\theta \hat{J}(\bar{\pi}_\theta; S_t) = \nabla_\theta \bar{\pi}_\theta(S_t)^\top \nabla_U \bar{Q}_w(S_t, U)|_{U=\bar{\pi}_\theta(S_t)}$$
ここで、$\bar{Q}_w$ はパラメータ $U$ によって定義される行動分布上の期待リターンを推定するクリティックである。

理論的性質：

• 分散低減： 本論文は、DA-PG が LR 推定量と RP 推定量の両方の条件付き期待値であることを証明している。全分散の法則により、行動条件付きまたはノイズ誘発的な分散がゼロでない限り、これは元の推定量よりも厳密に低い分散をもたらす。
• 統合： 分布がデルタ関数である場合、DA-PG は標準的な DPG 推定量に正確に帰着し、厳密な一般化として確立される。

補間クリティック学習（ICL）

DA フレームワークにおける課題として、クリティック $\bar{Q}_w$ は（分布パラメータのような）高次元の入力空間で学習する必要があり、これが困難であり、クリティックが不正確な場合にはバイアスの増大を招き得る。これを解決するため、著者らは**補間クリティック学習（ICL）**を提案する。

• メカニズム： サンプリングされた分布パラメータ $U_t$ でのみクリティックを更新するのではなく、ICL は観測された行動 $A_t$ を利用して、その遷移が他の分布パラメータによって生成され得たことを推論する。
• 実装： クリティックは、補間点 $\hat{U}_t = \omega_t U_t + (1-\omega_t) U_{A_t}$ において更新される。ここで、$U_{A_t}$ は観測された行動 $A_t$ に対応する決定論的パラメータを表し、$\omega_t \sim \text{Uniform}[0, 1]$ である。
• 目的： これにより、クリティックは有益な曲率を持つ滑らかな価値ランドスケープを学習することが促され、パラメータ空間におけるより良い方策最適化を可能にする。

DA-AC アルゴリズム

著者らは、TD3 アーキテクチャに基づいた実用的な深層 RL アルゴリズム、**行動としての分布アクタ・クリティック（DA-AC）**を実装した。DA-AC は、アクタに対して DA-PG 推定量を、クリティックに対して ICL 更新を取り入れることで、単一のアルゴリズムが多様な行動空間を処理することを可能にする。

主要な貢献

1. 統合フレームワーク： 分布パラメータを行動として扱う RL 問題の再パラメータ化により、離散、連続、およびハイブリッドな制御を単一の連続行動アルゴリズムの下で統合する。
2. DA-PG 推定量： 標準的な LR および RP 推定量よりも理論的に低い分散を持つ一般化された方策勾配推定量であり、任意の行動空間タイプに適用可能である。
3. ICL 戦略： 補間による分布外更新を活用して、DA フレームワークにおけるクリティック学習を改善する、シンプルかつ効果的な手法。
4. 実証的検証： 専門的なベースラインと比較して、連続、離散、およびハイブリッド制御のベンチマークにおいて、DA-AC が競争力のある、あるいは優れた性能を達成することを示す包括的な評価。

実験結果

本論文は、DA-AC を 4 つの異なる設定で評価している：

• 連続制御： MuJoCo および DeepMind Control Suite のタスクにおいて、DA-AC は競争力のある性能を達成し、特に高次元環境では TD3 や他のベースラインを上回る場合が多い。
• 離散制御： Gym の古典的制御および MinAtar 環境において、DA-AC は DQN や他の強力な離散ベースラインと同等の性能を発揮する。
• 高次元離散制御： 連続制御タスクの離散化バージョン（例：17 次元を 7 バインに離散化された Humanoid-v4）において、DA-AC は、他の手法が組み合わせ爆発や高い分散に苦しむ ST-AC、LR-AC、PPO などのベースラインを大幅に上回る。
• ハイブリッド制御： パラメータ化行動 MDP（PAMDP）において、DA-AC は PATD3 や PDQN などの専門アルゴリズムに対して競争力のある結果を達成する。

アブレーション研究：
バンディット設定および高次元離散制御における実験は、ICL を除去した場合（DA-AC w/o ICL）の性能が著しく低下することを示しており、DA フレームワークにおいて効果的なクリティックを学習するために ICL が不可欠であることを確認している。

意義と主張

本論文は、行動としての分布フレームワークが、学習アルゴリズムを行動空間の特定の構造から原理的に切り離す方法を提供すると主張している。エージェントと環境の境界をシフトさせることで、離散およびハイブリッドな問題に対して低分散かつ決定論的スタイルの勾配手法を適用することが可能になる。著者らは、このアプローチが以下の点で重要であると強調している：

• 離散分布に対する最初の不偏かつ低分散の再パラメータ化スタイル推定量を提供する。
• ドメイン固有のアーキテクチャ変更を必要とせずに、多様な制御設定を処理できる単一のアルゴリズムフレームワーク（DA-AC）を可能にする。
• サンプリングを環境の一部として扱うことが学習を単純化し、特に複雑なハイブリッド行動空間に対して新たなアルゴリズム的視点を開くことを示している。

この研究は、将来の研究においてこのフレームワークをモデルベース手法、階層的制御、より高度なクリティック学習戦略に拡張できる可能性を示唆しているが、現在の貢献は、DA-AC アルゴリズムとその実証的成功を通じて、このフレームワークの実用性を確立することに焦点を当てている。