技術要約：Informed Asymmetric Actor-Critic

問題提起

部分観測環境における強化学習（RL）は、通常、エージェントが不完全でノイズを含む観測履歴に基づいて意思決定を行う部分観測マルコフ決定過程（POMDP）として定式化される。標準的なRL手法は、履歴依存型のポリシーを学習すること（多くの場合、リカレントニューラルネットワークを使用）によってこれに適応するが、これらは訓練時と実行時の両方で同一の観測可能性を想定している。この仮定は、しばしば不必要に制約的である。なぜなら、多くの訓練環境（例：シミュレータ）は、デプロイ時には利用不可能な「特権的」情報（例：フル状態へのアクセス、エキスパート・ポリシー、マルチビューの感覚入力など）を提供しているからである。

既存の非対称アクター・クリティック（Asymmetric Actor-Critic）手法は、クリティックをフル状態に条件付ける一方で、アクターは観測のみに依存することで、この特権的情報を活用しようと試みている。しかし、これらの手法は一般に、訓練中にフル環境状態へのアクセスができることを前提としている。この要件は実用上、非現実的であることが多い。実際には、部分的または任意の状態依存信号のみが利用可能である場合が多いからである。さらに、非対称な設定において（フル状態を超えた）任意の特権的信号を使用することに対する理論的な正当性は十分に探求されておらず、バイアスを導入することなく、いかにして信号を選択し活用するかという理解にギャップが残されている。

手法

Informed Asymmetric Actor-Critic (IAAC) フレームワーク

著者らは、Informed Asymmetric Actor-Critic (IAAC) フレームワークを導入し、クリティックがフル状態へのアクセス ($s_t$) を必要とするのではなく、任意の状態依存の特権的信号 ($i_t$) に条件付けられるように非対称アクター・クリティック手法を一般化した。

1. Informed POMDP 定式化: 「Informed POMDP」の概念に基づき、著者らは訓練時に情報変数 $i_t$ が利用可能であるフレームワークを定義する。観測 $o_t$ は、$i_t$ が与えられたとき、真の状態 $s_t$ と条件付き独立である。これにより、アクターは観測と行動の履歴 ($h_t$) に制約される一方で、クリティックは $i_t$ にアクセスすることが可能となる。
2. Informed History-Based Value Functions: 著者らは、インフォームド・ヒストリーベースのQ関数 $Q^\pi(h_t, i_t, a_t)$ および対応する価値関数 $V^\pi(h_t, i_t)$ を定義する。これらの関数は特権的信号 $i_t$ に条件付けられているが、標準的なヒストリーベースの対応物 ($Q^\pi(h_t, a_t)$ および $V^\pi(h_t)$) の不偏推定量であることが証明されている。
3. 不偏ポリシー・グラディエント: 中心的な理論的貢献は、インフォームド・クリティック（$i_t$ に条件付けられたもの）を用いて計算されたポリシー・グラディエントが、標準的なポリシー・グラディエントと等価であることを証明した定理 3.1 である。具体的には、任意の状態条件付き信号 $i_t$ について、インフォームド非対称ポリシー・グラディエントは標準的なグラディエントと一致する：
   $$\nabla^{IAAC}_\theta J(\pi_\theta) = \nabla_\theta J(\pi_\theta)$$
   この結果は、POMDPが状態デコーダブル性（state-decodability）のような追加の仮定を満たす必要なく成立する。これは、特権的信号を使用することで、最適化の方向をバイアスさせることなく、状態を判別（disambiguate）することによって価値推定の分散を減少させられることを意味している。

信号選択のための情報性基準

任意の状態条件付き信号は不偏のグラディエントをもたらすため、課題は最も情報量の多い信号を選択することへと移行する。本論文では、価値推定に関する特権的信号 $i_t$ の有用性を評価するための2つの新しい基準を提案している。

1. $\alpha$-Residual Informativeness (事前訓練): この基準は、$i_t$ が観測可能な履歴と行動のペア $(h_t, a_t)$ に既にエンコードされている以上の情報を将来のリターン ($G_t$) について提供しているかどうかをテストする。これには以下が含まれる：

   • 回帰モデル（例：ランダムフォレストやRNN）を用いて、条件付き平均 $E[G_t|h_t, a_t]$ および $E[i_t|h_t, a_t]$ を推定する。
   • 残差 $e_{G_t}$ および $e_{i_t}$ を計算する。
   • Hilbert-Schmidt 独立性基準（HSIC）などの指標を用いて、これらの残差間の統計的依存関係をテストする。
   • 独立性の帰無仮説が棄却された場合、その信号は情報的であるとみなされる。このテストは、訓練前の任意の探索的ポリシー（例：ランダム）によって収集されたデータに対して実行できる。

2. $(\epsilon, \delta)$-Prediction Informativeness (事後解析): この基準は、$i_t$ を含めることが価値関数の予測精度を向上させるかどうかを評価する。対称的なクリティック（$h_t$ のみを使用）の二乗誤差と、インフォームド・クリティック（$h_t$ と $i_t$ を使用）の二乗誤差を比較する。$i_t$ の導入によって予測誤差の有意な減少（正の利得）が得られる場合、その信号は情報的であるとされる。

主な結果

ベンチマーク性能

著者らは、12の部分観測ベンチマーク（Baisero & Amato, 2022 による6つのナビゲーションタスク、および6つの POPGym スイート）において IAAC を評価した。

• 性能: インフォームド非対称アクター・クリティックは、一貫して対称的なベースライン（A2C）と同等またはそれを上回り、フル状態へのアクセスに依存する非対称ベースライン（asym-A2C-hs）をも上回ることが多かった。
• 効率性: いくつかの環境（例：Car-Flag, Shopping-5）において、本手法はフル状態の非対称バリアントよりも速く収束し、より高い漸近リターンを達成した。これは、厳密に少ない状態情報に依存しているにもかかわらずである。
• 安定性: 本手法は、高次元または部分観測の設定において、パフォーマンスの低下や収束の問題に苦しむことがある対称的なアプローチと比較して、より高い訓練安定性を示した。

情報性基準の検証

既知のリワード構造を持つ合成インフォームドPOMDPを用いて、選択基準を検証した。

• 性能との相関: リワードに直接関連する特徴量（例：リワードを決定する特定の状態次元）を含む信号は、両方の基準によって一貫して情報的であると特定された。
• 冗長性の検出: 冗長または無関係な特徴量のみを含む信号は、正しく情報的でないと特定された。
• フル状態 vs. 情報的サブセット: 実験の結果、フル状態へのアクセスが、もしその状態にノイズや無関係な特徴量が含まれている場合、必ずしも最良の性能をもたらすわけではないことが示された。慎重に選択された特権的信号のサブセットは、フル状態のベースラインを上回ることができる。
• 堅牢性: 基準はノイズの多い観測条件下でも効果的に機能し、リターンの分散を説明する能力に基づいて信号を正しくランク付けした。

意義と主張

本論文は、非対称強化学習のパラダイムを、フル状態情報へのアクセスに焦点を当てたものから、情報的な訓練時信号の選択へとシフトさせることを主張している。

• 理論的一般化: 本研究は、任意の状態条件付き特権的信号を使用することの最初の理論的正当化を提供し、その使用が不偏のポリシー・グラディエントを維持することを証明した。これにより、フル状態クリティックに限定されていた従来の作業（例：Baisero & Amato, 2022）を一般化した。
• 実用的有用性: 慎重に選択された部分的な信号が、フル状態の性能に匹敵、あるいはそれを超えることができることを示すことで、本論文は、効果的な非対称学習にはフル状態へのアクセスが不可欠であるという仮定に疑問を投げかけている。
• 体系的な選択: データ駆動型の信号選択基準の導入は、特権情報の「次元の呪い」に対処するための原理的なアプローチを提供する。これにより、実務者は手動の機能エンジニアリングを行うことなく、有用な補助信号を特定できる。

著者らは、本フレームワークが、部分観測設定における学習を促進するために、特権的情報をどのように選択、評価、および統合するかを研究するための新しい方向性を切り開くと結論付けており、今後の課題として、エンドツーエンドの信号選択や、信号の複雑さを学習ループに統合することなどが挙げられている。