CIG: Exploration via Conditional Information Gain

技術的概要：CIG：条件付き情報ゲインによる探索

問題定義
希薄または遅延する外発的報酬を伴う強化学習（RL）において、エージェントは探索のために内発的動機に依存しなければならない。効果的な探索には、環境のダイナミクスに関する情報を提供する遷移を特定することが必要である。しかし、既存の内発的報酬手法は、コンテキストをどのように利用するかにおいて根本的なトレードオフに直面している：

• 生涯報酬（アンサンブルの不一致、予測誤差など）は、蓄積されたリプレイバッファを条件とする。これらは、現在の軌道がすでにそのギャップを探索しているかどうかに関わらず、モデルのギャップを調査するすべての遷移にクレジットを割り当てる。これにより、単一のロールアウト内で冗長性が生じる（例えば、迷路において同じ不確実な廊下を繰り返し訪問する）。
• エピソード報酬（カウントベース、到達可能性ボーナスなど）は、現在のロールアウト接頭辞を条件とする。これらは軌道内の反復を罰するが、生涯の進捗は無視する。モデルベース RL（方策が短い「想像上の」ロールアウト $T \approx 15$ 上で最適化される）において、接頭辞は冗長性の修正のための豊かな信号を提供するにはしばしば短すぎる。
• ハイブリッド手法は、ヒューリスティックな重み通过这些信号を組み合わせようと試みるか、ガウス過程（GP）ダイナミクスに依存するが、これらは高次元の状態空間にはスケーリングしない。
• **軌道レベルの情報ゲイン（IG）**は、バッファと接頭辞の両方を同時に条件とする原理的な目的関数を提供する。しかし、正確な IG を計算するにはモデルパラメータの事後分布を周辺化する必要があり、これは深層ニューラルネットワークでは扱いにくい。

手法：条件付き情報ゲイン（CIG）
著者らは、リプレイバッファとロールアウト接頭辞の両方を条件としながら、高次元潜在空間にスケーリング可能な、軌道レベルの情報ゲインに対する計算可能な代理指標である**条件付き情報ゲイン（CIG）**を導出した。

1. 定式化: 目的は、リプレイバッファ $D$ を与えた場合のモデルパラメータ $w$ と軌道 $s_{1:T}$ の間の相互情報量を最大化することである：$I(w; s_{1:T} | D)$。連鎖律を用いると、これはステップごとの項 $I(w; s_t | s_{<t}, D)$ に分解される。
2. 近似:
   • アンサンブル事後分布（A1）: 事後分布 $p(w|D)$ は、$M$ 個の独立して訓練されたアンサンブルメンバー上の一様分布によって近似される。
   • マルコフ・ガウスダイナミクス（A2）: 各アンサンブルメンバーは、共有された等方性のアルエトリック共分散 $\sigma^2 I_d$ を持つガウス分布として次の潜在状態を予測する。
   • モーメントマッチングガウス（A3）: アンサンブル予測の混合エントロピーは、一致する平均と共分散を持つガウス分布のエントロピーによって上から抑えられる。
3. ランク飽和のボトルネック: 完全なエピステミック共分散行列 $\Sigma$（サイズ $Td \times Td$）の対数行列式を最大化することは、共分散のランクがアンサンブルサイズ（$M-1$）によって制限されるため、高次元では失敗する。典型的な値（$M=5, d=200$）の場合、単一の観測が報酬信号を飽和させ、後続のステップにクレジットを残さない。
4. トレース削減（設計選択 D1）: 容量ボトルネックを解決するために、著者らはエピステミック共分散の各 $d \times d$ ブロックをそのトレースに縮約する。これにより、$K \in \mathbb{R}^{T \times T}$ のカーネルが得られ、ここで $K_{jt} = \frac{1}{M} \sum_k (\delta^{(j)}_k)^\top \delta^{(t)}_k$ であり、$\delta$ はアンサンブルメンバーの平均からの偏差を表す。これにより、有効容量は $M-1$ から $\min(T, (M-1)d)$ に向上する。
5. ステップごとの分解: 軌道目的 $\tilde{J} = \log \det(K + \sigma^2 d I_T)$ は、コレスキー分解（$L L^\top = \tilde{K}$）を用いて因果的なステップごとの報酬に分解される。ステップ $t$ の報酬は以下の通りである：
   $$r_t = \log \left( K_{tt} + \sigma^2 d - k_{<t}^\top \tilde{K}_{<t}^{-1} k_{<t} \right)$$
   • 生涯項（$K_{tt}$）: 標準的なアンサンブルの不一致（バッファ条件）。
   • 接頭辞冗長項（$k_{<t}^\top \tilde{K}_{<t}^{-1} k_{<t}$）: 二次形式であり、ロールアウト内の先行ステップによってすでに説明されたステップ $t$ における不一致の部分を差し引く。
   • アルエトリックリッジ（$\sigma^2 d$）: 訓練の残差から事後に推定されるフロアであり、不可避なノイズによる報酬の消失を防ぐ。

主要な貢献

• CIG 報酬: 軌道レベルの情報ゲインの対数行列式代理指標から導出された、計算可能なステップごとの内発的報酬。これは、訓練されたアンサンブルを通じてリプレイバッファを、コレスキー分解を通じてロールアウト接頭辞を同時に条件とする。
• ランク飽和分析: 有限アンサンブル代理指標における容量ボトルネックの特定と、完全な共分散推定を必要とせずに有効容量を回復するためのトレース削減手法の導出。
• 確率的な妨害要因に対する頑健性: カウントベースまたは生予測誤差手法とは異なり、アンサンブルのアルエトリックスケールを通じて行動依存の確率的ノイズ（ノイズ TV）を自然にフィルタリングする。

実験結果
著者らは、離散（MiniGrid）および連続制御（OGBench）ドメインの 12 タスク、クリーン版および確率的妨害要因（ノイズ TV）変種を含むタスクで CIG を評価した。評価には、探索の質を分離するための報酬フリープロトコルが使用された。

• 性能: CIG は、大部分のタスクにおいてすべてのベースライン（Plan2Explore、RND、ICM、APT、E3B、および E3B $\times$ P2E を含む）を上回ったか、同等の性能を示した。集計統計（四分位数平均）において、CIG は他のすべての手法に対して重なりのない信頼区間を持つ最高スコアを達成した。
• ノイズ TV への頑健性: 行動依存の確率的妨害要因を伴う環境において、生予測誤差に依存する手法（ICM、RND、APT）はほぼゼロの成功率に崩壊した。アンサンブルフィルタリングにより CIG と Plan2Explore（P2E）は頑健であったが、CIG は一貫して P2E を上回り、接頭辞の冗長性修正が単なる不一致を超えた追加の価値を提供することを示した。
• アブレーション: トレース削減を除去すると、報酬が直ちに飽和し、探索が停止した。接頭辞冗長項を除去するとサンプル効率が低下し、この修正がロールアウト内の相関するステップの過剰カウントを防ぐことを確認した。
• エントロピーと成功率: APT や E3B のような手法はより高い状態訪問エントロピーを達成したが、これはタスクの成功と相関しなかった。CIG はより低いエントロピーで高い成功率を達成し、標的とした不確実性の低減（有益なフロンティアの探索）が均一なカバレッジよりも効果的であることを示した。

意義と主張
本論文は、CIG が生涯およびエピソード的な探索信号をヒューリスティックに結合する必要がないことを実証していると主張している。代わりに、それらは単一の情報理論的目的関数から共同して現れる。対数行列式代理指標のコレスキー分解は、両方の条件付けセットを保持する因果的なステップごとの報酬を自然に生成する。

著者らは、CIG が問題構造全体にわたって頑健であることを強調している。すなわち、確率的環境では不可避なノイズをフィルタリングし、決定論的な環境では構造化された報酬を提供する。CIG はすべての単一タスクを支配するわけではない（例えば、APT はクリーンな ObstructedMaze でより良好なパフォーマンスを示した）が、テストされたすべての条件で劣化を回避する唯一の手法である。この研究は、短い想像上のロールアウトを伴うモデルベース RL に限定されている。著者らは、$O(T^3)$ のコレスキーコストと $T \times T$ カーネルの保存が、長_horizon のモデルフリーエピソードに対して禁欲的になる可能性があると指摘し、スライディングウィンドウまたは低ランク近似を将来の課題として提案している。