技術要約：リトライによる方策勾配強化学習における探索の創発

1. 問題提起

強化学習（RL）において、探索は通常、報酬信号に明示的なボーナス（エントロピー、好奇心、またはカウントベースのボーナスなど）を加えるか、事後サンプリング手法を用いることによって駆動される。著者らは、これとは異なるメカニックを提唱する。すなわち、探索は「リトライ（やり直し）」を通じて、不確実性の下で報酬を最大化しようとするエージェントの必要性から自然に創発すべきであるというものである。

核心となる直感は、エージェントがアクションをリトライしたり、類似した状態に遭遇したりできる環境においては、単一の試行における期待報酬のみを考慮する貪欲な方策は最適ではない、という点にある。リトライの機会がない場合、合理的な選択は現在最も高い報酬が得られると信じられているアクションを選択することである。しかし、不確実性が存在する条件下では、不確実性に備えて代替のアクションを探索する方策の方が、複数回の試行における「期待最大値（expected maximum）」の高いリターンを達成できる。既存の手法は、不確実性を推定したりボーナスを構築したりするために複雑な補助モデルを必要とすることが多いが、本論文は、リトライの価値を定式化した報酬ベースの目的関数を最適化することのみによって、探索を誘発できるのではないかと問いかけている。

2. 手法

2.1 ReMax 目的関数

著者らは、単一の試行における期待リターンではなく、$M$ 個の独立したサンプル（試行）における期待最大値を評価する目的関数である ReMax (Retry Maximum) を提案する。

アクション値 $\mu$ と、これらの値に関する分布 $\Pi$（エピステミックな不確実性を表す）を持つバンディット設定において、ReMax 目的関数は以下のように定義される：
$$J^M_{\text{ReMax}}(\pi) := \mathbb{E}_{\mu \sim \Pi} \left[ \mathbb{E}_{A^{[M]} \sim \pi} \left[ \max_{m \in [M]} \mu_{A_m} \mid \mu \right] \right]$$
ここで、$A^{[M]}$ は方策 $\pi$ からの $M$ 個の独立したドローを表す。

• メカニズム: $M$ 回のドローの期待最大値を最大化することで、この目的関数は、たとえ現在の推定平均値が最大ではなくても、高い報酬をもたらす可能性のあるアクションに確率質量を割り当てるよう方策を促す。これにより、不確実性をヘッジするための確率的な挙動（探索）が創発的な特性として誘発される。
• 決定論的なケース: 固定された報酬であっても、ReMax は目的関数の幾何学的構造を再形成する。リトライパラメータ $M$ を大きくすると、最適解付近の勾配が平坦になり、収束が遅くなる一方で探索が持続し、逆に $M$ が小さいと更新が加速する。

2.2 RL（MDP）への拡張

ReMax をマルコフ決定過程（MDP）に拡張するには、以下の課題がある：

1. 不確実性の単位: RL における不確に性は、環境全体（報酬と遷移の両方）に及ぶ。
2. リトライの実現可能性: 同じ状態から複数のアクションをリトライするために物理的に環境をリセットすることは、多くの場合、実行不可能である。

これに対処するため、著者らは、エピソード全体の期待リターンを表す Q関数 $Q^\pi(s, a)$ を用いて ReMax 目的関数を定義する。目的関数は、状態 $s$ における $M$ 回のドローの Q 値の期待最大値として定式化される：
$$J^M_{\text{ReMax}}(\pi, s, Q) := \mathbb{E}_{Q \sim \mathcal{Q}} \left[ \mathbb{E}_{A^{[M]} \sim \pi} \left[ \max_{m \in [M]} Q(s, A_m) \right] \right]$$
ここで、分布 $\mathcal{Q}$ は、Q 値に対する不確実性（アンサンブルによる明示的なモデリング、または深層クリティックの非定常性による暗黙的なもの）を捉える。

2.3 方策勾配の定式化

ReMax を効率的に最適化するために、著者らは単一の軌跡リターンから計算可能な新しい方策勾配（PG）推定量派生させた。

• 素朴なアプローチの失敗: 方策勾配定理を直接適用する場合、エピソード型 RL では、すべての $M$ 個のサンプルされたアクションの報酬を同時に観測する必要があるが、これは実行不可能である。
• 期待改善（Expected Improvement, EI）による再定式化: 著者らは、ベイズ最適化から借用した「期待改善（EI）」に基づくベースラインを導入する。彼らは、max オペレータを、アクション固有の項と、他の $M-1$ 個のドローの最大値を表すベースライン（$W_{-m}$）へと分解する。
• 閉形式の解: Q 値をソートすることにより、期待改善項の閉形式の表現を導出する。これにより、単一の軌跡リターン $R(s, a)$ と現在の Q 推定値を用いて勾配を推定することが可能になる。
• 連続パラメータ $m$: 整数としてのリトライ回数 $M$ を、連続的な実数パラメータ $m > 0$ に一般化する。これにより、探索と利用（exploration-exploitation）のトレードオフを微細に制御できるようになる。閉形式の解における $(1 - C_j)^{M-1}$ という項は、$(1 - C_j)^{m-1}$ に置き換えられる。

2.4 RePPO アルゴリズム

著者らは、PPO フレームワーク内に ReMax を実装し、ReMax PPO (RePPO) を構築した。

• アーキテクチャ: Q-クリティックを用いたオンポリシー・アクタークリティック法。
• サロゲート目的関数: RePPO は、標準的なアドバンテージを EI ベースのアドバンテージ に置き換えることで、標準的な PPO サロゲートを変更する。
  $$A^+(t) = R^+(t) - b^+(s_t)$$
  ここで、$R^+(t) = \text{EIm}(R^\lambda_t, \pi_\theta, Q_\phi(s_t, \cdot))$ であり、$b^+$ は EI 変形された Q 値の期待値である。
• Q 置換戦略: サンプルされたアクションの Q 値の過小評価（あるいは過大評価）を防ぐため、EI 項を計算する際に、サンプルされたアクションの Q 値を実際の軌跡リターンで置き換える。これにより、「改善」が、潜在的にバイアスのある推定値ではなく、真のリターンに対して測定されることが保証される。

3. 主な貢献

1. ReMax 目的関数: 明示的な探索ボーナスなしに、不確実性下での貪欲な報酬最大化（リトライ）を通じて探索を誘発する、新しい RL 目的関数。
2. 理論的導出: $M$ 回のドローにおける期待最大値の閉形式の表現を利用して、単一の軌跡リターンから推定可能な ReMax の新しい方策勾配定式化。
3. 連続制御: 離散的なリトライ回数 $M$ を連続的なパラメータ $m$ に一般化し、探索率の精密な調整を可能にした。
4. RePPO アルゴリズム: ReMax を PPO フレームワーク内で実装し、探索が目的関数自体から創発できることを示した、実践的な深層 RL アルゴリズム（RePPO）。

4. 実験結果

4.1 バンディット実験

• 確率性: 2 アーム・バンディットにおいて、ReMax は $M \ge 2$ の場合に確率的な方策を誘発するが、標準的な RL（$M=1$）は決定論的な方策を生む。
• 適応性: ReMax は、報酬の不確実性の大きさに合わせて探索を適応させる。分散が増加すると、ReMax は希少な高報酬の結果を捉えるために探索を増やすが、これは平均に基づき固定されるエントロピー正則化付き Softmax とは異なる。
• リグレット: 事後分布バンディット（Beta-Bernoulli および Gaussian-Gaussian）において、ReMax は Thompson Sampling や UCB に匹敵する経験的な劣線形累積リグレットを示し、Softmax ベースラインよりも優れた性能を示した。

4.2 MinAtar ベンチマーク

4 つのゲーム（Breakout, Asterix, Freeway, Space Invaders）で評価：

• パフォーマンス: RePPO（$m \in [1.2, 1.4]$）は、標準的な PPO バリアント（PPO-V, PPO-Q）や、エントロピーボーナスまたは RND（Random Network Distillation）ボーナスを用いた PPO を上回った。
• 探索: RePPO は、明示的なエントロピーボーナスを持たないにもかかわらず、訓練を通じて標準的な PPO よりも高い方策エントロピーを維持した。
• パラメータ感度: パフォーマンスは $m=1.2$ から $1.4$の間でピークに達した。大きな$m$はエントロピーの減衰を遅らせ（探索を維持）、小さな$m$ は収束を早めるが、パフォーマンスは低下した。
• アブレーション: アクションに依存しないベースラインまたは Q 置換戦略を取り除くと、パフォーマンスが著しく低下した。これは、それらの必要性を裏付けている。

4.3 Craftax ベンチマーク

大規模でオープンエンドな RL 環境である Craftax での評価：

• パフォーマンス: RePPO（$m=1.2$）は、エントロピーおよび RND ボーナスを用いた PPO バリアント（それぞれ 11.66%、11.68%）と同等の競争力のあるパフォーマンス（最大報酬の 11.87%）を達成し、ボーナスなしの PPO を上回った。
• スケーラビリティ: RePPO は明示的なボーナスなしで高いエントロピーを維持しており、このメカニズムが複雑で長期的なタスクにもスケールすることを示している。

5. 意義と主張

本論文は、ReMax が以下の理由により、従来の探索手法に代わる有望な選択肢であることを主張している：

• 明示的なボーナスの排除: 探索は、リトライを伴う期待最大リターンの最大化という目的から自然に創発する。
• アルゴリズム設計の簡素化: 好奇心ボーナスの設計や、明示的な事後モデルの維持といった計算オーバーヘッドや複雑さを回避できる（ただし、不確実性推定のためにそれらを利用することも可能である）。
• 微細な制御の提供: 連続パラメータ $m$ により、探索と利用のトレードオフを精密に調整できる。

著者らは、深層 RL 実験が主に確率的な探索（方策エントロピーの増加）を示したものであることを認めつつも、明示的な不確実性モデリング（例：アンサンブル）と組み合わせることで、理論的枠組みは深い探索（時間的に一貫した情報収集）をサポートすることを述べている。また、ReMax を、pass@K 目的関数との類似性を引き合いに出しながら、大規模言語モデル（LLM）における推論タスクを含む、リトライが価値を持つ領域に適用可能な一般的な原理として位置づけている。

本研究の理論的な主張は控えめであり、深層 RL 設定における正式なリグレット境界の導出は今後の課題として残されている。現在の結果は、その有効性の経験的な実証である。