🤖 AI

Retry Policy Gradients in Continuous Action Spaces

本論文は、パスワイズ微分推定量を導入することでReMaxのリトライベースの目的関数を連続的な行動空間へと拡張し、方策勾配のランドスケープを再形成することによって、明示的なエントロピー正則化なしに確率的な探索を促進し、SACに匹敵する性能を達成するReMACアルゴリズムを提示する。

原著者： Soichiro Nishimori, Paavo Parmas

公開日 2026-06-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Soichiro Nishimori, Paavo Parmas

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに部屋を歩く方法を教えているところを想像してみてください。ロボットは目隠しをされており、どこに足を踏み出すかは推測することしかできません。人工知能の世界では、これを**強化学習（Reinforcement Learning）**と呼びます。ロボットはさまざまな動きを試し、うまくできたときには「スコア（報酬）」を受け取り、失敗から学びます。

大きな問題は**探索（exploration）**です。どうすれば、ロボットがただ安全で退屈なステップを繰り返すのではなく、新しいことを試すようにさせられるでしょうか？

古いやり方：「ノイズ」を加える

伝統的に、ロボットに探索させるために、科学者たちはその脳に少しの「ノイズ」やランダム性を加えます。それはまるで、「ねえ、時々ランダムに足をバタバタさせてみて！」とロボットに伝えるようなものです。これは機能しますが、料理にスパイスを加えるようなもので、慎重に計量し、最終的には取り除かなければなりません。さもないと、料理の味が変になってしまうからです。

新しいアイデア：「リトライ」戦略

この論文では、ReMax（「Retry Maximum」の略）と呼ばれる、ロボットを教える新しい方法を紹介しています。

ロボットにランダムになれと言う代わりに、ReMaxはゲームのルールを変更します。テストを受けている場面を想像してください。

古いやり方： あなたは問題に対して一度だけ回答できます。ベストな推測を選び、それがあなたのスコアになります。
ReMaxのやり方： 同じ問題に対して、M回（例えば4回や8回）テストを受けることができます。8つの回答をすべて書き出し、その中の最高のものを選びます。それがあなたのスコアになります。

ロボットは、もし自分の選択肢を（少し「確率的」または「可変的」に）開いておけば、多くの試行の中から素晴らしい答えに偶然辿り着ける可能性が高まることを学びます。これには特別な「ノイズ」の指示は必要ありません。「多くの試行の中のベストを見つけたい」という欲求が、自然と探索を促すのです。

連続的な空間では何が起きるのか？

この論文は、ロボットが関節を（単なる「左」や「右」だけでなく）あらゆる角度に動かせる、**連続的なアクション空間（continuous action spaces）**に焦点を当てています。

著者たちは、この「リトライ」戦略がロボットの学習経路をどのように変えるかについて、驚くべき発見をしました。

「押し（方向）」： ロボットが目標から遠く、動きが硬い（ランダム性が低い）とき、リトライ戦略の数学的性質が、自然にロボットをよりランダムになるよう「押し」ます。それはまるで、ロボットが「行き止まりに trapped されている。抜け出す道を見つけるために、もっと体を揺らす必要がある」と気づくようなものです。
「ブレーキ（大きさ）」： ロボットが完璧な解決策に近づくと、リトライ戦略は「緩やかなブレーキ」として機能します。これは学習速度を低下させます。これは、ロボットが完璧な地点を通り過ぎてオーバーシュートしてしまうのを防ぐために非常に重要です。これにより、ロボットが落ち着く前に、もう少し長く探索を続けることができます。

「ReMAC」ロボット

著者たちは、この実験を行うために、ReMAC（ReMAX Actor-Critic）と呼ばれる特定のロボットの脳を構築しました。彼らは、非常に成功している標準的なロボットの脳（SACと呼ばれます）を取り、単に「ノイズ」の指示を「リトライ」の指示に入れ替えました。

結果：

パフォーマンス： ReMACロボットは、世界最高のロボット（SAC）と同じくらい上手く歩くことを学習しました。
探索： 追加の「ノイズ」というスパイスを必要とすることなく、ReMACロボットは理論が予測した通り、より長い間、自然に動きの多様性（高いエントロピー）を維持しました。
注意点： 「リトライ」法は、一度に複数の結果をシミュレートする必要があるため、少し多くの計算パワーを必要とします。

Adam オプティマイザのひねり

論文では、ロボットを訓練するために使用されるコンピュータツール（Adamと呼ばれます）に、小さな設定項目である「安定化パラメータ（stabilization parameter）」があり、それが「音量つまみ」のように機能することにも注目しています。

つまみを低く設定すると、「ブレーキ」の効果が弱まり、ロボットは速く学習しますが、早く落ち着きすぎてしまう可能性があります。
つまみを高く設定すると、ブレーキの効果が強まり、ロボットがより長く探索を続けるようにします。

まとめ

この論文は、AIに強制的にランダムにならせるためにノイズを加える必要はないことを示しています。代わりに、もしAIに**「多くの試行の中のベストを最適化する」**ように教えれば、少し予測不能になることが最も優れた解決策を見つけるための賢明な方法であると、AIは自然に理解するのです。これは、追加のルールを必要とせずに好奇心を促す、巧妙で組み込まれた方法なのです。

技術要約：連続アクション空間におけるリトライ・ポリシー・グラディエント

問題提起

探索は、特に連続制御において、強化学習（RL）の中心的な課題であり続けている。標準的なアプローチは通常、明示的なエントロピー正則化（Soft Actor-Critic, SACなど）やノイズ注入を組み合わせた確率的ポリシーに依存している。これらは効果的ではあるものの、補助的なエントロピー・ボーナスを導入するため、最適なポリシーがより高いエントロピーを持つ方へとバイアスを与え、真の決定論的な最適解への収束を妨げる可能性がある。

近年、「リトライベース」の目的関数（pass@K, max@Kなど）が、離散アクション空間や大規模言語モデル（LLM）の事後学習において有望であることを示している。これらの目的関数は、期待リターンではなく、 $M$ 個のサンプリングされた軌跡から得られる最大リターンを最適化する。先行研究（ReMax）は、離散空間において、この目的関数が明示的なエントロピー・ボーナスなしでも、リターンの不確実性に適応することで自然に探索を促進することを実証した。しかし、連続アクション空間におけるReMaxの理論的特性は未探索のままであり、離散空間用の既存の勾配推定法は連続ドメインには拡張できない。

手法

理論的枠組み

著者らは、パスウェイ微分（pathwise derivative）推定器を用いて、ReMaxの目的関数を連続アクション空間へと拡張した。

目的関数: Q関数 $Q(s, a)$ とリトライ・バジェット $M$ が与えられたとき、目的関数は以下のように定義される：
$J^M(\pi, Q) := \mathbb{E}_{s \sim p_0} \left[ \mathbb{E}_{a_{1:M} \sim \pi(\cdot|s)} \left[ \max_{m=1:M} Q(s, a_m) \right] \right]$
エントロピー正則化された目的関数とは異なり、この定式化は決定論的な最適ポリシー（ $\pi^*$ ）をグローバルな最適解として保持し、エントロピー・ボーナスに内在する確率性へのバイアスを回避する。
勾配推定: 連続空間では厳密な計算が不可能であるため、著者らは再パラメータ化（RP）勾配推定器を採用している。アクションは $a_i = \mu + \sigma \epsilon_i$ （ここで $\epsilon_i \sim \mathcal{N}(0, I)$ ）を通じてサンプリングされる。目的関数は、 $B$ 個のアクションをサンプリングしてそのQ値をソートし、上位 $M$ 個の値の加重平均を計算することによって近似される。これにより、Qネットワークおよびポリシー・パラメータを通じたバックプロパゲーションが可能になる。

勾配ダイナミクスの理論的分析

本論文では、二次報酬 $r(a) = -a^2$ を持つガウス型ポリシー $\mathcal{N}(\mu, \sigma^2)$ に対して、ReMaxの勾配がどのように最適化ランドスケープを形成するかについて詳細な分析を行っている。 $M > 1$ の場合、以下の2つの主要なメカニズムが特定されている：

エントロピーの増加（方向の効果）: ポリシーの平均が最適値から遠く、スケール $\sigma$ が小さいとき、勾配の方向は自然に $\sigma$ を増加させる方向を向く。これは、「max」演算子が $M$ 個のサンプルに対して適用されることで、ポリシーのスケールを大きくすることでのみアクセス可能な、報酬の正の期待上昇変動（またはコストの下降変動）を生み出すためである。これにより、明示的なボーナスなしで確率的な探索が促進される。
勾配の減衰（大きさの効果）: ポリシーが最適値に近づくにつれ、勾配のノルムは減少する。 $M$ 個のサンプルのうち最良のものを選ぶことは、最適値からの偏差を軽減し、実質的に「不適切なサンプルを許容する」ことで収束を遅らせる。この減衰効果は、学習中の高いエントロピーをより長く維持するのに役立つ。

また、著者らはAdamオプティマイザとの相互作用についても分析している。Adamの適応的正規化（具体的には安定化パラメータ $\epsilon$ ）が、勾配の減衰効果を打ち消す可能性があることを示している。小さな $\epsilon$ （デフォルトの $10^{-8}$ ）は勾配を正規化し、収束を加速させ、エントロピー維持効果を減少させる可能性がある一方、大きな $\epsilon$ は減衰挙動を回復させる。

アルゴリズム: ReMAC

著者らは、これらの知見をオフポリシー・アクタークリティック・アルゴリズムであるReMax Actor-Critic (ReMAC) に実装した。

クリティック: クリッパード二重Q学習（オーバーエスティメーションを抑制するために2つのクリティックを使用）を用いた標準的な時間差回帰によって訓練される。
アクター: ReMax目的関数のパスウェイ微分を用いて最適化される。
実装: ReMACはSACに対する最小限の修正として提示されており、クリティックのターゲットと温度チューニングからエントロキ・ボーナスを除去し、アクターの損失をReMax損失に置き換えている。

主要な結果

理論的知見

ベクトル場分析: 1次元ガウス型ポリシーに対する勾配ベクトル場の可視化により、 $M > 1$ の場合、勾配は最適値から遠いときにポリシーをより高いエントロピーへと押し出すが、 $M = 1$ （標準的なRL）では常にエントロピーを低くする方向に働くことが確認された。
収束特性: ReMaxは決定論的な最適解（ $\mu=0, \sigma=0$ ）に収束するが、エントロピー正則化は確率的な最適解（ $\mu=0, \sigma>0$ ）に収束する。
Adamとの相互作用: トイ・プロブレムを用いた理論的および経験的分析により、減衰効果がAdamの $\epsilon$ パラメータに敏感であることが示された。

実証的評価

Braxスイートの6つの連続制御タスク（Ant, HalfCheetah, Hopper, Reacher, Swimmer, Walker2d）において、300万ステップにわたる実験が行われた。

パフォーマンス: $M > 1$ を用いたReMACは、SACと同等の性能を達成し、一般にPPOを上回った。いくつかの環境（Ant, Reacher, Swimmer, Walker2d）では、より大きなリトライ・バジェット（ $M=4, 8$ ）を用いることで、 $M=1$ よりも高い平均リターンが得られた。
エントロピーのダイナミクス: 理論的予測通り、 $M > 1$ のReMACは、学習を通じて $M=1$ （標準的なRL）よりも高いポリシー・エントロピーを維持した。エントロピーは一般に $M$ とともに増加し、特にAntおよびSwimmerの環境で顕著であった。
SACとの比較: ReMACは標準的なRL（ $M=1$ ）よりも高いエントロピーを達成したが、そのエントロピーはSACよりも低いレベルに留まった。これは、SACの明示的なエントロピー最大化を考慮すると予想される結果である。

意義と主張

本論文の貢献は以下のように位置づけられる：

理論的拡張: ReMaxを連続アクション空間へ拡張し、パスウェイ微分を通じてその探索促進特性に関する厳密な理論的説明を提供した最初の研究である。
内在的探索: リトライベースの目的関数が、明示的なエントロピー・ボーナスではなく、勾配ランドスケープの幾何学（方向と大きさ）を通じて確率的な探索を誘発できることを示した。これにより、決定論的な解から最適なポリシーをずらすバイアスを回避できる。
実用的な生存能力: ReMACの導入により、これらの理論的特性が実用的な深層強化学習の設定においても有効であり、最小限のアーキテクチャ変更でSACレベルの性能を達成できることを示した。
最適化への洞察: 本研究は、リトライベースの目的関数における探索と利用のトレードオフを調節する上で、オプティマイザのハイパーパラメータ（特にAdamの $\epsilon$ ）が極めて重要な役割を果たすことを浮き彫りにした。

著者らは、自身の理論的分析が滑らかさと強凸性を仮定しており、それがすべての実用的な深層強化学習環境に当てはまるわけではないことを認め、その範囲について謙虚な姿勢を保っている。彼らはReMACを、確率的な探索の概念実証（proof-of-concept）として位置づけており、将来の研究では、報酬が疎な設定において「深い探索（deep exploration）」を可能にするために、Q関数の事後サンプリングをReMaxと統合できる可能性を示唆している。