🤖 AI

Revisiting Regularized Policy Optimization for Stable and Efficient Reinforcement Learning in Two-Player Games

本論文は、方策最適化において反転カルバック・ライブラー情報量とエントロピー正則化を組み合わせることが、二人零和ゲームにおいて安定した収束をもたらし、既存手法と比較して5つのボードゲーム環境における訓練効率を大幅に向上させることを、理論的かつ実証的に示す。

原著者： Kazuki Ota, Takayuki Osa, Motoki Omura, Tatsuya Harada

公開日 2026-05-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kazuki Ota, Takayuki Osa, Motoki Omura, Tatsuya Harada

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

2 つのロボットにチェスや囲碁のような複雑なボードゲームを互いに戦わせる方法を教えると想像してみてください。その目標は、決定を下すたびにスーパーコンピュータで数百万手先の未来をシミュレートする必要なく、勝つ方法を学習させることです。

長年、この分野における「ゴールドスタンダード」は、AlphaZeroのような手法でした。AlphaZero を想像してください。これは、1 手打つ前に、何千もの可能な未来を精神的にシミュレーションするロボットです（まるでグランドマスターが 20 手先を読むように）。これにより彼らは驚くほど強くなりますが、同時に驚くほど高価でもあります。これは、1 手打つたびに街全体の実物大で完璧な複製を構築して運転を学ぼうとするようなものです。機能はしますが、膨大な燃料（計算資源）を消費し、永遠に時間がかかります。

この論文は、KLENTと呼ばれる新しいアプローチを紹介しています。著者たちは問いかけます：これらのロボットに、高価な「精神的シミュレーション」のステップなしに、同じくらい上手にプレイさせることはできるでしょうか？

核心となるアイデア：「穏やかな促し」対「ハードリセット」

著者たちは、機械学習における古いアイデアである正則化方策最適化（Regularized Policy Optimization）を再考しました。彼らの革新を理解するために、ロボットの方策（戦略）を、どこへ進むべきかを示す地図だと想像してください。

問題点: ロボットが自分自身と対戦すると、すぐに自信過剰になりがちです。1 つの幸運な勝利に基づいて、戦略を大きく無謀に変更し、後に破滅してしまうことがあります。これは、テストの特定の問題に対する答えを一つだけ暗記して正解し、その科目全体を知っていると勘違いした学生が、次の試験で不合格になるようなものです。
解決策（2 つの要素）: 著者たちは、2 つの特定の「ルール」を組み合わせることで、学習を安定させ、効率的に保てることを見出しました。
- 「穏やかな促し」（逆 KL 正則化）: ロボットが地図を完全に書き換えるのを許すのではなく、このルールは小さな漸進的な変化のみを強います。これはロボットに「考えを変えることは許すが、昨日の位置から飛びすぎないように」と伝えるようなものです。これにより、激しい揺らぎを防ぎ、学習を安定させます。
- 「好奇心の火花」（エントロピー正則化）: これは、ロボットが知っていることだけに固執するのではなく、新しい奇妙な手を探索し続けるよう促します。これはロボットに「毎回同じ道を行くのではなく、ショートカットがあるか確認するために、いくつかの異なる道を進んでみろ」と伝えるようなものです。これにより、ロボットがマンネリに陥るのを防ぎます。

KLENT の仕組み（「サーチなし」手法）

従来の手法（AlphaZero など）では、ロボットはチェスのグランドマスターのように振る舞います：

盤面を見る。
考えられるすべての未来の結果を計算するために何時間も費やす（木探索）。
その計算に基づいて最善の手を選ぶ。

KLENT は、熟練したストリートファイターのように振る舞います：

盤面を見る。
過去の経験に基づいて訓練されたニューラルネットワークによる「勘」（直感）に即座に頼る。
未来を計算することなく、即座に手を打つ。

この論文は、「穏やかな促し」と「好奇心の火花」のルールを使用することで、KLENT が探索ベースの手法よりも4 倍速くボードゲームを学習できることを主張しています。これは、高価な「精神的シミュレーション」のステップを完全にスキップすることで達成されます。

証拠：「ボードゲームジム」

これが機能することを証明するために、研究者たちはロボットを 5 つの異なるボードゲームの「ジム」に投入しました：

アニマル将棋（将棋の小さくシンプルなバージョン）
ガーナーチェス（チェスの小さなバージョン）
9x9 囲碁（囲碁の小さなバージョン）
ヘックス（連結ゲーム）
オセロ（裏返しのディスクゲーム）

結果：

速度: KLENT は、探索ベースの手法よりもはるかに速く、強力な相手に対して勝利するようになりました。いくつかのゲームでは、同じレベルのスキルに達するために必要な計算資源が4 分の 1で済みました。
理論: 著者たちは単に推測したわけではありません。数学を行いました。これらの特定のルールを用いれば、ロボットが学習プロセスが狂ったり、永遠に振動したりすることなく、確実に収束して安定することが証明されました。
大規模なゲーム: 彼らは巨大な19x19 囲碁盤でもテストを行いました。そこでも KLENT は効果的に競争することができ、この「サーチなし」アプローチが小さなゲームだけのものではないことを示しました。

なぜこれが重要なのか（論文によると）

この論文は、複雑なゲームを解決するために常に「スーパーコンピュータ」を構築する必要はないと主張しています。ロボットが戦略を更新する方法を慎重に調整（穏やかな促しと好奇心の火花を使用）することで、コストの断片で安定した高レベルのパフォーマンスを得ることができます。

要約すると: この論文は、素晴らしいゲームをプレイするために未来をシミュレートする必要はないことを示しています。ロボットに安定して学習し、好奇心を持ち続けるように教えれば、以前よりもはるかに速く、安く、自力でゲームをマスターできるのです。

技術的サマリー：二人対戦ゲームにおける安定かつ効率的な強化学習のための正則化方策最適化の再検討

問題定義

二人零和ゲーム、特にボードゲームは、強化学習（RL）の伝統的なベンチマークとして機能してきた。AlphaZero（Silver ら、2018）のような探索ベースの手法は、深層ニューラルネットワークと先読み探索（例：モンテカルロ木探索、MCTS）を組み合わせることで超人的な性能を達成したが、これらは莫大な計算コストを伴う。例えば、AlphaZero のトレーニングには、報告によると 10 GPU 年を超えるリソースが必要である（Silver ら、2018; Tian ら、2019）。このリソース集約性は、再現性の確保やリソース制約のある環境での実用的な応用を妨げている（Zhao ら、2022）。

近年の研究では、木深さやロールアウト回数を制限することで探索ベースの手法の計算負担を軽減しようとする試みが行われている（Hessel ら、2021; Danihelka ら、2022）が、それらは依然として本質的に先読み探索に依存している。一方、ロボット工学や連続制御において効率的であるモデルフリー RL 手法は、マルチエージェント自己対戦環境における不安定性への懸念から、ボードゲームでは十分に検討されてこなかった。本研究が扱う中心的な問いは以下の通りである：純粋なモデルフリー RL アルゴリズムは、探索ベースの手法に比べて大幅に少ないトレーニングリソースで、二人対戦ゲームにおいて安定かつ競争力のある学習を達成できるか？

手法

著者は、トレーニング中に MCTS を不要とするモデルフリー RL アルゴリズムであるKLENT（KL およびエントロピー正則化方策最適化）を提案する。このアプローチは、2 つの特定のコンポーネント、すなわち逆 Kullback-Leibler（KL）正則化とエントロピー正則化を用いた正則化方策最適化の再検討に基づいている。

1. 方策更新則

KLENT の核心は、以下のように定義される正則化方策最適化問題である：
$\max_{\pi'} \mathbb{E}_{A \sim \pi'(\cdot|s)}[Q^\pi(s, A)] - \beta D_{KL}(\pi'(\cdot|s) \parallel \pi(\cdot|s)) + \alpha H(\pi'(\cdot|s))$
ここで：

$\pi'$ は新しい方策、 $\pi$ は事前方策である。
$D_{KL}(\pi' \parallel \pi)$ は逆 KL 発散であり、自己対戦における非定常性を処理するために漸進的な方策更新を促進する。
$H(\pi')$ はエントロピーであり、エージェント自身の方策への過学習を防ぐために持続的な探索を促す。
$\alpha$ と $\beta$ は非負のハイパーパラメータである。

ボードゲームの有限な行動空間を考慮すると、最適方策 $\pi'$ は閉形式の解析解を持つ：
$\pi'(a|s) = \frac{1}{Z(s)} \exp\left( \frac{Q^\pi(s, a) + \beta \log \pi(a|s)}{\alpha + \beta} \right)$
KLENT において、ニューラルネットワーク $\pi_\theta$ は、その出力とこの解析的に導出されたターゲット $\pi'$ との間の交差エントロピーを最小化するようにトレーニングされる。

2. 価値関数の学習

MCTS バックアップを通じて行動価値を推定する探索ベースの手法とは異なり、KLENT はニューラルネットワークを用いて行動価値関数 $Q^\pi(s, a)$ を直接パラメータ化する。学習を安定させ、バイアス - バランスのトレードオフを管理するために、このアルゴリズムは標準的なモンテカルロリターン（ $\lambda=1$ ）ではなく、学習ターゲットとして $\lambda$ -リターン（ $G^\lambda$ ）を使用する。予備実験では、中間的な $\lambda \in (0, 1)$ が $\lambda=1$ よりも二乗バイアスと分散の和をより小さくすることが示された。

3. アルゴリズム構造

KLENT は、オンポリシーデータを収集する自己対戦フェーズと、ネットワークパラメータを更新するフィッティングフェーズを交互に実行する。損失関数は、方策ネットワークと行動価値ネットワークを同時に最適化する：
$L(\theta) = \mathbb{E}_D \left[ -\sum_{a \in A} \pi'(a|S) \log \pi_\theta(a|S) + (Q_\theta(S, A) - G^\lambda)^2 \right]$
重要なのは、KLENT はトレーニング中に木探索を一切必要とせず、ニューラルネットワークの予測と解析的な方策更新のみに依存することである。

主要な貢献

本論文は、完全に新しいアルゴリズム的要素を提案するのではなく、この特定の正則化の組み合わせの理論的および経験的な特徴付けに焦点を当て、3 つの主要な貢献を行っている：

アルゴリズムの定式化：著者は、逆 KL とエントロピー正則化の組み合わせに基づいた実用的なモデルフリー RL アルゴリズム（KLENT）を導出し、閉形式の方策更新則を提供する。
理論的保証：方策更新則に対して、2 つの状況で新規の収束保証が提供される：
- 正規形ゲーム：条件 $\alpha(\alpha + 2\beta) > \|R\|_2^2/4$ の下で、一意の固定点への局所線形収束が証明される。この条件は、以前の結果（例：Sokota ら、2022）よりも広範な正則化係数の範囲をカバーする。
- 有限長のゲーム：著者は、有限のゲームホライズンを仮定して、KLENT 方策が後方帰納法を通じてエントロピー正則化された最適方策（Quantal Response Equilibrium）に収束することを証明する。
経験的検証：5 つのボードゲーム（Animal Shogi、Gardner Chess、9x9 囲碁、Hex、Othello）における包括的な実験により、KLENT が既存の探索ベースおよびモデルフリーのベースラインよりも著しく高いトレーニング効率を達成することが示された。

結果

トレーニング効率

実験により、KLENT はすべてのテスト環境において既存の手法よりも効率的に学習することが示された。

性能向上：平均して、KLENT は Gumbel AlphaZero（本研究における最も強力な探索ベースのベースライン）と比較して、最大4 倍のトレーニング効率を達成した。例えば、Gumbel AlphaZero が 50% の勝率に達するために 3 億回のシミュレータ評価を必要としたのに対し、KLENT は 7500 万回のみで済んだ。
スケーラビリティ：分岐係数が高いゲーム（例：9x9 囲碁、Hex）では、効率性のギャップが拡大する。これらのゲームでは、探索ベースの手法は莫大なシミュレータ予算を必要とする。KLENT の優位性は、先読み探索を回避し、安定した $\lambda$ -リターンを使用する点に起因する。
大規模パフォーマンス：19x19 囲碁において、KLENT は複雑さが増したにもかかわらず、AlphaZero と比較して競争力のある学習効率を維持した。

アブレーション研究

本研究は、3 つの主要な技術の必要性を検証している：

逆 KL 正則化：これを除去（ $\beta=0$ に設定）すると、急激な方策更新が生じ、特に 9x9 囲碁において性能が低下する。
エントロピー正則化：これを除去（ $\alpha=0$ に設定）すると、方策が過度に決定論的になり（エントロピーがほぼゼロに低下）、学習が不安定化し性能が崩壊する。
$\lambda$ -リターン： $\lambda$ -リターンを 1 ステップバックアップやモンテカルロリターンに置き換えると性能が低下し、バイアスと分散のバランスの重要性が確認された。

テスト時パフォーマンス

テスト時に MCTS（800 ロールアウト）を備えた場合、KLENT エージェントはベースラインに対して高い勝率を達成し、9x9 囲碁および 19x19 囲碁における直接対決で AlphaZero や Gumbel AlphaZero を上回った。

意義と主張

著者は、この研究を、既存の正則化技術を適切に再検討することで、長らく探索ベースの手法が支配してきた領域において安定かつ効率的な学習が可能になることを示すものとして位置づけている。

控えめな主張：本論文は明示的に、主な貢献が新しいアルゴリズム的要素ではなく、二人対戦ゲームにおける正則化方策最適化の新しい理論的および経験的な特徴付けであることを述べている。
限界：著者は、KLENT が高い効率を達成する一方で、無制限の計算リソースが利用可能な場合、必ずしも優れた漸近的性能を保証するものではないと認めている。彼らは、数千の GPU などの莫大なリソースが利用可能な場合、AlphaZero のような探索ベースのアプローチの有効性を否定するものではない。
広範な影響：著者は、基礎となる仮定（有限行動 MDP）が、現在探索ベースの手法が prevalent な離散最適化、アルゴリズム的発見、数学的証明などの実世界の問題に適用可能であると示唆している。彼らは、この研究が、このような効率的なモデルフリーアプローチを他の分野へ拡張することを促すことを期待している。

要約すると、KLENT は、逆 KL とエントロピー正則化の安定性を活用することで、トレーニングリソースの断片で競争力のある性能を達成し、ボードゲームにおける探索ベースの RL に対する計算効率の高い代替手段を提供する。