💬 NLP

Policy Split: Incentivizing Dual-Mode Exploration in LLM Reinforcement with Dual-Mode Entropy Regularization

この論文は、大規模言語モデルの強化学習において、タスクの正確性を損なわずに多様な探索を促進するため、正常モードと高エントロピー探索モードにポリシーを分割し、協調的な二重モードエントロピー正則化を導入する「Policy Split」という新たな手法を提案し、その有効性を示すものです。

原著者： Jiashu Yao, Heyan Huang, Chuwei Luo, Daiqing Wu, Zeming Liu, Yuhang Guo, Yangyang Kang

公開日 2026-04-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiashu Yao, Heyan Huang, Chuwei Luo, Daiqing Wu, Zeming Liu, Yuhang Guo, Yangyang Kang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI（大規模言語モデル）に『慎重な賢者』と『冒険家』という 2 つの性格を同時に育てる」**という画期的な新しい方法を紹介しています。

タイトルは『Policy Split（ポリシー・スプリット）』。少し難しい言葉ですが、実はとてもシンプルで面白いアイデアです。

🎭 物語：AI の「二面性」を育てる方法

1. 従来の問題：「正解」か「自由」か、二者択一のジレンマ

これまでの AI のトレーニングでは、**「正解率を上げたい」と「発想を広げて多様な答えを出したい（探索）」**という 2 つの目標が、まるで天秤のようにぶつかり合っていました。

正解率を上げようとすると： AI は安全な道ばかり選ぶようになり、発想が固まってしまいます（「熵（エントロピー）の低下」）。
自由な発想を求めると： AI は意味のわからない変なことを言い始め、正解率が下がってしまいます（図 1a のような状態）。

まるで、「真面目な学生」に「自由な芸術家」の素質を無理やり植え付けようとしたら、両方とも中途半端になってしまったような感じです。

2. 新しい解決策：「Policy Split（ポリシー・スプリット）」

この論文の提案する『Policy Split』は、**「1 つの AI の頭の中に、2 つの人格（モード）を住まわせる」**というアイデアです。

モード A：真面目な「正解モード」
- 役割： 数学の問題や事実確認など、**「絶対に間違えないこと」**を最優先します。
- 性格： 慎重で、保守的。
モード B：冒険家の「高エントロピー（高自由度）モード」
- 役割： 物語创作やアイデア出しなど、**「今までにない新しい視点」**を探します。
- 性格： 大胆で、自由奔放。

ここがすごいポイント：
この 2 つは、同じ AI の脳みそ（パラメータ）を共有しています。つまり、別々の AI を 2 つ作るのではなく、1 つの AI を「二面性」を持つようにトレーニングするのです。

3. 具体的なトレーニング方法：「協力して学ぶ」

どうやって 2 つの性格を育てるのでしょうか？ここでは**「高エントロピー・プロンプト（指示文）」**という魔法の呪文を使います。

指示文： 「あなたは『高エントロピー・モード』です。いつもの直感的な道ではなく、あえて異なる角度から考え、新しい視点を探してください」

この指示文を与えるかどうかで、AI のモードが切り替わります。

トレーニングの仕組み（協力関係）：

正解モードは、いつものように「正解」を目指して勉強します。
冒険モードは、「正解」だけでなく「面白い・新しい答え」を探して、あえて遠回りしたり、変な道を行ったりします。
相互学習：
- もし冒険モードが、変な道を行きながら「偶然、素晴らしい正解」を見つけられたら、その情報を正解モードに教えます。
- 逆に、正解モードが「安定した正解」を見つけると、それを冒険モードに教えて、無意味な失敗を防ぎます。

このように、「慎重な方」と「大胆な方」がお互いの良いところを学び合いながら、同じ AI の中で成長していくのです。

4. 結果：両方の能力が向上した！

実験の結果、この方法は大成功しました。

正解率： 従来の方法よりも高い精度を維持できました（「正解モード」のおかげ）。
創造性： 物語やアイデアの分野では、驚くほど多様で独創的な答えが出せるようになりました（「冒険モード」のおかげ）。
驚異的な発見： 冒険モードは、正解モードとは全く異なる行動パターンを示すようになり、AI が「2 人の異なる人格」を持っているかのように振る舞うようになりました。

🌟 要約：なぜこれが重要なのか？

これまでの AI は、「正解を出すこと」と「自由に考えること」のどちらかを選ばなければなりませんでした。しかし、この『Policy Split』という方法を使えば、**「1 つの AI が、状況に応じて『真面目な学者』にも『自由な芸術家』にもなれる」**ようになります。

まるで、**「朝は真面目な会計士として働き、夜は情熱的な画家として描く」**ような、柔軟で多才な AI が誕生したのです。

これにより、AI は単なる「計算機」や「検索エンジン」を超え、人間の複雑な思考や創造性をより深くサポートできる未来が近づいたと言えます。

論文「Policy Split: Incentivizing Dual-Mode Exploration in LLM Reinforcement with Dual-Mode Entropy Regularization」の技術的サマリー

本論文は、大規模言語モデル（LLM）の強化学習（RL）において、**「探索（Exploration）」と「利用（Exploitation/精度）」のトレードオフを解決する新たなパラダイム「Policy Split」**を提案した研究です。特に、推論能力を持つモデル（LRM）の継続的なポストトレーニングにおいて、精度を維持しつつ多様な探索を促進する手法を確立しています。

以下に、問題定義、手法、主要な貢献、実験結果、そして意義について詳細を解説します。

1. 背景と問題定義

大規模言語モデルの強化学習（RL）は、o1 や R1 といった高度な推論モデルの出現により大きな成功を収めています。しかし、既存のエントロピー誘導型 RL（Entropy-guided RL）には根本的な矛盾が存在します。

精度と探索の対立: 従来の手法では、エントロピー（出力の多様性）を最大化することで探索を促しますが、これはしばしばモデルの推論精度を低下させます。特に、すでに高い能力を持つ低エントロピーの LRM に対して、無理にエントロピーを高めようとすると、出力が不整合な高エントロピー配列に劣化し、タスクの正解率が下がる現象（Accuracy Drop）が観察されています。
既存手法の限界: 単一のポリシーに対してエントロピー正則化を適用するだけでは、精度の維持と多様な探索の両立が困難です。

2. 提案手法：Policy Split

著者らは、**「1 つのモデル内で 2 つのポリシー（モード）を並行して学習させる」**という直観に基づき、Policy Splitを提案しました。この手法は、モデルのパラメータを共有しつつ、以下の 2 つのモードにポリシーを分岐（Bifurcation）させます。

Normal Mode（通常モード）:
- 目的: タスクの正解率（精度）の最大化。
- 特徴: 従来の GRPO（Group Relative Policy Optimization）と同様に、正解報酬のみを最適化します。
High-Entropy Mode（高エントロピーモード）:
- 目的: 探索の促進と多様な解の発見。
- 特徴: システムプロンプト（例：「High Entropy mode」）によって識別され、探索を優先します。

技術的コア：Dual-Mode Entropy Regularization

2 つのモードは独立して学習するのではなく、双方向のエントロピー正則化とロールアウト共有を通じて協調的に学習します。

利点関数（Advantage Function）の設計:
- Normal Mode: 通常の正解ベースの利点を使用。
- High-Entropy Mode: 正解ベースの利点に加え、以下の 2 つの項を追加した利点を使用します。
  1. エントロピー項: 高エントロピーな出力を好む。
  2. KL 発散項: Normal Mode との分布の違い（KL 発散）を最大化し、Normal Mode とは異なる探索領域を確保する。
  3. クリッピング（Clamping）: エントロピー項が学習信号の符号を逆転させないよう制御し、学習の安定性を保つ。
ロールアウト共有（Rollout Sharing）:
- 2 つのモード間で生成されたサンプル（ロールアウト）を共有します。
- Normal Mode は High-Entropy Mode が見つけた新しい正解から学習し、High-Entropy Mode は Normal Mode の安定した正解例から学習することで、両者の性能向上とモードの安定化を図ります。

3. 主要な貢献

Policy Split の提案: 1 つのモデル内で、異なる最適化目標（精度 vs 探索）を持つ 2 つのモードを分岐させ、協調学習させる新しい RL フレームワーク。
精度と創造性の両立: 強力な推論モデルにおいて、精度を維持しつつエントロピーを復活させ、創造的タスクでの性能を大幅に向上させることに成功。
双モード探索の分析: High-Entropy モードが Normal モードとは明確に異なる行動パターン（ユニークな回答）を生成し、Best-of-N 評価などで高いスコアを獲得することを実証。また、学習されたモード切り替え能力が、学習時に使用していない異なるプロンプトにもある程度一般化することを確認しました。

4. 実験結果

Qwen3 シリーズ（1.7B, 4B, 8B）を用いた広範な実験が行われました。

一般タスク（数学、科学、一般知識）:
- Policy Split は、既存のエントロピー誘導 RL ベースライン（Entropy Regularization, Entropy Advantage など）をすべてのモデルサイズで上回りました。
- 特に 4B と 8B の大規模モデルにおいて、平均精度の向上とエントロピーの回復が顕著でした。
- 例：Qwen3-8B において、Policy Split は平均精度 75.15%、平均エントロピー 0.70 を達成（ベースラインの GRPO は 74.27%, 0.44）。
創造的タスク（物語作成）:
- 高エントロピーモードは、ルールベースの指標（N-gram 多様性、Self-BLEU）および LLM による評価（創造性、独創性、物語の流暢さなど）において、ベースラインモデルや他の RL 手法を大きく凌駕しました。
- 高エントロピーモードは、平均精度は若干低下するものの、Best-of-8（8 回生成中最も良いものを選ぶ）評価では Normal モードを上回る高い正解率を示し、探索の質の高さを証明しました。
アブレーション研究:
- エントロピー係数（ $\eta$ ）や KL 項の重み（ $\alpha$ ）の調整により、探索と利用のバランスを最適化できることが示されました。
- ロールアウト共有は計算コストをわずかに増やす（約 1.4 倍）ものの、性能向上に不可欠であることが確認されました。

5. 意義と結論

Policy Split は、LLM の強化学習における「精度と多様性のトレードオフ」という長年の課題に対し、**「モードの分岐と協調学習」**という新たな解決策を提供しました。

実用的価値: 推論時にシステムプロンプトを切り替えるだけで、同じモデルから「高精度な回答（通常モード）」と「創造的な回答（高エントロピーモード）」を柔軟に引き出せるようになります。
研究への示唆: 単一のポリシーを最適化するのではなく、複数のポリシーを協調させるマルチポリシー・モデリングのアプローチが、LLM の柔軟性、制御性、そして全体性能の向上に有効であることを示唆しています。

本手法は、LLM の継続的な学習プロセスにおいて、モデルの能力を損なうことなく、より広範で創造的な探索を可能にする重要なステップと言えます。