技術要約：連続潜在推論のための Dropout-GRPO

1. 問題提起

本論文は、グループ相対方策最適化（Group Relative Policy Optimization; GRPO）と連続潜在推論モデル（具体的には COCONUT アーキテクチャ）の間の根本的な構造的不適合に対処している。

• GRPO の要件: GRPO は、グループ内の $K$ 個のロールアウトにおける多様性に依存して、非ゼロのグループ平均アドバンテージ（$A^{(k)} = r^{(k)} - \mu_r$）を計算する。すべてのロールアウトが同一の軌跡を生成する場合、アドバンテージはゼロに崩壊し、最適化が停滞する。
• 潜在推論の課題: 標準的な思考の連鎖（Chain-of-Thought; CoT）モデルが確率的なトークンサンプリングから多様性を導き出すのに対し、連続潜在推論モデル（COCONUT など）は決定論的な隠れ状態の再帰によって動作する。プロンプトと固定パラメータが与えられた場合、複数のロールアウトは同一の潜在軌跡と回答を生成する。
• 結果: 標準的な GRPO をこれらのモデルに適用すると、分散がゼロ（$\sigma_r = 0$）となり、方策勾配が消失し、学習信号が生成されなくなる。

2. 手法：Dropout-GRPO

著者らは、変分推論の理論的保証を維持しつつ、**構造化ドロップアウト（structured dropout）**を通じて潜在推論プロセスに必要な確率性を注入する手法として、Dropout-GRPO を提案している。

コアメカニズム：共有マスク・バリエーショナル・ドロップアウト

標準的なトークンレベルのサンプリングの代わりに、この手法はパラメータレベルでの確率性を導入する：

1. マスク生成: 各ロールアウト $k$ に対して、単一のベルヌーイ・マスク $\xi^{(k)}$ が抽出される。
2. 一貫性: このマスクは、その特定のロールアウト内におけるすべての $T$ 個の潜在再帰ステップにわたって一定に保持される。
3. 摂動: マスクはネットワークの重みに対して構造的な摂動 $\tilde{\theta}(\xi)$ を誘発する。潜在再帰は $h_t = f_{\tilde{\theta}(\xi)}(h_{t-1})$ となる。
4. マスク・リプレイ: 決定的なことに、マスクの RNG シードはロールアウトフェーズ中に保存される。方策更新時、同じマスクが再生成され適用される。これにより、報酬が評価される軌跡が、$\theta = \theta_{old}$ のときの勾配計算に使用される軌跡とビット単位で同一であることが保証される。

理論的解釈

• ベイズモデル平均: ガルとガハラマニ（Gal and Ghahramani）に従い、共有マスクは各ロールアウトを、構造化されたパラメータ分布からの単一の後験サンプルとして扱う。周辺方策 $\bar{\pi}_\theta$ は、ベイズモデル平均として解釈される。
• 勾配の不偏性: 著者らは、平均のみのアドバンテージ（$A^{(k)} = r^{(k)} - \mu_r$）を用いた代理勾配が、$(1 - 1/K)$ でスケールされた周辺方策の期待報酬の勾配の不偏推定量であることを証明している。
• 分散減少: 更新時に新しいマスクを再サンプリングするのではなく、ロールアウト時と同じマスクを再利用（共通乱数法：Common Random Numbers）することで、更新時の分散を低減する。

実装上の洗練

学習を安定させるために、4つの具体的な洗練策が導入されている：

1. Huber化された $k_3$ KL: 標準的な KL ダイバージェンス推定におけるクランプ処理を、Huber 型の拡張に置き換えることで、対数比が大きいトークンにおいて勾配が消失することを防ぎ、正則化なしにドリフトしてしまう「脱走」トークンを回避する。
2. 信頼領域アニーリング: KL 係数 $\beta$ を学習率 $\eta_t$ に比例してアニーリングし、KL による引き戻しが方策勾配を打ち消して平衡状態に固定されるのを防ぐ。
3. グループレベルの精度フィルタ: 実測精度 $\mu_r$ が設定されたウィンドウ（例：$[0.20, 0.95]$）の外にあるグループを破棄する。これは創発的なカリキュラムとして機能し、非自明な分散を持つプロンプトに計算資源を集中させる。
4. DDP 協調スキップ: グループを破棄する際の分散学習の一貫性を確保する。

3. 主な貢献

1. 潜在 RL の新しいパラダイム: 本論文は、決定論的な潜在再帰が GRPO 失敗の原因であることを特定し、共有マスク・バリエーショナル・ドロップアウトという、最小限かつ理論的にクリーンな解決策を提案した。これは、グループ相対 RL を連続潜在推論モデルに成功裏に適用した最初の手法である。
2. 理論的正当化:
   • 標準的な Transformer の正則性下で、潜在ヤコビアン $\partial h_T / \partial \theta$ が定義可能であることを証明。
   • 周辺方策に対する代理勾配の不偏性を証明。
   • マスクのリプレイが共通乱数法による分散減少を提供することを実証。
3. 実験的検証: GSM8K ベンチマークにおいて COCONUT モデルに GRPO を適用し、決定論的な GRPO が完全に失敗する領域で成功させた。
4. リファレンス実装: 全体の潜在再帰にわたってビット単位で同一のマスク・リプレイを実現するコードを公開。

4. 実験結果

実験は、潜在深度 $T=6$ の Qwen2.5-1.5B をベースモデルとして行われた。

• 性能向上: Dropout-GRPO は、COCONUT ベースラインの GSM8K pass@1 精度を 27.29% から 29.01% に向上させた。
• 能力の回復: カリキュラム学習によって引き起こされた SVAMP データセットにおける 1.33 ポイントの性能低下を逆転させ、ベースモデルの分散に一致する 44.00% まで性能を回復させた。
• アブレーション研究:
  • 決定論的 GRPO: 完全に失敗し、ゼロ・アドバンテージにより SFT 初期値と同一の平坦な学習軌跡を示した。
  • REINFORCE + Dropout (EMA): 高い分散により失敗。単一ロールアウトの勾配はノイズが多く、SFT 初期値を安定させるには不十分であった。
  • Dropout-GRPO: 有用な学習信号を生み出した唯一の構成であり、この設定においてグループ相対ベースラインが分散減少に不可欠であることを確認した。

5. 意義と主張

本論文は、この研究を、ポストトレーニングにおける潜在推論型大規模言語モデル（LLM）のための実用的かつ理論的に根拠のあるアプローチとして位置づけている。

• 実現可能性: 潜在状態内で直接推論を行うモデルに対して、RL ポストトレーニングが可能であることを示しており、これはロールアウトの多様性の欠如によって以前は阻まれていた能力である。
• メカニズム: ドロップアウトを（現代の LLM ではしばしば無効化される）正則化器としてではなく、変分方策最適化に必要な構造化された外生的確率性の源として再定義している。
• 限界: 著者らは、改善の幅（GSM8K で 1.72 ポイントの利得）について謙虚であり、これはバックボーンの規模（1.5B）の小ささと、適切な簡潔なステップの推論データセットの不足に起因すると述べている。また、デプロイされた方策（ドロップアウトなしの推測）は最適化された周辺方策とは異なり、リプシッツ定数に依存するバイアスが生じることも指摘している。

要約すると、Dropout-GRPO は、グループ相対強化学習と連続潜在推論の間の溝を埋め、決定論的な内部ダイナミクスによって GRPO を利用できなかったモデルの最適化を可能にするものである。