技術的概要：LaDi-RL

問題定義

強化学習（RL）は、推論経路の最適化を通じて大規模言語モデル（LLM）の推論能力を強化するための支配的なパラダイムとなっています。しかし、既存の手法は主に離散トークン系列に対する方策の最適化に依存しています。このアプローチは根本的な不一致を生み出します。すなわち、重要な推論決定はしばしば意味的・全球的・経路レベルのものであるのに対し、トークンレベルの最適化は局所的な摂動に依存しているという点です。

この不一致は多様性の崩壊（diversity collapse）と呼ばれる現象を引き起こします。これは、モデルの方策が狭い範囲の推論パターンに確率質量を集中させ、代替戦略を抑制する現象です。トークンレベルの探索は「therefore」を「so」に置き換えるような語彙的変異を生成できますが、代数的推論から幾何学的推論への切り替えなど、意味的に異なる戦略を発見することには苦労します。その結果、RL 微調整モデルは pass@1（単一サンプル精度）を向上させることが多い一方で、大きな $k$ における pass@k 性能を維持または向上させることができず、多様な正解経路の喪失を示しています。

さらに、探索を連続潜在空間へ移行させることはクレジット割り当ての課題（credit-assignment challenge）をもたらします。潜在空間 RL では、方策は連続潜在空間内で作用しますが、報酬は潜在経路がテキストに復号化された後にのみ観測されます。単純なロールアウト戦略は、潜在推論の質とテキスト復号の質を絡み合わせます。低い報酬は、欠陥のある潜在経路に起因する可能性もあれば、健全な潜在経路の不完全なテキスト実現に起因する可能性もあり、ノイズの多い誤解を招く学習信号を生み出します。

手法：LaDi-RL

著者は、エントロピーの崩壊を防ぐために拡散モデルを用いて連続潜在空間における探索を再定義するフレームワークである強化学習を伴う潜在拡散推論（Latent Diffusion Reasoning with Reinforcement Learning, LaDi-RL）を提案します。

1. 潜在拡散方策

推論をトークンごとに生成する代わりに、LaDi-RL は変分オートエンコーダ（VAE）を用いて、全体の推論経路をコンパクトな連続潜在ブロック（例：64 トークン）に符号化します。方策は、これらの経路表現に対する拡散モデルとしてパラメータ化されます。

• メカニズム: ノイズから開始し、方策は潜在的な推論経路に向かって反復的にノイズ除去を行います。このプロセスは構造化された探索と表現力豊かな分布モデル化を可能にし、自然に多モーダルな推論戦略をサポートします。
• 多様性ガイダンス: 崩壊をさらに防ぐため、著者は反発に基づくガイダンス機構を導入します。ノイズ除去プロセス中、近接する潜在経路に対して反発力が適用され、それらが潜在空間内で分離することを促します。これは局所的な幾何学的正則化として機能し、方策エントロピーのみに依存することなく多様性を明示的に維持します。

2. 階層的潜在 - テキストロールアウト

クレジット割り当ての課題に対処するため、LaDi-RL は階層的 $N \times M$ ロールアウト戦略を採用します。

• 潜在サンプリング（$N$）: 与えられたクエリに対して、拡散方策は $N$ 個の異なる潜在推論経路をサンプリングします。
• テキスト復号（$M$）: サンプリングされた各潜在経路に対して、テキスト方策は $M$ 個の候補回答テキストを生成します。
• 復号器マージナライズ報酬: $M$ 個のテキスト完了の報酬を集約（平均化）し、基礎となる潜在経路の有用性を推定します。この「復号器マージナライズ」推定は、テキスト復号の確率性から潜在推論の質を分離し、拡散方策の最適化のためのクリーンで分散の低い報酬信号を提供します。

3. 同時最適化

このフレームワークは、グループ相対方策最適化（GRPO）を用いて 2 つの異質な方策を同時に最適化します。

• 潜在方策: 各潜在ブロックに関連する $M$ 個のテキストの平均報酬を用いて最適化されます。目的は、拡散モデルが多様で高品質な推論モードを探索することを促すことです。
• テキスト方策: 同じ潜在ブロックから生成された $M$ 個のテキスト間の相対的差異を用いて最適化されます。これにより、テキスト方策は与えられた推論戦略に対する最適なテキスト実現を見つけるよう強制され、新しい戦略の探索から切り離されます。
• 損失関数: 潜在損失とテキスト損失の加重和により、潜在方策が多様な思考連鎖を探索しつつ、テキスト方策は忠実かつ効果的な生成器として機能することが保証されます。

主要な結果

著者は、コード生成および数学的推論のベンチマークにおいて LaDi-RL を評価し、トークンレベルの RL ベースライン（例：Vanilla GRPO、エントロピー利得付き GRPO）および他の潜在推論手法と比較しました。

• 性能向上: LaDi-RL は、トークンレベルの RL ベースラインと比較して、コード生成で +9.4%、数学的推論で +5.7% の絶対的な pass@1 向上を達成しました。
• 多様性の維持: 大きな $k$ において pass@k がベースモデルを下回る多様性の崩壊を示す Vanilla GRPO と異なり、LaDi-RL はすべてのベンチマークでベースモデルの pass@k 性能を常に上回りました。例えば、AIME 2025 において、pass@128 で +13.4 の絶対的向上を達成しました。
• 効率性: 復号前に推論を潜在ブロック（64 トークン）に圧縮することで、LaDi-RL は生成トークン数を大幅に削減しました（コードタスクにおいて、標準 GRPO の約 3,447 トークンから LaDi-RL の約 422 トークンへ）。これにより、エンドツーエンドの推論時間が 33% 削減されました。
• アブレーション研究:
  • 経路レベル対トークンレベル: 潜在経路空間での探索は、トークンレベル（0.18–0.22）と比較して有意に高い意味的多様性（0.52）と強力な性能をもたらしました。
  • 拡散対 VAE: 拡散ベースの方策は、単一ステップの VAE サンプリングを上回りました。これは、複雑な潜在推論分布を学習するための反復的ノイズ除去の重要性を示しています。
  • 階層的ロールアウト: $N \times M$ 構造は決定的でした。$N$（潜在多様性）の増加は意味的多様性を駆動し、$M$（テキスト平均化）の増加はクリーンな報酬信号を提供しました。

意義と主張

本論文は、LaDi-RL が LLM 推論の向上に対するトークンレベル RL の原理的な代替案を提供すると主張しています。その主な意義は以下の点にあります。

1. 多様性の崩壊の緩和: 局所的なトークン摂動から全球的な経路レベルの拡散へと探索を移行させることで、この手法は多様な解決戦略のセットを維持し、方策が局所最適解に収束するのを防ぎます。
2. クレジット割り当ての解決: 階層的ロールアウトと復号器マージナライズ報酬推定は、推論の質を復号ノイズから効果的に分離し、潜在方策の安定した最適化を可能にします。
3. 効率性と品質: このアプローチは、潜在圧縮による計算オーバーヘッドの大幅な削減を実現しながら、精度（pass@1）と多様性（pass@k）の両方で最先端の性能を達成します。

著者は、潜在拡散が構造化された探索のための堅牢なメカニズムを提供し、トークンレベルの手法が見逃す意味的に異なる推論戦略をモデルが発見できるようにすることで、解決策の多様性を犠牲にすることなくより高い推論の境界を解き放つと結論付けています。