技術要約：言語モデルのための表現ベースの探索（Representation-Based Exploration）

問題提起

強化学習（RL）は、数学的推論やコード生成など、検証可能な報酬を伴うタスクにおいて、言語モデル（LM）を強化する上で有望であることを示してきました。しかし、現在のRLポストトレーニング技術における決定的な限界は、それらが真に新しい振る舞いを発見しているのか、あるいは単にベースモデルに既に存在する能力を「研ぎ澄ませて」（増幅させて）いるだけなのかという不確実性にあります。既存のエビデンスは、標準的なRLの手法が、事前学習モデルに欠けている能力を解き放つことに失敗し、既知の解へと収束してしまうことが多いことを示唆しています。さらに、これを軽減するためのデータキュレーションやアルゴリズムによる介入が、特に複雑でオープンエンドな領域においてボトルネックとなりつつあります。

本論文は、意図的な探索（deliberate exploration）、すなわち、真に新規で多様な振る舞いをモデルが発見することを明示的にインセンティブ化することが、言語モデルの推論におけるRLの潜在能力を最大限に引き出すために不可欠であると主張しています。中心となる課題は、言語の組合せ爆発的な空間の中で、いかにスケーラブルに新規性と多様性を定量化するか、そして事前学習モデルに埋め込まれた事前知識をどのように活用して効率的な探索を導くかという点です。

手法

著者らは、事前学習済み言語モデルの隠れ状態から導出される楕円ボーナス（elliptical bonuses）を利用した、**表現ベースの探索（representation-based exploration）**戦略を提案しています。この手法は、以下の二段構えのアプローチによって評価されます。

1. 推論時の選択（Inference-Time Selection）

多様性の役割を最適化や汎化から分離するために、著者らはまず推論時の選択問題を定義します。プロンプト $x$ と、固定されたモデル $\pi$ によって生成された $N$ 個の候補レスポンスの大きなプールが与えられたとき、目標は、最大限に多様であり、かつ正解を含む確率が高い $k$ 個のレスポンスのサブセットを選択することです。

• メカニズム (RepExp): このアルゴリズムは、楕円ボーナスを最大化するようにレスポンスを反復的に選択します。レスポンス $y$ に対して、特徴ベクトル $\bar{h}_\theta(x, y)$ は、モデルの最終層の隠れ状態をレスポンスのトークンにわたって平均化することで構築されます。
• 多様性指標: 以前に選択されたレスポンスの集合に対する候補 $y$ の新規性は、$div(y) = \bar{h}_\theta(x, y)^\top \Sigma^{-1} \bar{h}_\theta(x, y)$ として定義されます。ここで $\Sigma$ は選択された特徴の共分散行列です。逆共分散行列は、ウッドベリーの公式（Woodbury identity）を用いて効率的に更新されます。
• 目標: このアプローチは、検証器（verifier）に問い合わせるための多様なレスポンスの「コアセット」を選択し、検証器の効率（verifier efficiency）（正解を見つけるために必要なサンプル数を減らすこと）の向上を目指します。

2. RLポストトレーニング（RL Post-Training）

著者らは、この探索戦略をGRPO（Group Relative Policy Optimization）ポストトレーニング・パイプラインに統合しています。

• 報酬の拡張: サブセットを選択する代わりに、楕円ボーナスを外的な報酬に直接加算します。ロールアウト $y_i$ に対して、報酬は $r(x, y_i) + \beta \cdot \bar{h}_\theta(x, y_i)^\top \Sigma^{-1} \bar{h}_\theta(x, y_i)$ となります。
• 実装: 共分散行列 $\Sigma$ は、現在のバッチ内のロールアウトに対する新規性を測定するために、各トレーニングバッチごとに再初期化されます。スケーラビリティを確保するため、特徴ベクトルは疎なランダム投影（sparse random projection）を通じて低次元（例：512次元）に投影されます。

3. トークンレベルへの拡張（予備的検討）

概念実証として、著者らは自己回帰的な生成プロセス自体を修正することも検討しています。各生成ステップにおいて、楕近ボーナスを用いてトークンレベルのロジットを摂動させることで、事後的な選択ではなく、生成プロセス中の多様性をガイドすることを目指しています。

主な貢献と知見

1. 検証器効率の向上（推論時）

本論文は、表現ベースの探索が、幅広いモデル（Phi, Llama, Qwen）およびタスク（MATH, GSM8K, MBPP+, Game of 24）において、検証器効率を大幅に改善することを実証しています。

• 結果: Qwen-2.5-14b-Instructのようなモデルでは、ランダムサンプリングと比較して、正解を見つけるために必要なサンプル数が50%以上改善されました。
• モデルの強さとの相関: 探索による恩恵はモデルの強さに比例してスケールします。強いモデル（例：Qwen-32B）は顕著な恩恵を受ける一方で、弱いモデルでは改善が見られないか、あるいは性能が低下する場合もあります。
• 難易度への感度: この手法は、最も難しい問題（例：MATHにおける上位20%の難問）において最大の効率向上を提供します。

2. ポストトレーニング性能と多様性の向上

表現ベースの探索をRLポストトレーニングに統合することで、標準的なGRPOや「Unlikeliness（非尤らしさ）」ベースラインと比較して、優れた性能が得られます。

• Pass@kの向上: 本手法は、大きな $k$ に対してpass@k率を維持または向上させます。これに対し、標準的なGRPOは、大きな $k$ に対してベースモデルの性能を低下させることがよくあります（これは「多様性の崩壊（diversity collapse）」として知られる現象です）。
• サンプル効率: AIME 2024ベンチマークにおいて、RepExpを用いたポストトレーニング済みのQwen-2.5-7b-Instructは、標準的なGRPOのpass@256に匹敵するpass@80を達成しました。これは、テスト時のサンプル効率において3倍の向上を意味します。
• アンチ・シャープニング（Anti-Sharpening）: ベースモデルにおける対数尤度の分析により、RepExpは、ベースモデルの分布を鋭利化（sharpen）させる傾向にある標準的なGRPOよりも、有意に新規性の高い（尤度が低い）レスポンスを生成していることが明らかになりました。これは、本手法が「鋭利化のレジーム（sharpening regime）」からの脱出に成功していることを示唆しています。

3. 高コストな検証への応用

予備的な実験として、タンパク質配列生成（ウェットラボによる検証が高コストな領域）において、本手法はランダムサンプリングと比較して検証器の効率を最大56.9倍向上させ、検証コストが高いドメインにおける有用性を示しました。

重要性と主張

本論文は、表現ベースの多様性という原理に基づいた概念を用いることで、意図的な探索が、単なる「鋭利化」を超えて、言語モデルが新しい振る舞いを発見するための実用的な道筋であることを主張しています。

• アプローチの新規性: 補助ネットワーク（例：Random Network Distillation）や複雑なデータキュレーションに依存する従来の研究とは異なり、本手法は事前学習済みモデル自身の隠れ状態を活用するため、追加の学習機構を必要としません。
• 検証戦略: 著者らは、多様性の恩恵を他のRLメカニズムから切り離すための、二段階の評価（推論時の選択とポストトレーニング）の価値を強調しています。
• 限定的な範囲: 著者らは、現在の実装が「シンプルで原理的な」スキームであることを認めています。彼らは、すべての探索の課題を解決したと主張しているのではなく、このアプローチが強力なベースラインを提供し、より洗練された戦略とのトレードオフを理解するための枠組みを提供することを示唆しています。また、トークンレベルの探索は有望ではあるものの、現在は最適化が必要な高い計算コストを伴うことも指摘しています。

要約すると、本論文は、表現ベースのボーナスを通じて多様な振る舞いの発見を明示的にインセンティブ化することにより、標準的なRLポストトレーニングが見逃してしまうような新しい解を言語モデルに見つけさせ、推論能力をより効果的に拡張できると論じています。