技術要約：適応的RLファインチューニングのためのカルマン誘導型プロンプト選択 (KGPS)

1. 問題提起

強化学習（RL）によるファインチューニングは、大規模言語モデル（LLM）の推論能力を大幅に向上させるが、その有効性は、現在のポリシーに対して適切な難易度のトレーニングプロンプトを選択できるかどうかに大きく依存する。この領域における決定的な課題は、**非定常性（non-stationarity）**である。すなわち、ポリシーが改善するにつれて、プロンプトの難易度は進化する。以前は有益であったプロンプトが些細なものになり、かつては難しすぎたものが学習可能なものへと変化する場合がある。

既存のオンライン・プロンプト選択手法は、以下のトレードオフに直面している：

• 評価ベースのアプローチ（例：Dynamic Sampling）：正確ではあるが計算コストが高く、プロンプトの成功率を推定するために膨大な追加のロールアウトを必要とし、標準的なトレーニングの7倍の推論オーバーヘッドが発生することが多い。
• 予測ベースのアプローチ（例：MoPPS, GRESO）：効率的ではあるが、通常、プロンプトの難易度を定常的な潜在パラメータとしてモデル化する。これらは非定常性を扱うためにヒューリスティックな減衰係数に依存しているが、連続的なポリシー更新によって引き起こされる難易度の変化する景観を正確に追跡することには失敗しており、結果として推定誤差が持続的に高くなってしまう。

本論文は、追加の推論コストをかけることなく、進化するポリシーとの整合性を維持するためには、静的なパラメータ推定から**動的な状態推定（dynamic state estimation）**への原理的な転換が必要であると主張している。

2. 手法：カルマン誘導型プロンプト選択 (KGPS)

KGPSは、プロンプト選択を動的な状態推定問題として再定式化する。プロンプトの成功率を固定されたパラメータとして扱うのではなく、KGPSはそれを**線形ガウス状態空間モデル（SSM）**内の時変な潜在状態としてモデル化する。

コア構成要素：

1. ロジット空間における状態空間定式化：

   • ステップ $t$ におけるプロンプト $\tau$ の潜在的な成功率 $\phi^t_\tau$ は、ロジット空間 $\psi^t_\tau = \text{logit}(\phi^t_\tau)$ に変換される。
   • 状態進化： 潜在状態はランダムウォークとして進化する：$\psi^t_\tau = \psi^{t-1}_\tau + w^t_\tau$。ここで、プロセスノイズの分散 $Q_t$ は、ポリシー更新の大きさに明示的に結合されている：$Q_t = \gamma \cdot \|\theta^t - \theta^{t-1}\|^2$。これにより、ポリシーが大幅に変化したときに不確実性が増加し、プロンプトの難易度の変化を反映することが保証される。
   • 観測モデル： プロンプトが選択され $k$ 回のロールアウトが行われると、経験的な成功率はデルタ法を通じて、ロジット空間におけるガウス観測を近似するように変換される。

2. 事後分布維持のためのカルマンフィルタ：

   • KGPSは、プール内のすべてのプロンプトに対してガウス事後分布 $N(\hat{\psi}^t_\tau, P^t_\tau)$ を維持するためにカルマンフィルタを採用する。
   • 予測ステップ： すべてのトレーニングステップにおいて、すべてのプロンプト（選択されたものもされないものも含む）の分散 $P^t_\tau$ は、$Q_t$ によって膨張させられる。このメカニズムにより、最近評価されていないプロンプトの不確実性スコアが自然に上昇し、それらが永久に無視されることを防ぐ。
   • 更新ステップ： 前のステップで選択されたプロンプトについては、フィルタが新しいロールアウトの観測結果を取り込み、平均を更新して分散を減少させる。

3. 事後期待ユーティリティ選択：

   • KGPSは、難易度の点推定に基づいてプロンプトを選択するのではなく、事後期待トレーニングユーティリティを最大化することでプロンプトを選択する：$\tilde{A}(\tau, t) = \mathbb{E}_{\psi \sim N(\hat{\psi}^t_\tau, P^t_\tau)}[h(\psi)]$。ここで、$h(\psi) = \sigma(\psi)(1-\sigma(\psi))$ は中間的な難易度でピークに達する。
   • この期待値は、完全な事後分布全体にわたって積分を行う。その結果、不確実性の高い（大きな $P^t_\tau$ を持つ）プロンプトが自然に高いスコアを受け取り、現在の推定値の活用（exploitation）と、不確実なプロンプトの探索（exploration）のバランスをとる。
   • 期待値はガウス・エルミート求積法を用いて効率的に計算され、確率的なサンプリングを必要としない。

主要な効率化機能： KGPSは、標準的なポリシー・トレーニングのために既に生成されたロールアウトの結果のみで完全に動作する。プロンプト選択のプロセス自体に追加のロールアウトやLLMの推論を必要としない。

3. 主な貢献

本論文は、主に3つの貢献を特定している：

1. 難易度追跡の再定式化： 著者らは、プロンプトの難易度を静的なパラメータとして扱うのではなく、プロセスノイズがポリシー更新の大きさに結合された線形ガウスSSMを用いた動的な状態推定問題としてモデル化することを提案している。
2. カルマンフィルタの導出とユーティリティスコア： オンラインでの難易度追跡のためのカルマンフィルタを導出し、手動調整された減衰スケジュールなしに探索と活用を両立させる事後期待ユーティリティスコアを導入した。
3. 実証的検証： 広範な実験により、KGPSが数学、計画、幾何学的推論のタスクにおいて、計算オーバーヘッドをほとんど増やすことなく、既存のベースラインと比較して最終的な精度とロールアウト効率の両方で一貫して優れた性能を示すことを実証した。

4. 実験結果

著者らは、様々なモデルスケール（Qwen3-0.6BからDeepSeek-R1-Distill-7Bまで）およびRLアルゴリズム（GRPO, PPO, Reinforce++）を用いて、3つの推論ベンチマーク（数学、プランニング/カウントダウン、視覚幾何学）でKGPSを評価した。

• パフォーマンス vs ロールアウトコスト： DeepSeek-R1-Distill-7Bモデルにおいて、KGPSは評価ベースのOracle（Dynamic Sampling）と同等またはわずかに優れた性能を達成しながら、83%少ないロールアウトを使用することに成功した。予測ベースのベースラインであるMoPPSと比較して、KGPSは同じロールアウト予算を用いながら、6つの数学ベンチマーク全体で平均0.12ポイントの性能向上を実現した。
• 精度の向上： すべてのモデルスケールとタスクにおいて、KGPSはオンライン選択手法の中で一貫して最高のテスト精度を達成し、膨大な計算コストを要するOracle (DS) を上回ることさえあった。
• 推定精度： KGPSは、MoPPS (MAE ≈ 0.40) と比較して、予測成功率と経験的成功率の間の平均絶対誤差 (MAE ≈ 0.15) を有意に低く維持し、非定常な難易度の追跡において優れた性能を示した。
• アブレーション研究：
  • 事後期待（点推定を使用）を除去すると、性能が約1.09ポイント低下した。
  • プロセスノイズをポリシー更新の大きさから切り離す（固定ノイズを使用）と、性能が約1.21ポイント低下し、適応的な不確実性の重要性が確認された。
  • ウォームアップ初期化を除去すると、わずかな性能低下が見られ、安定した初期事後分布の必要性が検証された。

5. 意義と主張

本論文は、KGPSがRLファインチューニングにおけるオンライン・プロンプト選択の新しい最先端（SOTA）を確立すると主張している。その意義は、効率性と適応性の間の緊張関係を解決したことにある：

• 膨大な計算オーバーヘッドを伴う評価ベースの手法の精度を、その計算コストなしで実現した。
• 静的な予測ベースの手法の限界を、非定常なRLトレーニングダイナミクスの性質を厳密にモデル化することで克服した。
• 難易度を静的なパラメータではなく動的な状態として扱うことで、KGPSは、無視されたプロンプトを自然に再訪するための原理的なメカニズムを提供し、トレーニング・カリキュラムがモデルの進化する能力と整合し続けることを保証する。

著者らは、動的な状態推定が、適応的RLファインチューニングのための静的な難易度近似に対する、実用的かつ優れた代替手段であると結論付けている。