技術的サマリー：ベクトル方策最適化（VPO）

問題定義

現在の大規模言語モデル（LLM）のポストトレーニングパラダイム、特に群相対方策最適化（GRPO）を用いた強化学習（RL）に基づくものは、単一の事前指定されたスカラー報酬の最適化を目指している。特定の確率の高い回答への収束には効果的であるが、このアプローチはしばしば「モードの崩壊」を引き起こし、方策が低エントロピーの回答分布を生み出すようになる。この多様性の欠如は、LLM がテスト時の探索手順（拒否サンプリング、AlphaEvolve などの進化アルゴリズム、またはベスト・オブ・$k$ 選択など）内で展開される際に、重要なボトルネックとなる。

探索拡張システムにおいて、トレーニング段階は理想的には、探索アルゴリズムが活用できる多様で有能な候補の豊富なプールを提供すべきである。しかし、標準的なスカラー RL トレーニングは、候補分布を単一の最適トレードオフへと収束させ、追加のサンプルがほぼ重複したものとなる原因となる。その結果、探索手順は、競合する目的間の異なるトレードオフ（例えば、コードの正確性対効率性、または多段推論問題における異なる推論経路など）を必要とする優れた解を発見することができなくなる。

手法：ベクトル方策最適化（VPO）

著者は、ベクトル値報酬のパレートフロンティアを横断する多様な解のセットを明示的に生成するよう方策を訓練するために設計された RL アルゴリズムである**ベクトル方策最適化（VPO）**を提案する。VPO は、多くの現実的なタスク（コード生成、多段推論、ツール使用）において、報酬は自然にベクトル成分（例えば、テストケースごとの正誤、基準ごとの評価）に分解されるという前提に基づいて動作する。

VPO は 2 つの中核的コンポーネントから構成される：

1. コンテキスト内探索としての多回答チェーン：
   単一の応答をプロンプトごとに生成する代わりに、モデルは単一の自己回帰ロールアウト内で $m$ 個の候補完了セット（$S = \{y_1, \dots, y_m\}$）を出力するように訓練される。各後続の候補は、コンテキスト内の以前に生成された回答に注意を向けることができるため、モデルは解空間のどの領域がカバーされているかを明示的に認識し、新しい候補を未探索の領域へと誘導することができる。これにより、多様性はサンプリングノイズの副産物から、明示的なコンテキスト内メカニズムへと変換される。

2. 確率的スカラー化によるセットレベル最適化：
   モデルが単一のモードへ収束するのではなく、多様なセットを生成するようにインセンティブを与えるため、VPO は固定されたスカラー報酬を報酬重み付けの分布に置き換える。

   • 各ロールアウトにおいて、重みベクトル $w$ がディリクレ分布からサンプリングされる（$w \sim \text{Dir}(\alpha)$、ここで $\alpha=1$ は単体上の一様分布を意味する）。
   • セット $S$ の報酬は、サンプリングされた重みに対する最大スカラー化報酬の期待値として計算される：
     $$R(S) = \mathbb{E}_{w \sim \text{Dir}(\alpha)} \left[ \max_{y \in S} w^\top r(x, y) \right]$$
   • この目的関数は、セット $S$ の異なる要素が報酬成分の異なるトレードオフに特化することを促すことで、パレートフロンティアをカバーするモデルを報酬する。

VPO は、GRPO 利度推定量のドロップイン代替として実装される。これは GRPO フレームワークを使用するが、確率的スカラー化から導出されたセットレベル報酬に基づいて利度を計算し、グループ内の $G$ 個のロールアウト間で $K$ 個の重みベクトルを共有して比較可能性を確保する。

主要な貢献

1. RL ポストトレーニングの再定義：この論文は、テスト時探索を備えたシステムにおいて、RL トレーニングの役割は、単一の最良回答への収束から、有能な解のセットの多様性の最大化へとシフトすべきであると論じる。探索はトレーニング段階で、利用は探索手順に委ねる。
2. ベクトル報酬構造：実用的なタスクにおける報酬のベクトル値的性質が、多様性のための自然なメカニズムを提供することを示す。異なる目的のパレートフロンティアをカバーするようにモデルを訓練することで、方策は異なる重み付けの下で最適となる代替案の集団を維持する。
3. VPO アルゴリズム：著者は、多回答生成とランダム化された報酬スカラー化を組み合わせた VPO を提案する。これにより、モデルは単一のロールアウト内で多様な候補セットを生成し、単一のスカラーピークではなく、報酬空間のカバレッジを最適化することができる。

実験結果

著者は、Maze（アイテムのトレードオフを伴うナビゲーション）、MuSiQue（多段 QA）、EUREQA（連鎖推論）、ToolRL（関数呼び出し）という 4 つの多様なドメインで VPO を評価した。標準的な GRPO、Multi-RLVR（固定スカラー報酬を伴う多回答）、Random-Weighting GRPO、および Max-at-$k$ トレーニングを含むいくつかのベースラインと比較した。

• テスト時スケーリング：すべてのドメインにおいて、VPO はbest@k指標においてスカラーベースラインを一貫して上回った。スカラー GRPO の性能は $k$ が増加するにつれて急速に頭打ちになった（候補の崩壊を示唆）のに対し、VPO は追加のサンプルとともに改善を続け、探索予算が増大するにつれてその差が広がった。
• 多様性指標：VPO は高い報酬空間多様性（報酬ベクトル間のペアワイズ L1 距離で測定）を維持したが、Multi-RLVR や標準 GRPO などのベースラインはトレーニングの初期段階でほぼ同一の報酬ベクトルへと収束した。
• 難問と進化探索：LiveCodeBench（競技プログラミングベンチマーク）に関するケーススタディにおいて、VPO 訓練モデル（Qwen2.5-Coder-7B）は、計算リソースを同等にした GRPO モデルを大幅に上回った。重要なのは、OpenEvolve（進化探索ループ）に統合された場合、VPO モデルは候補予算のいかなる設定においても GRPO モデルが解くことのできなかった問題を解決したことであり、VPO が複雑なトレードオフを必要とする解を可能にすることを示している。
• アブレーション研究：
  • 確率的スカラー化なしの多回答生成だけでは、多様性を維持するには不十分であった。
  • 多回答チェーンなしの確率的スカラー化だけでは、同様の効果は得られなかった。
  • 目標条件付き GRPO（特定の重みへの条件付け）は VPO に匹敵せず、推論時に明示的に重みに条件付けるよりも、コンテキスト内で多様なセットを生成する方が効果的であることを示唆している。
  • VPO の利点は、報酬成分が非共線（すなわち、真のトレードオフが存在する）である場合に最も顕著であった。ほぼ共線な報酬を持つドメイン（例：UltraFeedback）では、VPO の優位性は理論的前提と一致して減少した。

意義と主張

この論文は、テスト時探索が AI システムの標準的なコンポーネントとなるにつれて、多様性の最適化がデフォルトのポストトレーニング目標となるべきであると主張する。著者は、VPO が探索（多様なプールへのトレーニング）と利用（探索時選択）を分離する原理的な方法を提供すると主張する。

VPO の意義は、以下の点にある：

• より困難な問題の解決：固定されたスカラー下では局所的に非最適に見えるが、探索に有用な部分的推論パターンを含む多様な戦略を維持することで、VPO はスカラー訓練された方策が完全に見逃す解の発見を可能にする。
• 計算リソースとのスケーリング：VPO とスカラーベースラインの性能差は、テスト時探索予算が増加するにつれて広がり、計算集約的な推論シナリオにおいて VPO を特に価値あるものにする。
• ドロップイン互換性：VPO は既存の LLM のアーキテクチャに変更を必要とせず、GRPO などの標準的な RL フレームワークにおける利度推定量の単純な代替として機能する。

著者は、VPO が即座の利用を優先する探索を優先するため pass@1 パフォーマンスを犠牲にする一方で、テスト時探索が利用可能な領域においては優れたアプローチであり、方策最適化を実質的にパレートフロント上のカバレッジ問題へと変換すると結論付けている。