技術的概要：Pass@k を超えて：複数サンプルコード生成のための冗長性認識型 RLVR

問題定義

コード生成のための大規模言語モデル（LLM）は、通常、Pass@k指標を用いた反復サンプリング設定で評価されます。Pass@k は、$k$個のサンプリングされたプログラムのうち少なくとも 1 つが単体テストに合格する確率を測定します。最近の検証器ベースの強化学習（RLVR）手法は、テストフィードバックに対する最適化を通じて実行可能性の正確さを向上させることに成功しましたが、これらのモデルの実装レベルの冗長性に関する振る舞いは未だ十分に理解されていません。

扱われている核心的な問題は、標準的な RL 目的（個別の正確性の最適化）と Pass@k 意識型目的（グループ全体の成功の最適化）が、質的に異なる生成振る舞いを誘発しうる点です。具体的には、有限のサンプリング予算下での性能向上が、多様で異なる実装パターンの発見に起因するのか、それとも狭い範囲のほぼ重複する解の周りに生成を集中させることに起因するのかは不明です。Pass@k などの現在の指標は、これら 2 つのシナリオを区別できず、より大きなサンプリング予算（$k$）における性能を制限しうる多様性の欠如を潜在的に隠蔽する可能性があります。

手法

1. 冗長性診断：JPlag

実装の冗長性を定量化するため、著者はコード向けに設計された剽窃検出システムであるJPlagを採用します。変数名の変更や書式設定などの表面的な編集に敏感な語彙的重なり指標（n-gram など）とは異なり、JPlag は言語を認識するトークン化とマッチングを用いて構造的な類似性を検出します。

• 指標: 論文は**JPlag 多様性（JDiv）**を $1 - \text{平均ペアワイズ類似度}$ として定義します。JDiv が高いほど、冗長性は低くなります。
• 有用性: JPlag は、異なる RL 目的がサンプリング予算をどのように活用するかを分析するための診断ツールとして、また新しい学習信号の基盤として機能します。

2. ベースライン RLVR 目的

本研究は、既存の 3 つのアプローチを比較します。

• Base-RLVR（正確性のみの最適化）: グループ内のすべての正しいサンプルに対して加法的な報酬を割り当てます。クレジットは、成功した生成に対して独立して割り当てられます。
• Pass@k-RLVR: グループレベルの報酬を使用し、成功はグループ内の少なくとも 1 つのサンプルが正しいかどうかにかかっています。クレジットは、グループの成功状態を変更するサンプルを報酬とする「1 つ除外（leave-one-out）」のアドバンテージを通じて割り当てられます。
• PKPO（Pass@k 方策最適化）: Pass@k の原則を $k$ 以上のグループに拡張し、すべての $k$-部分集合にわたって「1 つ除外」アドバンテージを平均化します。

3. 提案手法：JPlag-RLVR

著者は、標準的な実行可能報酬に直接の冗長性抑制信号を付加する冗長性認識型 RLVR目的を提案します。

• 報酬関数: $R(x, Y^{(n)}) = R_{\text{corr}}(x, Y^{(n)}) + \lambda_{\text{div}} R_{\text{div}}(x, Y^{(n)})$。
  • $R_{\text{corr}}$ は標準的な正確性報酬です。
  • $R_{\text{div}}$ は JPlag 類似度（具体的には、平均ペアワイズ類似度の逆数）から導出されたスカラーの冗長性抑制報酬です。
• クレジット割り当て: 学習信号がサンプルのグループ多様性への限界貢献に依存することを保証するため、著者は多様性コンポーネントに対して**「1 つ除外」アドバンテージ**の構成を使用します。サンプルの包含がグループの冗長性を減少させる場合、そのサンプルは正のアドバンテージを受け取り、既存の生成を複製する場合は負のアドバンテージを受け取ります。
• 実装: この手法は、3 つのモデル（Qwen3-4B、Qwen3-8B、Olmo3-7B）と 3 つのベンチマーク（MBPP、Code-Contest、TACO-Cobalt）に適用されました。

主要な結果

1. 既存目的の分析

• 正確性のみの RLVR: Pass@1 を向上させますが、このアプローチは体系的に冗長性を増加させます。学習ダイナミクスは、Pass@1 が向上するにつれて JPlag 多様性が低下することを示しており、モデルが狭い範囲のほぼ重複する実装に集中していることを示唆しています。
• Pass@k 意識型目的: これらの手法（Pass@k-RLVR、PKPO）は、正確性のみのベースラインと比較して、暗黙的に低い冗長性と高い JPlag 多様性を維持します。これらは、より広い範囲の実装パターンをカバーすることで、より大きな予算（Pass@10、Pass@100）において性能をより顕著に向上させる傾向があります。

2. JPlag-RLVR の性能

• 有限予算での獲得: JPlag-RLVR を通じてほぼ重複する生成を直接抑制することは、有限予算における実行可能性能を確実に向上させます。モデルとベンチマークを跨いで、これはしばしば専門的な Pass@k 意識型目的と同等かそれ以上の性能を示します。
  • 例: Qwen3-8B による MBPP において、JPlag-RLVR は Pass@1 を 79.1 から 90.0 に、Pass@10 を 88.0 から 98.5 に向上させると同時に、JPlag 多様性を 0.305 から 0.927 に増加させました。
• トレードオフの最適化: この手法は、ベースラインと比較して性能 - 冗長性空間においてモデルを「右上（より高い Pass@k、より高い JDiv）」へ移動させる、優れたトレードオフを達成します。
• 頑健性: 向上は異なるランダムシードにおいて持続し、少数の outlier タスクによって駆動されるものではありません。獲得はプロンプト全体に分散しています。

3. 除去実験（アブレーションスタディ）

• エントロピーだけではない: サンプリング温度を上げると Pass@100 は向上しますが、Pass@1 は劣化し、明示的な冗長性抑制学習よりも小さな獲得しか得られません。
• 単なる冗長さではない: 獲得は、より長い完了や表面的なテキストのバリエーションによって引き起こされるものではありません。実行可能コードの長さは手法間で比較可能なままです。
• 正確性は不可欠: 正確性なしに多様性報酬のみで学習すると、JDiv は増加しますが、実行可能性能は崩壊します。冗長性抑制信号は検証器報酬とペアにする必要があります。
• 信号の特异性: 単純な語彙的（1-gram）多様性報酬はいくらかの向上を提供しますが、JPlag ベースの報酬が最も強力な結果をもたらします。これは、コード構造を認識する類似性が、表面的なバリエーションよりも反復実装を削減するためのより効果的な信号であることを示唆しています。

意義と主張

本論文は、実装の冗長性を、反復サンプリングによるコード生成のための重要な診断指標かつ実用的な最適化ターゲットとして特定すると主張しています。

1. 診断的価値: 本研究は、類似の実行結果を最適化するモデルが、非常に異なる冗長性構造を示しうることを実証しています。正確性のみの RLVR は生成を集中させる傾向がありますが、Pass@k 意識型目的は自然に多様性を促進します。
2. 最適化ターゲット: 著者は、JPlag 類似性を通じてほぼ重複する生成を明示的に罰することが、シンプルかつ効果的な介入であることを示しています。これは、複雑なクレジット割り当てスキームを必要とせず、表面的な出力バリエーションに依存することなく、有限予算の性能を向上させます。
3. 実践的含意: 有限予算のコード生成は、限界の正確性のみを通じて理解されるべきではありません。モデルが異なる実装パターンにサンプリング予算をどのように配分するかは、Pass@k 性能を最大化する上で重要な要因です。

著者は、JPlag が意味的等価性のオラクルではなく近似構造的類似性測定であること、また実験が特定のオープンウェイトモデルと短期の競技プログラミングベンチマークに限定されていることを指摘し、限界に関して控えめな姿勢を保っています。彼らはこの手法がコード生成におけるすべての多様性の問題を解決すると主張するのではなく、検証器ベースの RL という特定の文脈におけるその有効性を強調しています。