技術的サマリー：コード RL における外挿的重み平均は、正しさ–効率性のフロンティアを明らかにする

問題提起

コード生成における強化学習（RL）、特に競技プログラミングにおいて、モデルは二重の目的に直面します：機能的な正しさ（すべてのテストケースに合格すること）と計算効率（時間およびメモリ制限内で解決すること）。標準的な RL 訓練は、これらをバランスさせることにしばしば苦慮します。なぜなら、厳密な効率性の最適化は正しさの失敗につながり、小規模入力での正しさの最適化は、大規模なストレステストで失敗する非効率な解決策を生み出す可能性があるからです。

モデルマージに関する既存の研究（例：「Rewarded Soups」）は、異なる報酬目的の下で訓練されたチェックポイント間の重みを線形補間することで、それらの目的間のパレートフロンティアを追跡できることを示しています。しかし、外挿的重み平均（$[0, 1]$ 区間外の係数で重みを平均化すること）が、追加の訓練なしにこれらのフロンティアを新しい有用なチェックポイントまで拡張できるかどうかは不明なままです。具体的には、外挿は個々の RL 訓練実行の限界を超えて、純粋に正しいわけでも純粋に効率的でもないが、相互補完的な方策を発見できるでしょうか？

手法

実験設定

著者らは、検証の厳しさが自然な実験軸となる制御された環境として競技プログラミングを用いてこの問いを検証します。

• モデル: 7B および 32B パラメータモデル（Qwen 2.5 7B および CWM-SFT 32B）で実験を実施。
• 訓練環境: 3 つの異なる RL 設定を使用。
  1. 純粋な推論: 単ターン生成。
  2. ツール使用: Python ツール呼び出しを伴うマルチターン推論。
  3. エージェント型コーディング: サンドボックス化されたターミナルとのマルチターン対話。
• 報酬厳格度スウィープ: 共有された教師あり微調整（SFT）チェックポイントから出発し、独立した RL 実行をCodeContestsPlusデータセットで訓練します。報酬関数は入力長さの閾値（$k$）に基づくネストされた二値信号です。
  • 入力長 $< 10^k$ のすべてのテストに解決策が合格する場合、$R_k(y) = 1$。
  • 解決策がすべてのテスト（フルスイート）に合格する場合、$R_\infty(y) = 1$。
  • これにより、「低カバレッジ」（緩和、小規模入力）から「高カバレッジ」（厳格、フルストレステスト）までの順序付けられたチェックポイントのファミリーが生成されます。

重み平均

中核的な操作は、2 つの端点、$\theta_{low}$（低カバレッジ）と$\theta_{high}$（高カバレッジ）間の線形重み平均です。
$$\theta_\alpha = \alpha \theta_{high} + (1 - \alpha) \theta_{low}$$

• 補間: $\alpha \in [0, 1]$。
• 外挿: $\alpha \notin [0, 1]$（例：$\alpha < 0$ または $\alpha > 1$）。

評価

チェックポイントは**LiveCodeBench (LCB)**ベンチマーク（ホールドアウト、フルテストカバレッジ）で評価されます。結果は以下に分類されます。

1. 正解: すべてのテストに合格。
2. 最適化失敗: 小規模テストには合格するが、大規模テストで時間/メモリ制限を超える。
3. 正しさの失敗: 制限内で論理エラーまたはランタイム例外により失敗。
4. フォーマットエラー: 解析不可能な出力。

主要な貢献と結果

1. 正しさ–効率性フロンティアの出現

本研究は、検証の厳しさを変化させることが単純なチェックポイントのランキングを生み出すのではなく、代わりに困難な問題において正しさ–効率性フロンティアを追跡することを明らかにします。

• 低カバレッジ訓練は正しさの失敗を減らしますが、最適化失敗（非効率な解決策）を増加させます。
• 高カバレッジ訓練は最適化失敗を減らしますが、正しさの失敗を増加させます（モデルは効率的なアルゴリズムを試みますが、論理で失敗します）。
• 解決率の安定性: フロンティア全体を通じて全体の解決率はほぼ一定のままです。トレードオフは主に、モデルが問題を「解決するかどうか」ではなく、「どのように失敗するか」（非効率性対正しさの欠如）の間にあります。

2. 補間によるフロンティアの回復

低カバレッジと高カバレッジの端点間の線形補間は、独立して訓練されたチェックポイントが追跡したフロンティアを成功裡に回復します。重み空間における単一の補間方向で、最適化と正しさの失敗の間のトレードオフを移動するのに十分です。

3. 外挿によるフロンティアの拡張

決定的に、外挿的重み平均は、単一の RL 実行が到達した端点を超えてこのフロンティアを拡張します。

• RL の限界を超えて: $\alpha > 1$ および $\alpha < 0$ の場合、外挿されたチェックポイントは同じトレードオフ曲線を継続し、個々の RL チェックポイントが到達しなかった最適化/正しさの失敗比率のレベルを達成します。
• 安定性: この継続は広範な範囲（例：$\alpha \in [-0.5, 1.5]$）で安定しています。極端な外挿（$|\alpha| > 2$）は、フロンティア論理の崩壊というよりは、主にフォーマットエラー（トークン枯渇）に起因する劣化をもたらします。
• 一般化: この現象は、問題の難易度がモデルの能力に合致している限り、3 つの推論設定（推論、ツール使用、エージェント型コーディング）および両方のモデル規模（7B、32B）全体で成立します。

4. アンサンブルによる推論時スケーリング

本論文は、外挿されたチェックポイントが相互補完的な方策であることを実証します。

• 問題ごとの入れ替わり: 外挿軸に沿った異なる点は、困難な問題の異なる部分集合を解決します。全体の解決率は平坦ですが、解決される特定の問題は大きく異なります。
• アンサンブルの利益: 拡張されたフロンティアに沿ったチェックポイント（補間＋外挿）をアンサンブルすることで、著者らはマッチングされたサンプル予算において、最良の単一チェックポイントに対して LCB/hard 上のpass@250指標を**3.3%**向上させました。
• 多様性: 外挿されたプールは、補間だけのプールが見逃す問題、特に最も困難な問題に対して、独自の解決策を提供します。

5. フロンティアを動かす要因

著者らは、静的な報酬設計と失敗条件付き訓練を対比させます。

• 静的な報酬設計: 小規模テストの合格に対して部分的なクレジットを割り当てる（離散的または連続的）ことは、モデルを同じフロンティア上に留まらせます。それは既存の結果を再重み付けするだけで、新しい情報を導入しません。
• 失敗条件付き訓練: 失敗の文脈（失敗したコード＋実行統計）を用いて修復方策（オンライン修正）を訓練することは、フロンティアを外側にシフトさせる可能性を示しています。修正率と元の合格率の両方を改善し、既存のトレードオフを超えて移動するには、より豊かな失敗シグナルが必要であることを示唆しています。

意義と主張

本論文は、コード RL におけるネストされた単一テストカバレッジが、外挿的重み平均を通じてナビゲート、拡張、利用可能な正しさ–効率性フロンティアを誘発すると主張します。

• 新規性: 外挿は単なる数学的な好奇心ではなく、パレートフロンティアの「継続」にアクセスする実用的な手法であり、単一の訓練実行では生成されない多様な方策を生成することを確立しています。
• 実用性: 外挿されたチェックポイントは、推論時スケーリングのための安価で訓練不要なメカニズムとして機能し、追加の RL 計算なしに解決される問題のカバレッジを広げます。
• 限界: このフロンティアは、競技プログラミングにおける正しさと効率性の特定のトレードオフによって誘発されます。著者らは、フロンティア自体を移動させること（パレートフロンティアの改善）には、単に厳格なテストではなく、プログラムが「なぜ」失敗するかを明らかにする訓練シグナル（例：失敗条件付き訓練）が必要であると指摘しています。

この研究は、コードにおける RL の新しいパラダイムを示唆しています。単一の「最適」チェックポイントを求めるのではなく、実務家は重み平均を活用して相補的な行動のスペクトルを探索し、重みに対する単純な算術演算を通じて既存モデルの能力を拡張できます。