ScaleBox: Enabling High-Fidelity and Scalable Code Verification for Large Language Models

以下は、論文「ScaleBox: Enabling High-Fidelity and Scalable Code Verification for Large Language Models」の詳細な技術的概要です。

1. 問題定義

本論文は、特に検証可能な報酬からの強化学習（RLVR）を利用する大規模言語モデル（LLM）のコード訓練および評価システムにおける、2 つの重要なボトルネックを特定しています。

• 検証精度のギャップ（「完全一致」の罠）: 既存のサンドボックスは、コードの正しさを検証するために、主に**完全一致（Exact Match: EM）**またはヒューリスティックな文字列マッチングに依存しています。このアプローチは、複数の有効な解が存在するタスク（非決定論的出力）や数値精度を必要とするタスク（浮動小数点比較）では機能しません。
  • 証拠: 34,757 件の問題の分析により、**14.57%が専門的な検証（Special Judges）を必要としていることが明らかになりました。さらに、論理的に正しい正解の59.01%**が EM によって誤って却下されており、RL 報酬信号に大きなノイズを注入し、偏った勾配を引き起こしています。
• スケーラビリティと効率性のボトルネック: 現在のシステムは、静的なデプロイメントと粗粒度のタスクスケジューリングを使用することが多く、これによりホスト - アクセラレータ間の不均衡が生じます。GPU/NPU が過剰に利用される一方で、並列コード実行のためにホスト CPU は未利用のまま残るため、大規模なマルチノードクラスターにおけるスループットが制限されます。

2. 手法：ScaleBox システム

ScaleBox は、これらの課題に対処するために設計された、高忠実度かつスケーラブルなサンドボックス基盤です。そのアーキテクチャは、相乗効果を持つ 3 つのコンポーネントで構成されています。

A. 自動化された Special Judge の合成と管理

精度ギャップを解決するため、ScaleBox は**Special Judges（SPJ）**を自動的に生成および管理するパイプラインを導入します。

1. 分類検出: LLM が問題を分類し、EM では不十分なケース（非決定論的パスや数値許容誤差の要件など）を特定します。
2. プログラム合成: LLM が Python ベースのジャッジプログラム（validate_solution）を合成します。これにより、入力、参照出力、参加者の出力を読み取り、カスタムロジックに基づいて二値の判定を生成します。
3. 検証ループ: 合成されたジャッジは、トレーニング前にサンドボックス内でデプロイ前の検証段階（忠実度と堅牢性のテスト）を経由し、正解を受け入れ、不正解を却下することを確認します。

B. ハイブリッド並列化と分散デプロイメント

効率性のボトルネックを解決するため、ScaleBox は分散アーキテクチャを実装します。

• ハイブリッド並列化: インスタンスレベルでのみ並列化するシステムとは異なり、ScaleBox はワーカーノード上でインスタンスレベル（複数の LLM 要求）とユニットテストレベル（単一の要求内の複数のテストケース）の両方で並列化を行います。
• リソース最適化: コード実行とテストにアイドル状態の CPU リソースを活用し、ホストプロセッサとアクセラレータ（GPU/NPU）間の負荷をバランスさせます。
• 管理: 集中型の Web ベースのダッシュボードにより、ホットアップデート、リアルタイムのリソース監視、NGINX ロードバランサーを介したシームレスなマルチノード調整が可能になります。

C. 設定駆動型評価スイート

ScaleBox は、標準化されたテストケースの配信と多段階検証（まず EM を最適化し、その後 SPJ にフォールバック）を含む、再現可能なワークフローを備えた主要なコードベンチマーク（LiveCodeBench、HumanEval、AetherCode など）をサポートする統一フレームワークを提供します。

3. 主要な貢献

1. ScaleBox システム: 大規模なコード RLVR 訓練のために特別に設計された、高忠実度かつスケーラブルなサンドボックスシステム。自動化された SPJ 合成とハイブリッド並列実行を特徴とします。
2. 自動化された SPJ パイプライン: 専門的なジャッジを合成および検証する新規手法。完全一致評価における偽陰性によって引き起こされる報酬ノイズを大幅に低減します。
3. 効率的な基盤: ハイブリッド並列化を活用し、ホスト - アクセラレータのワークロードをバランスさせることで、高いスループットを達成する分散アーキテクチャ。
4. 包括的な評価: 標準的なコードデータセット全体で再現可能なベンチマークを行うための設定駆動型スイート。

4. 実験結果

A. 検証精度

• 忠実度: 27 件の複雑な AetherCode 問題において、合成された Special Judges は、Qwen3-235B や Claude-3.7-Sonnet などの各種 LLM において、真陽性率（TPR）≥ 90.0%、**真陰性率（TNR）≥ 84.0%**を達成しました。
• 影響: これは、自動化された合成が、高度な競技プログラミングタスクであっても、正しいコードと誤ったコードを確実に区別できることを確認しています。

B. 効率性とスケーラビリティ

• スループット: 単一ノード（Intel Xeon 64 コア）において、ScaleBox は39.31 タスク/秒を達成し、verl フレームワークに対して1.59 倍、SandboxFusion に対して2.63 倍の高速化を実現しました。
• スケーリング: システムは 3 ノードクラスターで62.10 タスク/秒まで線形にスケールし、マルチノードリソースの効率的な活用を実証しました。

C. RL 訓練パフォーマンス（RLVR）

GRPOアルゴリズムを使用したQwen3-8Bによる実験では、以下の結果が得られました。

• パフォーマンス向上: 1.2K SPJ サブセットにおいて、Special Judges を組み込むことで、LiveCodeBench（LCB-v5）の**Pass@1 が +5.91%**向上しました（27.24% から 33.15%）。
• 汎化性能: SPJ ケースが約 10% しかない26K データセット全体においても、LCB-v6 でのパフォーマンスは**+1.91%**向上しました。
• 安定性: 訓練曲線は、高忠実度の報酬がクレジット割り当ての分散を減少させ、より安定した収束をもたらし、完全一致ベースラインで見られる「報酬抑制」を防ぐことを示しました。

5. 意義

ScaleBox は、現在の LLM コード知能エコシステムにおける根本的な制限、すなわち脆弱な完全一致検証への依存に対処します。専門的な検証ロジックをサポートする信頼性の高い高スループット基盤を提供することで、ScaleBox は以下を可能にします。

• より効果的な RL 訓練: 以前は偽陰性により訓練不可能またはノイズの多いとされていた、複雑で非決定論的な問題からモデルが学習することを可能にします。
• スケーラブルな研究: コード実行の計算ボトルネックを排除し、より大規模な RL 実験やより堅牢なベンチマーキングを容易にします。
• 将来のエージェントの基盤: 精密なフィードバックが不可欠な、自動化されたソフトウェアエンジニアリングや多ターン問題解決における高度なコードエージェントの基礎を築きます。

要約すると、ScaleBox は、RL における高忠実度報酬信号の必要性と、スケーラブルなコード実行の実用的な制約との間のギャップを埋め、LLM ベースのコード生成の最先端を大幅に前進させます。