技術要約：ProxyWar：ゲームアリーナにおけるLLMコード生成の動的評価

1. 問題提起

大規模言語モデル（LLM）のコード生成に関する評価は、静的なベンチマークや単純な指標の後ろで停滞している。HumanEvalやMBPPといった現在のアプローチは、実行ベースの「pass@k」指標や、テキストベースの類似度スコア（例：BLEU、CodeBLEU）に大きく依存している。これらの手法には、以下の決定的な限界がある：

• 静的な性質： コードを単体として評価するため、動的な実行制約、ランタイムの安定性、および共有リソース予算下での堅牢性を捉えることができない。
• 単純さへの偏り： ベンチマークは、限られたテストケースを持つスタンドアロンの関数で構成されることが多く、現実世界のソフトウェアエンジニアリング（例：依存関係、複数ファイル間の調整）の複雑さを無視している。
• 比較コンテキストの欠如： 代替となるソリューションとの比較における性能を測定しておらず、アルゴリズムの効率性や戦略的意思決定におけるニュアンスを見落としている。
• 見落とされた次元： 指標は機能的な正当性にほぼ排他的に焦点を当てており、効率性、保守性、エッジケースへの適応性といった運用上の特性を軽視している。

その結果、ベンチマークのスコアと、動的で現実的なシナリオにおけるLLM生成コードの実際の生存能力との間には、大きな乖離が生じている。

2. 手法：ProxyWarフレームワーク

ProxyWarは、多様なゲーム環境内での競争的かつ制御された実行を通じて、LLMのコード生成を評価するために設計された新しいフレームワークである。それは、コード生成から競争的評価に至るパイプラインをオーケストレートし、バイナリなパス/失敗テストを超えた、包括的なパフォーマンス評価を実現する。

2.1 システムアーキテクチャ

本フレームワークは、5つの明確なレイヤーを通じて動作する：

1. ゲーム環境レイヤー： ゲームをタプル $G = \langle S, A, T, R, O, s_0 \rangle$ として定義し、状態遷移、ルール、および観測を管理する。完全情報および不完全情報の両方のシナリオをサポートする。
2. エージェントレイヤー： 生成されたすべてのエージェントが実装すべき最小限のインターフェース契約（$\pi: O_{space} \times \{0, 1\}^{|A|} \to A$）を強制し、同一の制約下での公平な比較を保証する。
3. コード生成レイヤー： 自然言語の仕様を、実行可能なエージェントコードへと変換する。これには、エラーフィードバックに基づいてコードを反復的に洗練させる**修復関数（Repair Function）**が含まれ、現実世界のデバッグワークフローをシミュレートする。
4. テストレイヤー： 構文、インターフェースの遵守、基本機能、ゲームロジック、および堅牢性（エッジケース）をカバーする階層的なテストスイートを通じて、エージェントを検証する。テストの失敗は修復ループをトリガーする。
5. トーナメント管理レイヤー： エージェントが対戦形式で競い合う自動トーナメントをオーケストレートする。勝敗の結果に基づいてスキルランキングを計算するためにTrueSkillレーティングシステムを利用し、バイナリなスコアではなく、連続的なパフォーマンス指標を提供する。

2.2 評価手法

ProxyWarは、多次元的な評価戦略を採用している：

• 競争的パフォーマンス： トーナメントにおける勝敗の結果に基づき、エージェントをランク付けするためにTrueSkillを使用する。堅牢性を確保するため、保守的なスキル推定値（$\mu - 3\sigma$）を報告する。
• 静的コード品質： Pass@1（初期の正当性）、修復率（自己修正能力）、および階層的なテストレイヤー（構造、機能、ロジック、堅牢性）にわたる性能を測定する。
• 運用特性： 意思決定速度（レイテンシ）、エラー率（タイムアウト、例外）、および参加率を含むランタイムメトリクスを追跡する。

2.3 実験設定

本フレームワークはPythonを用いて実装され、18の最先端LLM（汎用、推論強化、およびコード特化型モデルを含む）および10の多様なゲーム環境を用いて評価された。これらの環境は、シングルプレイヤーのパズル（数独、2048）から、二人用ボードゲーム（三目並べ、リバーシ）、マルチプレイヤーのカードゲーム（テキサス・ホールデム）まで多岐にわたる。各モデルは、統計的有意性を確保するために10,000試合以上に参加した。

3. 主な貢献

本論文は、主に4つの貢献を行っている：

1. ProxyWarフレームワーク： 自動生成、反復的な修復、およびトーナメントベースのランキングを統合した、LLMコード生成のための初の競争的・実行ベースの評価フレームワーク。
2. 多次元的評価： 従来のパス/失敗メトリクスを超えて、運用特性（効率性、堅牢性、適応性）を捉える手法。
3. スケーラブルなプラットフォーム： 多様なプログラミングパラダイムにわたる系統的な評価を可能にする、異なる複雑性と情報構造を持つ多様なゲーム環境をサポートする実装。
4. 実証的評価： アルゴリズムの創造性、最適化戦略、および機能的正当性と実用的な展開可能性の間のギャップに関する、これまで隠されていたLLMコード生成の限界を明らかにする包括的な研究。

4. 主な結果と知見

実証的評価により、いくつかの重要な洞察が得られた：

• 識別力 (RQ1)： ProxyWarは、静的な指標では見えない大幅な性能差を明らかにする。例えば、DeepSeek-R1とQwen2.5-Coderは同等のPass@kスコアを持つ可能性があるが、ProxyWarではトーナメント勝率において大きな差（39.6% 対 13.4%）を示した。100%の参加率（完璧なテスト通過）を持つモデルであっても、競争的なパフォーマンスにおいては大きな差異が見られた。
• 静的 vs 動的パフォーマンス (RQ2)： Pass@1と競争的ランキングの間には弱い相関（Spearmanの $\rho = 0.23$）がある。
  • 効率性 vs 洗練度： 数独において、DeepSeek-R1はGPT-4.1のより複雑なヒューリスティックベースのアプローチ（MRV/LCV）を凌駕する、ミニマリストなバックトラッキング・エージェントを生成した。GPT-4.1のコードは理論的には優れていたが、Pythonの解釈オーバーヘッドにより実際には28倍近く遅く、結果としてトーナメントでの成績が悪化した。
  • デバッグの限界： Claude3.5-Sonnetのような一部のモデルは完璧な修復率を達成したが、これが強力なトーナメントパフォーマンスを保証するわけではなく、現在の自己修正能力の限界を示している。
• 環境への感受性 (RQ3)： モデルの性能は文脈に強く依存する。
  • 複雑性： ゲームの複雑さが増すにつれて（例：リバーシ vs 三目並べ）、性能の差は顕著に拡大する。
  • 情報構造： 完全情報ゲームは探索/計画能力を、不完全情報ゲーム（例：ポーカー）は確率的推論を好む。すべてのゲームタイプにおいて普遍的に優れる単一のモデルは存在しない。
  • 専門化： コード特化型モデルは、競争的で文脈豊かなシナリオにおいては、汎用または推論強化型モデルと比較して、性能が低くなることが多い。

5. 意義と主張

著者らは、ProxyWarを、プログラム合成システムのより厳格で再現可能、かつ現実的な評価に向けた基礎的なステップとして位置付けている。

• ギャップの解消： 本フレームワークは、共有されたリソース制約と敵対的な条件下でコードを評価することにより、ベンチマークの性能と実用的な有用性の間の乖離に対処する。
• 正当性を超えて： 「正しい」コードだけでは不十分であり、レイテンシ、安定性、戦略的適応性といった運用特性が、現実世界のデプロイメントにおいて極めて重要であることを強調している。
• 将来の研究： ProxyWarは、LLMによるアルゴリズム発見や適応的な問題解決の研究への道を開くものである。著者らは、将来の研究において、LLMコーダーが複雑なゲームにおいて新しい戦略を発見したり、手作りのエージェントを凌駕したりできるかどうかを探求できることを示唆している。
• 限定的な範囲： 本論文は、ゲーム環境が多様ではあるものの、すべての現実世界のソフトウェアエンジニアリングのタスク（例：大規模な共同開発）の複雑さを完全に捉えているわけではないことを認めている。著者らは、現在の環境スイートを、より広範な非ゲーム・ベンチマークへの出発点と見なしている。

結論として、ProxyWarは、競争的なゲームベースの評価が、LLMの能力に対して微細な差別化を提供し、静的なベンチマークでは検出できない運用上の限界を露呈することを実証している。