技術的概要：CoRe-Code

問題定義

大規模言語モデル（LLM）はコード生成において強力な能力を示しているが、多くの場合、グローバルな計画なしに自己回帰的デコーディングに依存している。この逐次的なトークンレベルの生成メカニズムは、局所的には一貫性があるものの、全体的には最適でない出力を生み出すことが多く、テストケースの失敗や非効率的なアルゴリズム的複雑さにつながっている。Chain-of-Thought（CoT）やマルチエージェントシステム（MAS）といった最近のアプローチは計画の導入を試みているが、役割の専門化が限定的で調整が不十分であるという課題にしばしば直面している。補助エージェント（例えば、プランナー、リトリーバー）が中央のコーダーにガイダンスを提供する既存の MAS フレームワークは、わずかな性能向上しかもたらさないか、あるいは負の「協力ゲイン」さえ生じさせることが多く、これは補助エージェントがコーダーを効果的に支援できていないことを示している。

手法

著者は、協働意識型の強化学習アプローチを通じてエージェント間の調整と役割の専門化を強化するために設計された CoRe-Code（Collaborative Reinforcement Code）を提案する。このフレームワークは プランナー – コーダーパラダイム に基づいて動作し、検証可能な報酬を用いた グループ相対方策最適化（GRPO） を利用する。

1. アルゴリズム的思考

計画プロセスを構造化するために、このフレームワークはプランナーエージェントの出力のための構造化表現として アルゴリズム的思考 を導入する。先行研究に触発されたこの表現は、推論を 4 つの中核コンポーネントに分解する：

• 入力 - 出力定義： 機能的な目的を明確化する。
• 線形進行： 逐次的な計算ステップを概説する。
• 条件付き論理： 分岐判断を指定する。
• 反復： 繰り返される計算を記述する。
  この構造は、プランナーの推論をプログラミングのセマンティクスに整合させ、コーダーに対するより明確なガイダンスを提供する。

2. 協働型 GRPO フレームワーク

CoRe-Code は、検証不可能な代理報酬ではなく、下流のコード実行結果を検証可能な報酬として用いることで、プランナーとコーダーのエージェントを共同最適化する 2 段階の強化学習プロセスを採用する。

• プランナーの専門化のための RL：

  • プランナーは $N$ 個の異なるアルゴリズム的思考を生成する。
  • コーダー（この段階では固定）はこれらの思考をコードに変換する。
  • 報酬： 思考の品質は、生成されたコードの 精度（テストケースの通過率）と 時間計算量 に基づいて評価される。シグモイドに基づく重み付け方式は、より多くのテストに合格し、複雑度が低いコードにつながる思考に高い報酬を割り当てる。
  • プランナーはこれらの報酬を最大化するように更新され、下流のコード合成をよりよく支援する計画を生成することを学習する。

• コーダーの専門化のための RL：

  • 専門化されたプランナーは高品質なアルゴリズム的思考を生成する。
  • コーダーはこの思考に基づいて複数のコードスニペットを生成する。
  • 報酬： コーダーは 精度（テストケースの合格）と 空間効率 に対して報酬を受ける。コードがすべてのテストに合格した場合、空間効率の報酬が割り当てられ、最良のパフォーマンスを示したスニペットから導出された目標メモリ使用量（$O_{target}$）に近づく実装を促進する。
  • コーダーは更新され、プランナーの指示によりよく整合し、忠実に実行するように調整される。

3. 協力ゲイン（CG）

本論文は、補助エージェントがコーダーの性能にどの程度効果的に貢献するかを定量化する指標として 協力ゲイン（CG） を定義する。CoRe-Code は、プランナーの出力がコーダーの成功率を直接向上させることを保証することで、このゲインを最大化することを目指す。

主要な貢献

1. CoRe-Code フレームワーク： 検証可能な実行フィードバックを用いて役割を専門化されたエージェント（プランナーとコーダー）を最適化する、新しい協働意識型の RL フレームワーク。
2. アルゴリズム的思考： 入力 - 出力定義、線形進行、条件付き論理、反復にアルゴリズム的推論を分解する構造化された計画表現。これにより、計画の解釈可能性と実行可能性が向上する。
3. 協働型 GRPO： プランナーとコーダーを共同最適化する GRPO の拡張。下流のコード実行（精度と複雑さ）を検証可能な報酬としてプランナーの訓練に用いることで、単独では検証が困難な中間計画の最適化という課題を解決する。
4. 汎用性： このフレームワークがプランナー – コーダーパラダイムを超えて、MapCoder フレームワーク内のリトリーバルやデバッグエージェントなど、マルチエージェントシステム内の他のエージェントを最適化に拡張可能であることを示した。

実験結果

著者は、3 つのベースモデル（Qwen2.5-7B-Coder-Instruct、Qwen2.5-14B-Coder-Instruct、および Qwen3-4B）を用いて、4 つのベンチマーク（LiveBench、MBPP、CodeContests、CodeForces）で CoRe-Code を評価した。

• 性能： CoRe-Code は、Pass@1、Pass@5、および平均通過率（APR）を含むすべての指標において、既存の RL ベースのベースライン（GRPO、Focused-DPO、CURE、CodeRL+）およびマルチエージェントシステム（SCoT、Reflexion、MapCoder）を一貫して上回った。
• 効率性： このフレームワークは、ベースラインと比較して実行時間とメモリ使用量の面でより高い効率を達成した。
• アブレーション研究： プランナー RL またはコーダー RL のいずれかのコンポーネントを除去すると性能が低下し、共同最適化が相補的な利益を提供することを確認した。
• 拡張： MapCoder に適用した際、CoRe-Code によってリトリーバルまたはデバッグエージェントを独立して強化することで、元の MapCoder ベースラインを上回る性能が達成され、特に複雑な競技プログラミングタスクにおいて顕著であった。
• トレーニングダイナミクス： 分析により、トレーニング中に協力ゲインに一貫した上昇傾向が見られ、エージェント間の調整が改善されていることが示された。

意義と主張

本論文は、CoRe-Code がコード生成のための検証器ガイド型 RL ベースのマルチエージェントフレームワークの最初のものの一つであると主張する。その意義は以下の点にある：

• 補助エージェントがコーダーに実質的な支援を提供できないことが多いマルチエージェントシステムにおける「調整ギャップ」に対処すること。
• 検証可能な実行結果（代理報酬ではなく）を使用することで、計画エージェントの効果的な訓練が可能であることを示すこと。
• 役割を専門化された協働が RL によって最適化された場合、さまざまな難易度レベルにおいて、より正確で効率的かつ保守性の高いコード生成につながることを示すこと。
• このアプローチがプランナー – コーダーパラダイムに限定されず、より広範なマルチエージェントワークフローにおける多様なエージェントの最適化に適応可能であるという柔軟性を強調すること。

著者は、特定のオープンソースモデルへの依存や固定された相互作用形式といった限界を指摘しており、今後の研究ではより多様なエージェント間の通信スタイルやモデルファミリーの探求がなされるべきであると示唆している。