技術要約：リソース制約のあるエージェント的LLMの事後学習における協調共進化

問題提起

ツールを使用する大規模言語モデル（LLM）エージェントは、複雑なタスクを解決するために、長くマルチターンな軌跡（trajectory）を生成します。検証可能な報酬（例：強化学習によるもの）を用いた事後学習は、エージェントの挙動を改善するためのスケーラブルな手法ですが、リソース制約のある環境においては重大なボトルネックに直面します。

GRPO（Group Relative Policy Optimization）のような勾配ベースの手法は、これらの長い軌跡に対してバックプロパゲーション（誤差逆伝播）を行う必要があります。これは、モデルの重み、勾配、オプティマイザの状態、そして極めて重要な中間活性化（intermediate activations）を保持することを強います。コンテキスト長が増加するにつれ、活性化メモリの消費量は膨大になり、多くの研究者が利用できないハイエンドのGPUクラスターを必要とすることが多くなります。対照的に、進化戦略（ES）はバックプロパ播を通じた計算を完全に回避し、フォワード生成と報酬評価のみを必要とするため、メモリ効率の高い代替案を提供します。しかし、標準的なESは計算コストが高く、通常、勾配ベースの手法と同等の性能を達成するために、標準的なESよりも大幅に多いGPU時間（GPU-hours）を必要とします。リソース制約のある設定において、この高い計算需要は、実用不可能なほど長いウォールクロック時間を意味します。

対処すべき核心的な課題は、フルパラメータのエージェント的LLMの事後学習において、ESのメモリ上の利点を損なうことなく、いかにしてESの最適化効率を向上させるかという点です。

手法：協調パラメータ部分空間進化戦略（CoPES）

この効率性のボトルネックに対処するため、著者らは、フルパラメータESに適合させた協調共進化手法である**Cooperative Parameter-subspace Evolution Strategy (CoPES)**を提案しています。

コアメカニズム

CoPESは、高次元のフルパラメータ空間（$\mathbb{R}^d$）を、$K$個の低次元で互いに素な部分空間へと分解します。すべてのパラメータを同時に摂動させるのではなく、CoPESは以下の通り、これらの部分空間内で協調的な探索を行います。

1. ランダム分割（Random Partitioning）: 各トレーニングステップにおいて、パラメータのインデックスを、$K$個の等しいサイズの部分空間（$S_1, \dots, S_K$）にランダムに分割します。
2. 協調的部分空間探索（Cooperative Subspace Search）: 全体の摂動予算$N$を各部分空間に分配します（$N_k = N/K$）。各部分空間$k$について、$S_k$内のパラメータにのみノイズを加えた$N_k$個の摂動モデルを生成します。その際、他のすべてのパラメータは現在の値に固定されます。これにより、特定の部分空間における変化の影響を評価するための、共有されたフルモデルのコンテキストが提供されます。
3. 次元を考慮した摂動スケーリング（Dimension-Aware Perturbation Scaling）: 部分空間の摂動の大きさが、フル空間の摂動の期待平方ノルムと一致するように、摂動スケール$\sigma_k$を調整します：$\sigma_k = \sqrt{K}\sigma$。
4. 結合報酬標準化（Joint Reward Standardization）: 単一の集団内で報酬を標準化する標準的なESとは異なり、CoPESはすべての$K$個の部分空間にわたるすべての$N$個の摂動モデルから報酬を集約します。全報酬のグローバルな平均（$\mu_c$）と標準偏差（$s_c$）を計算して、すべての報酬（$\hat{r}_{k,i}$）を標準化します。これにより、安定した正規化統計量と、部分空間更新を組み合わせるための共通の報酬スケールが提供されます。
5. 同期更新（Synchronous Update）: 部分空間の方向を推定し、フルパラメータの更新へと合成します：$\theta_{t+1} = \theta_t + \alpha \sum_{k=1}^K P_k g_k$。ここで、$g_k$は部分空間$k$に対する推定勾配方向です。

実装の詳細

メモリ効率を維持するために、CoPESは以下を採用しています。

• シード・リプレイ（Seed Replay）: 完全な摂動ベクトルを保存する代わりに、乱数シードから摂動を再生成します。
• 重みのバックアップ（Weight Backup）: すべての評価が全く同じモデル状態から開始されることを保証するため、摂動前の重みをCPUメモリにバックアップします。これにより、浮動小数点の残留誤差を回避します。
• チャンク処理（Chunked Processing）: メモリ使用量を管理するために、パラメータをチャンク（塊）ごとに処理します。

主な貢献

1. 新規アルゴリズム: CoPESは、エージェント的LLMのフルパラメータ事後学習のために特別に設計された初の協調共進化手法として提示されています。これは、パラメータ空間の分解と結合報酬標準化を組み合わせています。
2. 効率とメモリのトレードオフ: 本手法は、固定予算の最適化効率を向上させつつ、ESのメモリ効率の高いフルパラメータの性質を維持します。勾配ベースの手法によるバックプロパゲーションのオーバーヘッドと、標準的なESによる高いウォールクロック時間の両方を回避します。
3. 実証的検証: 数学およびマルチホップ質問回答（QA）タスクにおける広範な実験により、ハードウェアの実現可能性テストや制御されたアブレーションを含む複数の指標にわたって、本手法の妥当性を検証しています。

実験結果

著者らは、Qwen3.5-4Bモデルを用いて、5つの数学ベンチマーク（AIME 2024, AIME 2025, GSM8K, MATH-500, MATH-Test）と3つのQAベンチマーク（HotpotQA, 2Wiki, MuSiQue）でCoPESを評価しました。

勾配ベースのRL（GRPO）との比較

• メモリ効率: 理論的分析によれば、CoPESはフルパラメータGRPOの1/8未満のGPUメモリしか必要としません。実際には、フルパラメータGRPOが128Kのコンテキスト長に対して8枚の48GB GPUを必要とするのに対し、CoPESは単一の24GB GPUで学習可能です。
• 固定予算での性能: フルパラメータGRPOの最良の検証チェックポイント（16トレーニングステップ）に相当するGPU時間予算の下で：
  • CoPESは、フルパラメータGRPOが達成した検証精度向上の**92%**を回復しました。
  • 標準的なESは**67%**しか回復しませんでした。
  • CoPESは、5つの数学ベンチマークにおけるすべてのpass@k指標において、フルパラメータGR포およびLoRAベースのGRPOを一貫して上回りました。
• スケーリング: 困難なAIME 2024およびAIME 2025ベンチマークにおいて、CoPESは同じ固定トレーニング予算を使用しながらも、より大きな$k$値（pass@k）においてフルパラメータGRPOを凌駕しました。

標準的なESとの比較

• CoPESは、評価されたすべての指標において標準的なESを大幅に上回りました。
• アブレーション研究:
  • 部分空間数（$K$）: パフォーマンスは$K$が1から4に増加するにつれて向上しましたが、$K=8$では部分空間あたりの集団数（$N_k=5$）が不足するため急激に低下しました。
  • 結合標準化: 各部分空間内での独立した標準化と比較して、すべての部分空間にわたる結合報酬標準化を使用することで、より高いpass@1スコアが得られました。
  • 摂動スケール: パフォーマンスの向上は、単に座標ごとの摂動スケール（$\sigma_k = \sqrt{K}\sigma$）を大きくしたことによるものではありません。同じようにスケールを増やした標準的なESは、より低い性能を示しました。

マルチホップQA

質問回答タスクにおいて、CoPESはすべてのQAベンチマークの指標において標準的なESを上回り、フルパラメータGRPOとも競合できる性能を示しました。これは、本手法が数学的推論以外にも適用可能であることを証明しています。

意義と主張

本論文は、CoPESがリソース制約下でのエージェント的LLMの事後学習に対する実用的な解決策を提供すると主張しています。パラメータ空間を分解し、報酬を結合して標準化することで、CoPESはメモリ要件とトレーニング時間の間の優れたトレードオフを実現します。これにより、メモリ制限のために勾配ベースのフルパラメータ手法が不可能な場合や、標準的なESが計算コストのために遅すぎる場合でも、消費者向けまたは限定的なGPUハードウェア（例：単一の24GB GPU）でフルパラメータ進化戦略の使用が可能になります。著者らは、本アプローチがESの「フォワードのみ」という利点を保持しつつ、その主要な計算上の欠点を軽減していることを強調しています。