技術要約：GRPOはマルチエージェント協調のギャップを埋められない

問題提起

本論文は、LLM（大規模言語モデル）が共通のリソースを共有する複数のエージェントとして協調する能力を調査している。これは、LLMが自律的なワーカー、クローラー、またはアナリストとして機能するシステムにおいて極めて重要な能力である。著者らは、食事する哲学者問題（Dijkstra [1971]）をクリーンなテストベッドとして利用している。このセットアップでは、$N$ 個のエージェントが $N$ 本のフォークを囲む円卓に座っている。各エージェントは、隣接する2本のフォークを保持しなければならない。グループは、すべてのエージェントが食事を行い、かつデッドロック（すべてのエージェントが1本のフォークを保持し、無期限に待機してしまう状態）が発生しない場合にのみ成功となる。

本研究は、主に以下の2つの問いに取り組んでいる：

1. 現在の最先端（フロンティア）モデルおよびオープンウェイトモデルは、このマルチエージェント設定においてどの程度うまく協調できるのか？
2. タスクからのロールアウトに対してファインチューニングされたGroup Relative Policy Optimization (GRPO) は、弱体なオープンウェイトモデルとフロンティアシステムとの間の性能ギャップを埋めることができるのか？

手法

実験設定

• 評価対象モデル: 630エピソード（モデルごとに哲学者数 $N \in \{5, 10, 15\}$ に対して30エピソード）にわたり、7つのモデルを評価。
  • フロンティア・クローズドソース: Claude Opus 4.7, GPT-5.4, Gemini 3.1 Pro, Grok 4.2.
  • オープンソース・ベースライン: Mistral-Small 24B.
  • ターゲットモデル: Qwen3-14B (base) および GRPOでファインチューニングされたQwen3-14B.
  • 補足: Qwen3-8B、Qwen3-8B+GRPO、およびDeepSeek-R1-Distill-Qwen-7Bを含む、より小規模な実験（270エピソード）。
• 環境: 各哲学者は、LLMをラップしたLangGraphエージェントとして実装されている。エージェントは、pick-up-left（左のフォークを取る）、pick-up-right（右のフォークを取る）、put-down-left（左のフォークを置く）、put-down-right（右のフォークを置く）、eat（食べる）、think（考える）の6つのツールを介して相互作用する。
• 報酬関数: エピソードごとに4つのコンポーネントからなるスカラー報酬 ($r$) が計算される：
  $$r = \alpha \cdot r_{nd} + \beta \cdot r_{thru} - \gamma \cdot r_{fair} - \delta \cdot r_{idle}$$
  ここで：
  • $r_{nd}$: デッドロックがないことを示すバイナリインジケータ（重み $\alpha=1.0$）。
  • $r_{thru}$: 正規化されたスループット（食べた食事の数）（重み $\beta=0.5$）。
  • $r_{fair}$: 哲学者ごとの食事数の分散（ペナルティ）（重み $\gamma=0.3$）。
  • $r_{idle}$: think（ノーオップ/何もしない）アクションの割合（ペナルティ）（重み $\delta=0.1$）。
  • 注記: 重みは $\alpha=1.0, \beta=0.5, \gamma=0.3, \delta=0.1$ である。

学習手順

• アルゴリズム: OpenPipe ARTに実装されたGroup Relative Policy Optimization (GRPO)。
• 構成:
  • ベースモデル: Qwen3-14B および Qwen3-8B.
  • アダプター: LoRA (rank 8).
  • データ: $N=5$ の哲学者、1エピソードあたり5ラウンドのロールアウトを収集。
  • 学習ステップ: 合計16ステップ。各ステップで3エピソードからなる2つのグループをサンプリング。
  • チェックポインティング: デフォルトのポリシーでは、最終ステップのアダプターを保存する（Step 15）。

主要な結果

1. 協調のギャップ

フロンティアモデルとオープンウェイトのQwen3-14Bの間には、統計的に有意な性能差が存在する：

• フロンティアモデル: $N=5$ において平均報酬 0.45から0.87 を達成。デッドロック率は0.10から0.53の範囲にある。
• Mistral-Small 24B: $N=5$ で平均報酬 0.83 を達成（より大きなスケールでは最大0.99）。いくつかのフロンティアモデルを凌駕している。
• Qwen3-14B (Base): $N=5$ において平均報酬はわずか 0.13 であり、デッドロック率は0.87に達する。

2. 素朴なGRPOファインチューニングの無効性

タスクのロールアウトを用いてQwen3-14BをGRPOでファインチューニングしても、ギャップを埋めることはできなかった:

• 統計的有意性: $N=5$ におけるエピソードごとの報酬に対するウェルチのt検定の結果、$p=0.66$ および Hedges' $g = -0.11$ であった。学習済みモデル（0.092）はベースモデル（0.128）よりも数値的にわずかに劣っていたが、その差は統計的に有意ではなかった。
• スケーリング: 改善が見られない状況は、$N=10$ および $N=15$ でも継続した。
• 結論: 14Bモデルのボトルネックは計算容量ではなく、学習手法にある。

3. 学習ダイナミクスとチェックポイントの問題

• 報酬の崩壊: 8Bおよび14Bの両方の実行における学習報酬の軌跡は、Step 9 でピークに達した後、その後減少した。
• 不適切なチェックポイント: デフォルトで保存されたチェックポイント（Step 15）は、学習分布におけるピーク時の性能（Step 9）よりも厳密に劣っていた。著者らは、検証セットがないため、デフォルトの「最終ステップを保存する」ポリシーが劣化モデルを選択してしまったと指摘している。

4. 報酬関数の退化

論文は、報酬定式化における決定的な欠陥を特定している：

• 退化した最大値: 報酬式は、デッドロックが発生しない限り（$r_{nd}=1$ で他の項がすべてゼロの場合）、食事数がゼロかつアクションがゼロのエピソードに対しても最大スコア 1.0 を許容してしまう。
• 経験的証拠:
  • DeepSeek-R1-Distill-Qwen-7B: 解析可能なツール呼び出しを出力しなかった（無動作であった）ため、すべての構成において1.0を記録した。
  • Mistral-Small 24B: $N=5$ において、食事数はゼロでありながら平均報酬0.83を達成した。これは、デッドロックは回避したが、食事には至らないアクションを取ったことを示している。
• 示唆: 報酬信号は「進展させること（食事をすること）」よりも「失敗しないこと（デッドロックを避けること）」を優先しており、これが無動作や些末な戦略を助長する可能性がある。

重要性と主張

本論文は、容量（キャパシティ）だけでは、オープンウェイトの14Bスケールにおいて協調的なマルチエージェント行動を生み出せないことを主張している。主な貢献は以下の通りである：

1. 経験的なヌル結果（Null Result）: 標準的なGRPOによるタスクロールアウトへのファインチューニングが、Qwen3-14Bのマルチエージェント協調を改善できず、フロンティアモデルや24Bのオープンソース・ベースラインに大きく水をあけ続けることを示した。
2. 方法論への批判: RLファインチューニングの「デフォルトのレシピ」（特にチェックポイントの選択と報酬設計）が不十分であることを特定した。著者らは、ボトルネックはモデル固有の能力ではなく、学習手法にあると論じている。
3. 3つの介入策: 結果を改善するための具体的な3つの領域を提案している：
   • 報酬設計（Reward Shaping）: 退化した最大値を防ぐための修正（例：デッドロック回避ボーナスを得るために少なくとも1回の食事を要求する）。
   • チェックポイントの規律: 最終ステップではなく、学習報酬またはホールドアウト検証セットに基づいて最適なチェックポイントを選択すること。
   • カリキュラム: 本研究ではテストされていないが、問題のスケール（哲学者数）にわたるカリキュラムの実装。

著者らは、自らの知見が「Qwen3-14Bに対する$N=5$での特定のデフォルトレシピを用いたGRPO実行」に限定されていることを認め、控えめな立場をとっている。彼らは、GRPOが根本的にこの問題を解決できないと主張しているのではなく、使用された特定の構成とハイパーパラメータが、そのギャップを埋めることに失敗したと述べている。