💻 computer science

Co-Evolving LLM Decision and Skill Bank Agents for Long-Horizon Tasks

COSPLAY は、LLM 意思決定エージェントが学習可能なスキルバンクからスキルを参照して行動し、別のエージェントがロールアウトから再利用可能なスキルを継続的に発見・更新する共進化フレームワークであり、長期的なタスクにおいて既存の最先端モデルを大幅に上回る性能を発揮します。

原著者： Xiyang Wu, Zongxia Li, Guangyao Shi, Alexander Duffy, Tyler Marques, Matthew Lyle Olson, Tianyi Zhou, Dinesh Manocha

公開日 2026-04-24

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xiyang Wu, Zongxia Li, Guangyao Shi, Alexander Duffy, Tyler Marques, Matthew Lyle Olson, Tianyi Zhou, Dinesh Manocha

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🎮 従来の AI の悩み：「その場しのぎ」のプレイヤー

これまでの AI は、ゲームをプレイする際、「その瞬間の状況を見て、その場でどう動くか」を毎回ゼロから考えていました。
まるで、初めて行く迷路で、毎回「あっちに行こう、こっちに行こう」と試行錯誤しているようなものです。

問題点: 長いゲーム（長期的な目標）になると、途中で迷子になったり、同じ失敗を繰り返したり、重要な戦略を忘れたりしてしまいます。
結果: 複雑なゲームでは、人間やトップクラスの AI に勝てないことが多いのです。

🚀 COS-PLAY のアイデア：「二人組のチームワーク」

この論文が提案する「COS-PLAY」は、AI を**「二人組のチーム」**として動かします。二人は互いに協力し合いながら、一緒に成長（共進化）していきます。

1. 作戦指揮官（決定エージェント）

役割: ゲーム画面を見て、実際にボタンを押す人。
特徴: 彼の手元には**「スキルバンク（スキル集）」**という辞書のようなものがあります。
動き方: 「今、敵が攻めてきた！」「よし、この状況なら『防御スキル』を使おう！」と、辞書から適切な作戦（スキル）を引っ張り出して実行します。
進化: 最初は辞書が空っぽですが、プレイするうちに「どの作戦が有効か」を学び、より良いスキルを選び取るようになります。

2. 記録係・編集者（スキルバンクエージェント）

役割: 指揮官がプレイした履歴（成功も失敗も）をすべて記録し、分析する人。
特徴: 彼の仕事は、**「無意味なメモを整理して、使える『マニュアル』に変えること」**です。
動き方:
- 「あ、このプレイヤーは、敵が近づいたら必ず『壁を作る』作戦を使っていたな。これは『防御スキル』だ！」と発見します。
- 「このマニュアルは少し曖昧だな」と修正したり、重複しているものをまとめたりします。
- 新しく発見した「すごい作戦」を辞書（スキルバンク）に追加します。
進化: 記録係が作るマニュアルが良くなれば、指揮官はより上手にゲームをプレイできるようになります。

🔄 魔法のサイクル：「一緒に成長する」

この二人は、**「プレイ → 記録・整理 → 改善 → 再プレイ」**というループを回し続けます。

指揮官がゲームをプレイします（最初は下手でも OK）。
記録係がそのプレイを見て、「ここが良かった」「ここは失敗だった」と分析し、**「スキル（マニュアル）」**として辞書にまとめます。
辞書が更新されると、指揮官はより良いマニュアルを参照して、次はもっと上手にプレイします。
上手にプレイできるようになると、記録係はより高度なスキルを学べます。

これを繰り返すことで、AI は**「経験から学び、その知識を蓄積し、次回のゲームで活かす」**という、人間のような学習プロセスを身につけます。

🏆 実験の結果：どんなに小さな AI でも勝てる？

研究者たちは、この仕組みを使って、「80 億パラメータ」という比較的小型の AIを訓練しました。
（※「パラメータ」は AI の頭の良さを表す指標。大きいほど頭が良いとされますが、この研究では「小さい AI」でも十分戦えることを示しました。）

結果: 単独プレイのゲーム（2048、マリオなど）では、世界最高峰の巨大 AI（GPT-5 など）よりも 25% 以上高いスコアを出しました。
理由: 巨大な AI は「その場の記憶」だけで戦うのに対し、COS-PLAY は**「過去の成功体験（スキル）」**を整理して使えているからです。
社交ゲームでも: 交渉が必要なゲーム（ディプロマシーなど）でも、人間や他の AI と互角以上に戦えました。

💡 簡単なまとめ：なぜこれがすごいのか？

この研究の最大のポイントは、**「AI が自分で『スキル』を見つけ、整理し、使いこなすこと」**を可能にしたことです。

従来の AI: 「毎回、ゼロから考え直す」→ 疲れる、忘れる、失敗する。
COS-PLAY: 「過去の成功体験を『レシピ本』として作り、それを参照して料理する」→ 効率的、安定、成長する。

まるで、**「料理の天才が、失敗したレシピを捨て、成功したレシピを整理して『最強の料理本』を作り上げ、それを見て弟子がさらに上手に料理をする」**ようなイメージです。

この仕組みを使えば、AI は複雑なゲームだけでなく、現実世界の難しいタスク（ロボット操作や複雑な計画など）でも、失敗から学びながら、自律的に成長できるようになるかもしれません。

論文要約：Co-Evolving LLM Decision and Skill Bank Agents for Long-Horizon Tasks (COS-PLAY)

この論文は、長期的なタスク（Long-Horizon Tasks）を遂行する際の大規模言語モデル（LLM）エージェントの課題を解決するため、COS-PLAY（Co-Evolving Skill-Play）という新しいフレームワークを提案しています。これは、意思決定を行う LLM エージェントと、スキルを自動発見・管理する「スキルバンクエージェント」が相互に進化（共進化）するマルチエージェントシステムです。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題設定 (Problem)

長期的なインタラクティブ環境（特にゲーム）は、エージェントのスキル使用能力を評価する理想的なテストベッドですが、以下の課題が存在します。

長期意思決定の難しさ: 遅延報酬（Delayed Rewards）や部分的観測性（Partial Observability）の下で、多数のステップにわたって一貫した意思決定を行うことが困難です。
スキルの構造化と再利用の欠如: 既存の LLM エージェントは、エピソード間で構造化されたスキルを発見・保持・再利用するメカニズムが不足しており、毎回ゼロから行動を計画してしまうため、一貫性や効率性が低下します。
相互依存性: スキルバンクが有用であるためには意思決定エージェントが適切にスキルを選択・実行できる必要があり、逆に意思決定エージェントの能力は利用可能なスキルに依存します。これらを別々に学習させるのではなく、共進化させる必要性が問われています。

2. 手法 (Methodology: COS-PLAY)

COS-PLAY は、LLM ベースの「意思決定エージェント」と「スキルバンクエージェント」が閉ループで相互に改善するフレームワークです。

A. 構成要素

意思決定エージェント (Decision Agent):
- 環境と対話し、行動を選択します。
- 現在の状態と意図（Intention）に基づき、スキルバンクから適切なスキルを検索・選択します。
- 選択されたスキルの契約（Contract）や計画（Plan）に基づき、プリミティブな行動を生成します。
- 学習: Group Relative Policy Optimization (GRPO) を用いて、スキル検索と行動実行の両方を最適化します。
スキルバンクエージェント (Skill Bank Agent):
- 意思決定エージェントが生成したラベルなしのロールアウト（軌道データ）から、再利用可能なスキルを自動発見します。
- 4 段階のパイプライン:
  1. 境界提案 (Boundary Proposal): 軌道内のスキル遷移点を候補として特定。
  2. セグメンテーション推論 (Infer Segmentation): 候補に基づき、軌道をスキルセグメントに分割し、既存スキルとの一致または新規スキルとしてラベル付け。
  3. 契約学習 (Contract Learning): 各スキルの効果（状態変化）を要約し、確実な「契約（Pre-condition, Plan, Success/Abort Criteria, Contract）」を学習・検証。
  4. メンテナンス: スキルの洗練（Refine）、マテリアライズ（Materialize）、マージ（Merge）、スプリット（Split）、引退（Retire）を行い、バンクを最適化。
共進化ループ:
- 意思決定エージェントがスキルを使って軌道を生成 $\rightarrow$ スキルバンクエージェントが軌道から新しいスキルを抽出・更新 $\rightarrow$ 更新されたスキルバンクが意思決定エージェントの性能向上に寄与。
- 両エージェントは、それぞれ異なる機能に対応する LoRA (Low-Rank Adaptation) アダプターを介して GRPO で個別に微調整されます。

B. スキルの定義

各スキルは構造化されたプロトコルとして保存され、以下の要素を含みます：

Summary: スキルの目的。
Pre-condition: 適用可能な条件。
Plan: 実行手順。
Success/Abort Criteria: 成功または中止の条件。
Contract: 実行後に期待される状態変化（追加/削除される述語など）。

3. 主要な貢献 (Key Contributions)

意思決定とスキル学習の閉ループ化: 意思決定エージェントとスキルバンクエージェントを単一の共進化ループで結合し、ラベルなし軌道から再利用可能なスキルを自動抽出・改善する初のフレームワークの一つを提案。
包括的な評価: 6 つのゲーム環境（2048, Candy Crush, Tetris, Super Mario Bros, Avalon, Diplomacy）における多段階スキル使用タスクで評価を実施。
- シングルプレイヤー: 8B パラメータのベースモデル（Qwen3-8B）を用いて、最先端の LLM ベースライン（GPT-5.4, Gemini-3.1-PRO など）に対して、平均25.1% の報酬向上を達成。
- マルチプレイヤー: 社会的推論が求められるゲーム（Avalon, Diplomacy）でも、SOTA LLM と互角以上の性能を維持。
データ効率と適応性: 少数の反復（最大 25 回）で新しいタスクに適応可能であり、従来の強化学習ベースのアプローチに比べてはるかに効率的。

4. 実験結果 (Results)

シングルプレイヤーゲーム:
- COS-PLAY は、GPT-5.4 などの巨大モデルと比較して、8B モデルでありながら 25.1% 以上の平均報酬向上を達成しました。
- 既存の SFT（教師あり微調整）や GRPO 単独、あるいは共進化なしのスキルバンク使用では、一貫した性能向上が見られませんでした。これは「共進化」がポリシーとスキルバンクの整合性を保つ上で不可欠であることを示しています。
マルチプレイヤーゲーム（社会的推論）:
- Avalon: GEMINI-3.1-PRO や GPT-OSS-120B と同等の勝率（約 39%）を達成。
- Diplomacy: GEMINI-3.1-PRO より 8.8% 高い平均供給センター数を獲得。
- 質的分析（Figure 7-10）によると、COS-PLAY は明確なフェーズ遷移（探索→準備→防御など）を持ち、行動の安定性が高く、GPT-5.4 のような「崩壊（急激な失点）」を防ぐ「安定床（Stagnation ではなく Collapse しない）」を提供します。
一般推論能力の維持: 数学や一般知識のベンチマーク（Math-500, MMLU-Pro）における性能低下はわずかであり、ゲーム特化の学習が一般推論能力を損なわないことを示しました。

5. 意義と将来展望 (Significance & Future Work)

意義:
- LLM エージェントが「一度きりのツール呼び出し」を超え、構造化された「スキル」を自律的に発見・洗練・再利用するパラダイムを示しました。
- 長期的なタスクにおいて、メモリや計画能力を補完する「構造化された状態追跡」と「再利用可能スキル」が、小規模モデルでも最先端モデルに匹敵する性能を発揮させる鍵であることを実証しました。
限界と将来の課題:
- 現在のシステムはテキストベースの状態要約に依存しており、生画像や複雑な視覚的推論には限界があります。
- 将来的には、マルチモーダル環境への拡張や、異なるドメイン間でのスキル転移（Cross-domain transfer）の改善が期待されます。

結論

COS-PLAY は、LLM エージェントが長期的な環境と相互作用する中で、自律的にスキルを構築・進化させるための強力なフレームワークです。意思決定とスキル管理を共進化させることで、小規模モデルでも複雑なゲームや社会的推論タスクにおいて、巨大モデルを上回る、あるいは同等の性能を高いデータ効率で達成できることを示しました。