💻 computer science

Co-Evolving LLM Decision and Skill Bank Agents for Long-Horizon Tasks

该论文提出了名为 COSPLAY 的协同进化框架，通过让大语言模型决策智能体从可学习的技能库中检索技能，同时由另一智能体从无标签数据中持续发现并更新技能，从而显著提升了智能体在长程交互环境（如游戏）中的多步推理与决策能力。

原作者： Xiyang Wu, Zongxia Li, Guangyao Shi, Alexander Duffy, Tyler Marques, Matthew Lyle Olson, Tianyi Zhou, Dinesh Manocha

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiyang Wu, Zongxia Li, Guangyao Shi, Alexander Duffy, Tyler Marques, Matthew Lyle Olson, Tianyi Zhou, Dinesh Manocha

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 COS-PLAY 的新系统，它的核心思想是教人工智能（AI）像人类一样“边玩边学，越玩越精”，特别是在那些需要长时间策略规划的游戏（比如《大富翁》、《文明》或复杂的电子游戏）中。

为了让你更容易理解，我们可以把这篇论文的核心内容想象成**“一个天才棋手和他的私人教练团队”**的故事。

1. 核心问题：为什么现在的 AI 玩游戏容易“翻车”？

想象一下，你让一个刚出生的婴儿（目前的普通大语言模型 AI）去下围棋或玩《文明》。

它的弱点：它很聪明，能看懂规则，也能走一步算一步。但是，一旦游戏变长，它就容易**“失忆”**。它记不住刚才走了什么，也记不住之前成功的套路。
后果：它就像是一个没有经验的实习生，每走一步都要重新思考“我现在该干嘛？”，结果往往是顾此失彼，在长局中因为缺乏连贯的策略而输掉。

2. 解决方案：COS-PLAY 的“双核”架构

COS-PLAY 没有试图把 AI 变得更“全知全能”，而是给它配了两个角色，让它们互相配合、共同进化：

角色 A：决策者（The Player）—— 场上的棋手

它的任务：负责在游戏里实际操作，下棋、移动、攻击。
它的秘密武器：它手里拿着一本**“技能秘籍”（Skill Bank）**。
怎么工作：当棋手遇到复杂局面时，它不会从头瞎想，而是翻开秘籍：“哦，现在是开局阶段，我应该用‘侦察’技能”；“哦，现在对手要进攻了，我应该用‘防守’技能”。
比喻：就像一个老练的司机，遇到红灯就踩刹车，遇到弯道就减速。它不需要每次都重新发明“怎么开车”，而是直接调用大脑里存好的“开车技能”。

角色 B：技能管理员（The Coach）—— 场下的教练

它的任务：它不直接玩游戏，而是观察棋手怎么玩的。
怎么工作：
1. 录像分析：教练看棋手刚才的几十步棋（无标签的试玩过程）。
2. 提炼套路：教练发现：“哎，棋手刚才连续三步都在试探对手，这其实是一个‘侦察’技能！”
3. 写进秘籍：教练把这个“侦察”技能写进“技能秘籍”里，并标注清楚：什么时候用、怎么用它、用了会有什么效果。
4. 清理旧书：如果某个技能好久没用了，或者发现新招更好，教练就会把旧技能删掉或修改。

3. 它们是如何“共同进化”的？（Co-Evolution）

这是这篇论文最精彩的地方。它们不是各干各的，而是一个闭环：

棋手拿着当前的“技能秘籍”去玩游戏，玩得越来越好。
教练看着棋手玩出的新花样，发现：“哇，刚才那个新打法很厉害，我要把它变成一个新的技能加进秘籍里！”
秘籍更新了，棋手下次玩的时候，手里就有了更厉害的招数。
棋手用新招数玩出了更好的成绩，教练又从中发现了更高级的套路……

比喻：
这就好比一个健身团队。

决策者是正在举铁的运动员。
技能管理员是教练。
运动员练得越狠，教练越能总结出更科学的“深蹲技巧”；教练把技巧写进训练手册，运动员照着练，肌肉长得更快，又能练出更难的技巧。两者互相促进，最后运动员变成了世界冠军。

4. 实验结果：小模型也能打败大模型

论文在 6 种不同的游戏里做了测试（包括单人解谜游戏如《2048》、《超级马里奥》，以及多人策略游戏如《外交》、《阿瓦隆》）。

惊人的成绩：COS-PLAY 使用的只是一个中等大小的 AI 模型（80 亿参数，相当于一个普通的手机 App 大小），但它通过这种“技能库”机制，在单人游戏中比目前世界上最强大的 AI（如 GPT-5.4 等）平均强了 25% 以上。
社交游戏表现：在需要勾心斗角、谈判的多人游戏里，它也能和那些超级大模型打得有来有回，甚至更好。
关键点：它不需要像以前那样训练几百万次，只需要很少的几次“试错”和“总结”，就能迅速学会新游戏的玩法（少样本学习）。

5. 总结：为什么这很重要？

以前的 AI 像是**“过目不忘但不会举一反三的学生”，每次遇到新情况都要重新背公式。
COS-PLAY 让 AI 变成了“善于总结经验的专家”**。它学会了把复杂的长任务拆解成一个个小的、可重复使用的“技能包”（比如：侦察、进攻、防守、谈判）。

一句话总结：
这篇论文告诉我们，让 AI 变强的关键，不在于把它造得更大、更笨重，而在于给它一个**“会自我更新的技能笔记本”，让它学会“把经验变成技能，再用技能去创造新经验”**。这就是通往更智能、更自主的 AI 的一条新道路。

这篇论文提出了一种名为 COS-PLAY 的框架，旨在解决大型语言模型（LLM）在长视野（Long-Horizon）交互式环境（如游戏）中决策能力不足的问题。该框架通过决策智能体与技能库智能体的协同进化（Co-Evolution），实现了从非结构化轨迹中自动发现、提炼和复用结构化技能，从而显著提升智能体的长期规划与决策能力。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

挑战： 长视野的交互式环境（如复杂游戏）要求智能体具备多步推理、跨时间步的技能串联以及在延迟奖励和部分可观测性下的鲁棒决策能力。
现有局限： 虽然 LLM 作为游戏智能体展现出潜力，但它们通常缺乏一种机制来发现、保留和跨回合复用结构化的技能。这导致 LLM 难以进行一致性的长期决策，往往依赖人工策划的数据或外部反馈，且难以从自身的无标签交互轨迹中自我进化。
核心问题：
1. 技能库（Skill Bank）和决策智能体（Decision Agent）是否应该联合学习，而不是分开训练？
2. 什么样的技能库属性能够有效提升决策能力？

2. 方法论 (Methodology: COS-PLAY)

COS-PLAY 是一个多智能体协同进化框架，包含两个核心组件和一个共享的技能库：

A. 核心组件

决策智能体 (Decision Agent, $A_D$ )：
- 基于 LLM，负责与环境交互。
- 工作流程： 观察当前状态 $\rightarrow$ 从技能库检索候选技能 $\rightarrow$ 更新意图（Intention） $\rightarrow$ 选择或切换技能 $\rightarrow$ 执行原语动作。
- 状态表示： 维护一个“意图状态” $z_t$ ，捕捉当前的战略焦点和子目标。
- 训练目标： 最大化累积奖励，同时优化技能检索和动作执行。
技能库智能体 (Skill Bank Agent, $A_S$ )：
- 基于 LLM 的流水线，负责无监督的技能发现与维护。
- 工作流程：
  - 边界提议 (Boundary Proposal)： 基于状态谓词翻转、意图标签变化、奖励突变等信号，识别轨迹中的技能转换点。
  - 推断分割 (Infer Segmentation)： 将轨迹分割为技能片段，并尝试匹配现有技能或标记为新技能。
  - 契约学习 (Contract Learning)： 聚合多个实例的状态变化，学习技能的“效果契约”（Effect Contract），即技能执行后可靠产生的状态改变（如：增加/删除哪些谓词）。
  - 库维护 (Maintenance)： 执行细化 (Refine)、实例化 (Materialize)、合并 (Merge)、拆分 (Split) 和 退役 (Retire) 操作，保持技能库的紧凑和高质量。
可精炼技能库 (Refineable Skill Bank)：
- 存储结构化的技能协议，包含：摘要 (Summary)、前置条件 (Pre-condition)、执行计划 (Plan)、成功/中止标准 (Success/Abort Criteria) 以及效果契约 (Contract)。
- 技能不是静态的，而是随着智能体与环境的交互不断被更新和精炼。

B. 协同进化训练机制

闭环反馈： 决策智能体利用当前技能库收集轨迹 $\rightarrow$ 技能库智能体将轨迹转化为新技能并更新库 $\rightarrow$ 更新后的库指导下一轮决策。
优化算法： 使用 GRPO (Group Relative Policy Optimization) 分别优化两个智能体。
- 决策智能体： 使用两个 LoRA 适配器，分别优化“动作执行”和“技能检索”。
- 技能库智能体： 使用三个 LoRA 适配器，分别优化“轨迹分割”、“契约学习”和“库维护（策展）”。
奖励设计： 结合了环境奖励、技能跟随塑形奖励（鼓励完成技能契约）以及切换成本惩罚。

3. 实验设置与结果 (Experiments & Results)

环境： 在 6 个游戏环境中进行评估，包括 4 个单人游戏（2048, Candy Crush, Tetris, Super Mario Bros）和 2 个多人社交推理游戏（Avalon, Diplomacy）。
基线模型： 对比了 GPT-5.4, GEMINI-3.1-PRO, CLAUDE-4.6-SONNET, GPT-OSS-120B 等前沿 LLM，以及 Qwen3-8B 的变体（SFT, GRPO, 无技能库等）。
主要结果：
- 单人游戏： 基于 8B 参数模型的 COS-PLAY 在单人游戏基准测试中，相比 GPT-5.4 实现了 25.1% 的平均奖励提升。
- 多人社交游戏： 在 Avalon 和 Diplomacy 中，COS-PLAY 表现与 SOTA 大模型（如 GEMINI-3.1-PRO）相当甚至更优（在 Diplomacy 中高出 8.8%），证明了结构化状态跟踪和可复用技能对长视野社交推理的有效性。
- 数据效率： 仅需少量样本（每个游戏最多 25 次迭代）即可达到高性能，远优于传统 RL 方法所需的数百次训练步数。
- 消融实验： 证明了“协同进化”是关键。仅使用技能库或仅使用 RL 均无法达到最佳效果，且技能库与策略分布的错位会导致性能下降。
- 通用性： 在 MMLU-Pro 和 Math-500 等通用推理基准上，COS-PLAY 的性能下降极小，表明其未损害基座模型的通用推理能力。

4. 关键贡献 (Key Contributions)

提出协同进化框架： 首次将基于 LLM 的游戏决策与代理管理的技能库流水线（用于无监督技能发现和持续精炼）在统一的协同进化循环中耦合。
结构化技能发现： 设计了一套完整的流水线，能够从非标签的轨迹中自动提取、验证和精炼带有“效果契约”的可复用技能。
全面的评估与验证： 在 6 个不同难度的游戏环境中验证了框架的有效性，证明了小模型（8B）通过结构化技能管理可以超越或匹敌更大的前沿模型。
揭示了技能复用的价值： 分析表明，COS-PLAY 学习的是可复用的技能抽象，而非死记硬背特定轨迹，这在长视野任务中提供了稳定的行为基线（Safety Floor），防止了策略崩溃。

5. 意义与局限性 (Significance & Limitations)

意义：
- 为解决长视野任务中的“遗忘”和“规划失效”问题提供了新范式，即通过**外部结构化记忆（技能库）**来辅助 LLM。
- 展示了小模型 + 技能库在特定领域（如游戏、复杂任务）可以超越大模型 + 纯提示的潜力，具有更高的数据效率和可解释性。
- 为构建自我进化的通用智能体（AGI）提供了可落地的技术路径，即“探索 - 学习 - 复用”的闭环。
局限性：
- 目前依赖于紧凑的文本状态摘要，限制了其在多模态（如原始视觉输入）环境中的直接应用。
- 长轨迹中的摘要错误可能会累积，影响技能的相关性。
- 未来工作将致力于扩展到多模态交互环境，并提升跨领域的技能迁移能力。

总结： COS-PLAY 通过让 LLM 决策者与一个自动管理技能库的“导师”共同进化，成功解决了长视野任务中技能复用和长期规划的问题，证明了结构化技能库是提升 LLM 智能体性能的关键组件。