💬 NLP

ProPlay: Procedural World Models for Self-Evolving LLM Agents

ProPlay 引入了一种程序化世界模型，通过将成功的轨迹抽象为用于前序回合模拟和后序回合优化的因果过程图，使自进化 LLM 智能体能够在部分可观测环境中通过增强环境理解和自主学习来提升性能，且无需外部监督。

原作者： Yijun Ma, Zehong Wang, Yiyang Li, Ziming Li, Xiaoguang Guo, Weixiang Sun, Chuxu Zhang, Yanfang Ye

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Yijun Ma, Zehong Wang, Yiyang Li, Ziming Li, Xiaoguang Guo, Weixiang Sun, Chuxu Zhang, Yanfang Ye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于 ProPlay 论文的解释，已将其翻译为通俗易懂的语言，并使用了日常类比。

核心理念：“心理演练”智能体

想象一下，你正在尝试在一个从未见过的厨房里学习烹饪一道复杂的菜肴。你无法一次看到整个房间（这是“部分可观测性”），而且只有在品尝食物或东西烧焦时才能得到反馈。

目前大多数 AI 智能体就像是这样的厨师：

死记硬背食谱（记忆）：它们记得之前做的每一个步骤，但并不真正理解这些步骤是如何协同工作的。
试错法（规划）：它们试图在采取行动前思考出每一种可能的移动，但由于缺乏对厨房的良好认知，它们经常会陷入困境。

ProPlay 是一种新型 AI 智能体，它试图模仿人类的行为：心理演练（Preplay）。

在智能体接触工具之前，它会先在脑海中（隐喻地）闭上眼睛，想象整个过程。它会自问：“如果我做 X，通常会发生 Y，然后我就可以做 Z。”它构建的是关于任务如何流转的“心理地图”，而不仅仅是一份规则清单。

ProPlay 如何运作：三步循环

论文描述了一个在智能体尝试新任务时都会发生的循环。这就像一个学生在备考、参加考试，然后复习笔记的过程。

1. “心理地图”（程序化世界模型）

ProPlay 不会记住每一个微小的动作（比如“拿起勺子”、“移动勺子 2 英寸”），而是将动作组合成程序（Procedures）。

类比： 把一个“程序”想象成书中的一个“章节”。你不会记住第 10 页的每一个字，而是记住章节标题：“英雄找到了宝剑”。
图谱（Graph）： ProPlay 将这些“章节”连接成一张地图（图谱）。它通过箭头展示“找到宝剑”通常会导致“对抗巨龙”。
可靠性评分： 至关重要的一点是，ProPlay 会为每一条箭头赋予一个“信任分数”。如果“英雄找到宝剑”这一步在 10 次中有 9 次成功，那么这条箭头的得分就会很高。如果它导致了陷阱，得分就会下降。这有助于智能体知道哪些路径是值得信赖的。

2. “预演”（演练/Preplay）

在智能体开始实际任务之前，它会查看自己的地图并在脑海中运行模拟。

软性引导： 它不会像机器人一样强迫智能体必须遵循地图。相反，它会说：“嘿，根据我学到的经验，这条路径通常效果很好。你可以尝试一下，但如果你看到了异常情况，可以随时改变路线。”
为什么这很重要： 它给了智能体一个起跑优势（利用/Exploitation），但同时也允许它在地图出错时进行探索（探索/Exploration）。

3. “复盘”（精炼/Review）

在智能体完成任务后，它会观察实际发生了什么。

更新地图： 如果智能体成功了，ProPlay 会加强它所走路径的“信任分数”。如果失败了，它会将该路径标记为高风险。
学习新章节： 如果智能体做出了某种有效的新尝试，ProPlay 会创建一个全新的“章节”（程序）并将其添加到地图中，供下次使用。

为什么这更好？（结果）

研究人员在三个不同的“游戏”（基准测试）上测试了 ProPlay：

ScienceWorld： 一个需要解决科学问题的文本类游戏。
τ-Bench： 一个模拟帮助客户处理零售或航空问题的环境。
PlanCraft： 一个类似《我的世界》（Minecraft）的游戏，你需要使用配方来制作物品。

研究发现：

擅长复杂任务： ProPlay 击败了其他顶尖的 AI 智能体，尤其是在需要长链条步骤的任务中（如混合化学物质或制作复杂的物品）。
学习速度更快： 在初期（“冷启动”阶段），ProPlay 学习得更快，因为它可以通过心理地图来预测好的策略，即使经验尚浅。
“甜点区”： 论文发现 ProPlay 非常擅长具有清晰步骤的任务（如食谱），但在处理需要精确数学计算或从零开始构建不符合模式的工具时，表现较为吃力。

局限性（论文中提到的内容）

作者坦诚地说明了 ProPlay 可能遇到的困难：

过于抽象： 如果任务需要非常精确的数字（例如“测量正好 3.4 克”），ProPlay 高层级的“章节”可能会显得过于笼统。它更擅长“加盐”，而不是“加 3.4 克盐”。
单次演练： 智能体仅在最开始进行一次“心理演练”。如果情况在执行过程中发生变化，它无法停下来重新演练；它必须依靠自身的应变能力来修正计划。
新环境： 论文尚未在像浏览整个互联网这样规则不断变化且可能无法形成清晰“地图”的开放式环境中进行测试。

总结

ProPlay 是一种通过构建**“事物通常是如何发生的”心理地图**来进行学习的 AI。它在行动前演练这些路径，信任以往成功的路径，并在每次尝试后更新其地图。它就像一位厨师，不仅记住了食谱，还理解了烹饪的“流程”，从而在厨房凌乱或食材略有不同时能够灵活应变。

技术摘要：ProPlay：用于自我进化 LLM 智能体的程序化世界模型

问题陈述

本文旨在解决构建自我进化 LLM 智能体的挑战，这类智能体能够在没有外部监督或大规模重训练的情况下，通过交互进行自我提升。这在部分可观测环境中尤为困难，因为智能体必须主动探索、从稀疏且延迟的反馈中学习，并决定何时信任先前的经验。

现有方法通常将记忆（存储反思或规则）与规划（搜索未来动作）视为独立的模块，未能实现两者之间的闭环，从而无法持续优化其对环境动态的内部理解。此外，目前的各种世界模型方法往往依赖于动作级约束或低层规则，这可能会忽略任务的高层因果结构，并在利用（exploitation）与探索（exploration）之间难以取得平衡。核心问题在于，如何以一种能够捕捉可复用的、层次化任务进展性的抽象水平来表示环境动态，同时允许灵活的底层动作选择。

方法论：ProPlay

作者引入了 ProPlay，这是一个基于演进式程序化世界模型的框架。该系统在一个由预演（Preplay）、**执行（Execution）和精炼（Refinement）**组成的三个阶段循环中运行。

1. 程序化世界模型

ProPlay 不通过单个动作或实体来表示环境，而是使用**程序（Procedures）**作为基本单元来建模动态。

程序（Procedures）： 从成功的交互轨迹中归纳出的任务阶段的高层抽象（例如，“烧开水”、“测量属性”）。它们描述了一个阶段的目的和执行模板。
程序图 ( $G$ )： 一个属性有向图，其中节点是程序 ( $P$ )，有向边 ( $E$ ) 编码了任务阶段之间的因果转换。
可靠性记录嵌入 ( $C$ )： 每个转换 $(p_i, p_j)$ 都关联一个嵌入，用于量化该转换在多大程度上一致地促成了具有相似描述的成功任务。这是通过计算过去成功案例中出现该转换的任务描述嵌入的加权总和来实现的。这一机制有助于区分可泛化的知识与噪声或过拟合的经验。

2. 程序级预演

在每个新回合开始前，ProPlay 进行程序级预演以生成结构化的软引导：

轨迹构建： 智能体查询当前的程序图 ( $G_{k-1}$ ) 并检索相关的失败经验。它根据与当前任务描述的语义相似度，为现有的转换分配特定任务的可靠性评分。
软引导： 智能体通过对任务描述、图和可靠性评分进行推理，构建一条程序轨迹 ( $W^*$ )。该轨迹被注入到智能体的上下文作为软引导（高层先验），而非硬性约束。这使得智能体能够在利用累积知识的同时，保留偏离并探索未见转换的自由，如果观测结果证明这种偏离是合理的。

3. 回合制世界模型精炼

在回合结束之后，ProPlay 根据环境反馈对世界模型进行精炼：

程序归纳： 成功的轨迹段被分割并传递给 LLM，由其根据语义相似度归纳出新的程序或将其合并到现有程序中，以确保程序词汇表是非冗余的。
图更新： 新的程序路径被映射到更新后的程序集，并将新的转换添加到图中。
可靠性更新： 为观察到的转换更新可靠性记录嵌入，以反映其对当前回合奖励的贡献，从而巩固可泛化的知识并抑制误导性的转换。

核心贡献

以程序为中心的视角： 本文提出将环境动态建模为程序化路径而非低层动作约束，从而捕捉任务进展的层次化和因果结构。
ProPlay 框架： 一种预演机制，用于构建并维护程序化世界模型，将检索到的任务相关轨迹作为软引导，以平衡探索与利用。
实证评估： 在三个公开基准测试上的全面实验证明了其在环境理解和自我进化能力方面的持续提升。

实验结果

作者在 ScienceWorld（科学推理）、 $\tau$ -Bench（对话工具使用）和 PlanCraft（多步制造）上对 ProPlay 进行了评估。

性能： ProPlay 在所有基准测试中均取得了最佳的平均排名（A.R.），超越了包括 ReAct、Reflexion、ExpeL、LATS、Wall-E 和 WorldCoder 在内的强有力基线模型。
ScienceWorld： ProPlay 显著优于基于规划和基于动作级的世界模型基线，尤其是在复杂的跨步任务中。
自我进化分析：
- 冷启动： 由于其能够利用先验知识进行探索，ProPlay 在早期回合中展现出了优势。
- 增长模式： 程序图表现出两个阶段的增长：早期快速积累概念节点，随后是关系边的激增，这表明深化关系结构驱动了后期性能的提升。
- 泛化性： 系统在异构任务中表现出良好的泛化能力，在擅长的任务中表现出显著优势，同时在其他任务中并未落后。
消融实验：
- 预演（Preplay）： 将软引导替换为硬约束或随机采样会导致性能下降，证实了灵活且有依据的推理的必要性。
- 世界模型组件： 去除程序转换或可靠性记录会显著降低性能，凸显了转换是最有价值的知识，且可靠性记录对于有效的利用至关重要。
- 粒度： 用动作级模型取代程序化模型会导致性能降低，表明动作级约束限制了推理的灵活性。

局限性与讨论

论文承认了特定的局限性：

抽象范围： 程序化抽象对于具有清晰、可复用因果结构的任务最为有效。需要精确定量推理（如熔点测量）或不可分解工具组装的任务可能更适合细粒度的基于规则的方法。
单次预演： 预演计划在回合开始时生成一次。如果早期观测表明计划不正确，智能体无法在中途修正计划，必须依靠自身的推理进行恢复。
基准测试范围： 在高度开放的环境（如 Web 导航、GUI 交互）中，程序化结构是否能自然涌现，仍是一个开放性问题。

意义

本文声称，程序级抽象为部分可观测环境中的自我进化智能体提供了一个原则性且有效的基石。通过程序化世界模型闭合记忆与规划之间的环路，ProPlay 使智能体能够内化环境动态，区分可泛化的知识与偶然的经验。这种方法超越了孤立的规则提取或静态规划，提供了一个动态框架，使智能体能够积极地预演未来的路径，并通过交互来精炼其对世界的内部理解。