🤖 machine learning

APEX: Autonomous Policy Exploration for Self-Evolving LLM Agents

本文提出了 APEX，一种自主策略探索框架，该框架利用策略图和分叉发现机制来克服自进化大语言模型智能体中的探索崩溃问题，使其能够通过记忆和反思发现更优策略，而无需更新模型权重。

原作者： Yibo Li, Jiashuo Yang, Zhi Zheng, Zhiyuan Hu, Yuan Sui, Shizun Wang, Yufei He, Bryan Hooi

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Yibo Li, Jiashuo Yang, Zhi Zheng, Zhiyuan Hu, Yuan Sui, Shizun Wang, Yufei He, Bryan Hooi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是 APEX 论文的通俗解释，通过日常类比拆解为简单概念。

问题：“舒适区”陷阱

想象你正在玩一款复杂的游戏（比如文字冒险游戏，你需要输入指令来探索世界）。你有一位智能 AI 助手在帮你。

起初，AI 会尝试许多不同的事情：开门、捡物品、与 NPC 对话。但过了一段时间，它找到了一条能获得不错分数的路径。它开始感到舒适。它意识到：“嘿，如果我只走这条特定的走廊并捡起那把钥匙，每次都能得分。”

于是，它停止尝试任何新事物。它陷入循环，一遍又一遍地重复同样的安全流程。

问题所在：AI 的平均表现不错，但它已经停止寻找那个能带来双倍分数的“秘密宝藏室”，因为那藏在一扇它从未想过要尝试的门后。
论文术语：这被称为探索崩溃（Exploration Collapse）。智能体停止探索，仅仅利用它已知的东西，从而错过了更好的策略。

解决方案：APEX（“探险家地图”）

作者提出了一种名为 APEX（自主策略探索）的系统。与其让 AI 随意漫游或死记硬背过去的错误，APEX 为 AI 提供了一张策略地图。

不要把这张地图想象成建筑物的绘图，而要把它看作一个由规则连接的目标清单。

里程碑：这些是具体目标，比如“找到钥匙”或“打开宝箱”。
依赖关系：地图知道，在你“找到钥匙”之前，无法“打开宝箱”。

这张地图充当了 AI 的共享大脑，精确追踪它已经尝试过什么，以及尚未尝试过什么。

APEX 如何工作：双引擎系统

APEX 使用两个主要机制来防止 AI 陷入停滞，它们像导游和侦探一样协同工作。

1. 侦探：“分叉发现（Fork Discovery）”

想象你正在穿过博物馆。你看到一扇门微微开着，但你因为专注于眼前的画作而走了过去。

发生了什么：AI 看到了那扇门，但没有打开它。
分叉发现的工作：游戏结束后，“侦探”会查看回放。它会说：“等等，我们看到了那扇门！我们有机会打开它，但我们从未这样做过。让我们把‘打开门’作为新目标添加到我们的清单中。”
结果：地图得以扩展。它主动发现 AI 忽略的方向，并将它们添加到计划中，确保 AI 不会错过隐藏的机会。

2. 导游：“策略选择（Policy Selection）”

现在地图有了目标列表，AI 需要决定接下来攻克哪一个。

问题：如果 AI 只选择它知道能得分最高的目标，它就永远不会尝试那些新的、有风险的目标。
策略选择的工作：这就像一位聪明的导游，在安全与冒险之间取得平衡。它使用一种数学技巧（称为汤普森采样 Thompson Sampling）来决定：“我们已经尝试了‘钥匙’目标 10 次，它很有效。但我们只尝试过‘门’目标一次。让我们再去试试那扇门，因为我们还不知道它是否是一座金矿！”
结果：AI 被迫访问地图上“未探索”的部分，确保它不会陷入死胡同。

改进循环

每隔几局游戏，系统会暂停以更新其地图：

优化：修正错误。（例如：“我们以为需要一把剑才能打开门，但实际上，我们只需要一把钥匙。”）
传播：更新统计数据。（例如：“‘找到钥匙’这个目标实际上非常重要，因为它通向大宝藏。”）
发现：侦探发现新的门并将其添加到地图中。

为何有效（结果）

研究人员在两种类型的“游戏”上测试了该系统：

文字冒险（Jericho）：复杂的故事情节，需要输入指令。
网络交互（WebArena）：现实任务，如浏览网站购物或查找信息。

发现：

旧方法（如 Reflexion）：这些智能体被困在舒适区。它们获得了不错的平均分数，但很少找到绝对最佳的解决方案。
APEX：因为它明确追踪它尚未尝试过的事情，所以它 consistently 找到了更好的策略。它不仅获得了更高的平均分，还找到了其他人错过的“秘密宝藏”。

总结类比

想象你正在寻找去上班的最佳路线。

旧方法：你每天都走同一条路，因为它通常很快。你从不检查是否有新开通的捷径。
APEX 方法：你有一本笔记本（策略地图）。
- 分叉发现是你看着地图说：“我昨天看到了一条新路，但我没走。我把它记下来，明天试试。”
- 策略选择是你决定：“我已经走了主干道 20 次。今天让我们试试新路，看看它是否更快。”

通过保持一份关于已尝试和未尝试事项的有序列表，APEX 防止 AI 变得懒惰，并确保它不断发现解决问题的更好方法。

技术摘要：APEX（用于自进化 LLM 代理的自主策略探索）

1. 问题陈述：自进化代理中的探索崩溃

尽管大语言模型（LLM）代理已在复杂、长视野的任务中展现出熟练能力，但一个关键限制依然存在：它们无法在不更新模型权重的情况下在测试时进行即时学习。现有的自进化代理试图通过积累记忆并在不同回合间进行反思来克服这一限制。然而，作者识别出一种被称为探索崩溃的现象。

随着代理积累经验，其行为倾向于集中在熟悉的、高回报的常规路径上。虽然平均回报可能保持稳定甚至增加，但代理的探索多样性却下降了，导致其陷入狭窄的行为模式。因此，代理无法发现那些位于其当前“已知”空间之外、性质不同且更优的策略。本文认为，现有的记忆和反思机制仅提供局部指导，却未能维持一个持久、显式的策略空间，致使代理无法意识到自己尚未尝试过的选择。

2. 方法论：APEX 框架

为了解决探索崩溃问题，作者提出了APEX（自主策略探索）。其核心创新在于维护一个显式的策略图（Strategy Map），这是一个有向无环图（DAG），用于结构化代理的知识并引导探索。

2.1 策略图

策略图 $G = (V, E, \theta)$ 是一个有向无环图，其中：

节点（ $V$ ）： 代表里程碑，定义为用自然语言描述的离散子目标，并关联关键动作（例如，“收集黄铜提灯”）。
边（ $E$ ）： 编码先决依赖关系（例如，节点 $u$ 必须在节点 $v$ 之前达成）。
统计信息（ $\theta$ ）： 每个节点跟踪访问次数（ $n$ ）、平均奖励（ $\bar{r}$ ）和奖励方差（$Var$）。

该地图将开放式的动作空间转化为结构化的规划问题，其中代理的状态即为已达成里程碑的集合。

2.2 核心组件

APEX 通过四个不同机制的循环运行：

策略选择（回合级探索）：
在一个回合中，代理从符合条件的里程碑集合（即先决条件已满足的里程碑）中选择下一个里程碑。这被建模为一个多臂老虎机问题。作者评估了三种策略：
- 汤普森采样（默认）： 基于均值和方差从后验分布中采样。它自然地倾向于高不确定性（未充分探索）的里程碑，而无需超参数调整。
- UCB（置信度上界）： 基于访问次数添加乐观奖励。
- $\epsilon$ -贪婪： 以概率 $\epsilon$ 进行随机探索。
- 机制： 选择是顺序进行的；如果某个里程碑失败，代理会重新评估符合条件的里程碑，而不是被锁定在预定的序列中。
地图精炼（知识修正）：
定期（每 $N$ 个回合），一个 LLM 分析最近回合的结构化摘要以更新现有地图。它根据观察到的事实来精炼关键动作、修正错误的依赖边，并剪枝重复节点。这确保了地图与环境机制的准确性保持一致。
回报传播（信用分配）：
该组件也定期运行，用于更新里程碑的统计信息（ $\theta$ ）。利用 DAG 上的反向拓扑遍历，它将来自下游里程碑的奖励传播回其先决条件。这确保了使能里程碑（例如，“找到钥匙”）能为解锁高回报后继者（例如，“打开宝箱”）获得信用，即使该使能里程碑本身没有产生即时奖励。
分叉发现（策略空间扩展）：
这是防止探索崩溃的主要机制。与修正已知路径的精炼不同，分叉发现主动扩展地图的前沿。一个 LLM 分析回合摘要，以识别那些被观察到或可用但从未被追求的动作或方向。它提出新的里程碑和依赖边来编码这些未探索的可能性，从而有效地迫使代理考虑其从未尝试过的策略。

3. 主要贡献

探索崩溃的识别： 本文通过实证证明，自进化代理（如 Reflexion）往往收敛于狭窄的行为常规，错过了那些静态、非学习代理偶尔通过纯粹的多样性而偶然发现的更优策略。
显式策略空间： APEX 引入了首个为自进化代理设计的框架，该框架维护策略空间（里程碑和依赖关系）的显式、结构化地图，而不是仅仅依赖非结构化的记忆或反思。
双循环探索： 该框架将地图级扩展（分叉发现）与回合级选择（策略选择）分离开来，形成了一个闭环，其中新领域被持续开辟并被系统性地访问。
鲁棒的信用分配： 基于 DAG 的回报传播确保了使能动作得到正确估值，解决了复杂任务中奖励稀疏的问题。

4. 实验结果

作者在两个基准测试上评估了 APEX：Jericho（9 款文字冒险游戏）和 WebArena（812 个真实的网页交互任务）。

性能： APEX 在所有环境中一致地优于所有基线（Static、Memory、Reflexion、EvoTest、ACE）。
- 在 Jericho 中，APEX 在所有 9 款游戏中均取得了最高的 Final-5 分数。值得注意的是，在需要多样化策略的游戏（如 Ztuu）中，APEX 显著优于 Reflexion，后者往往收敛于次优的局部最大值。
- 在 WebArena 中，APEX 在所有 5 个类别（购物、Reddit、GitLab、CMS、地图）中均领先，特别是在 Reddit 和 GitLab 上取得了巨大提升，这些任务需要多步骤、非显而易见的序列。
消融研究：
- DAG 与扁平列表： 依赖结构（DAG）至关重要；里程碑的扁平列表表现显著较差，证实了关于先决条件的推理是关键。
- 分叉发现： 移除分叉发现导致性能显著下降，特别是在复杂游戏中，这证明了主动扩展策略空间对于避免崩溃是必要的。
- 策略选择： 汤普森采样优于 UCB 和 $\epsilon$ -贪婪，突显了方差感知探索的重要性。
- 回报传播： 基于 DAG 的信用传播优于基于顺序路径的传播，确保了使能里程碑的估值准确性。
泛化能力： APEX 在 WebArena 上展示了强大的跨任务泛化能力，能够将知识从已见任务转移到未见任务，而无需特定任务的先验知识。
成本： 尽管增加了反思组件，但由于里程碑引导的提示语简洁，APEX 的 API 成本与其他方法相当。

5. 意义与主张

本文主张，APEX 通过从隐式的、基于记忆的学习转向显式的、基于地图的探索**，有效地解决了自进化 LLM 代理中的探索崩溃问题。

意义： 这项工作表明，为了使代理能够持续改进，它们不仅必须反思自己做过什么，还必须主动构建并导航一张关于自己尚未做过什么的地图。
谦逊： 作者承认局限性：策略图的质量受限于 LLM 识别里程碑和推断未探索方向的能力。深度隐藏的游戏机制或完全超出代理过去知识的策略仍可能被遗漏。此外，当前的方法依赖于那些自然分解为离散里程碑的任务，这表明连续或结构化程度较低的环境可能需要对里程碑定义进行调整。

总之，APEX 提供了一个稳健的框架以支持持续探索，使自进化代理能够发现传统基于反思的方法无法找到的更优策略。