💬 NLP

Unified Context Evolution for LLM Agents

本文介绍了统一上下文演化（Unified Context Evolution, UCE），这是一个无梯度框架，通过将经验外部化为由可演化上下文单元（Evolvable Context Units）组成的动态、类型化的库，并对其进行选择性的生成、评分和剪枝，从而增强大语言模型（LLM）智能体的性能，并实现跨不同基座模型的性能提升与迁移。

原作者： Zixuan Zhu, Yitong Hu, Yong Dai, Junfeng Fang, Chunyang Jiang, Senkang Hu, Yuzhi Zhao

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zixuan Zhu, Yitong Hu, Yong Dai, Junfeng Fang, Chunyang Jiang, Senkang Hu, Yuzhi Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明但健忘的机器人如何解谜。每当你给它一个新谜题时，它都会从头开始，仿佛从未见过谜题一样。即使它在解决“谜题 #1”时发现了一个巧妙的窍门，这个知识也会在它面对“谜题 #2”的那一刻消失殆尽。

论文《统一上下文演进》（Unified Context Evolution）为解决这个“失忆”问题提出了一个方案。它引入了一个名为 UCE（统一上下文演进）的系统，这个系统就像是一个不断增长且有组织的笔记本。它并不需要重新训练机器人的大脑（这既昂贵又困难），而是在每一轮游戏结束后更新机器人的“小抄”。

以下是其工作原理的拆解，通过简单的概念进行说明：

1. 问题所在：“重置按钮”

目前的 AI 智能体大多像是在参加考试的学生。它们接收问题，思考，然后回答。考试结束后，它们会忘记一切。如果它们犯了错或者找到了捷径，这些信息都会丢失。

论文观点： 现有方法要么试图重新训练机器人的大脑（成本高昂），要么将经验丢进一个杂乱无章的堆积物中（令人困惑）。

2. 解决方案：“四抽屉文件柜”

UCE 用一个由 可演进上下文单元（ECUs） 组成的结构化库取代了杂乱的堆积物。你可以把这个库想象成一个文件柜，里面有四个特定的抽屉，每个抽屉都存放着不同类型的知识：

抽屉 1：记忆（“事实”）
- 内容： 关于世界运作方式的硬事实。
- 类比： “你知道吗，在这个厨房里，你只需要把杯子放进水槽，不需要打开水龙头就能清洗杯子。”
- 用途： 为了避免在不需要的步骤上浪费时间。
抽屉 2：策略（“如果-那么”规则）
- 内容： 当情况出错时的决策规则。
- 类比： “如果你尝试购买某物并收到错误消息，不要一直点击‘购买’；先回到主页面。”
- 用途： 用于从错误中恢复或应对棘手情况。
抽屉 3：工作流（“食谱”）
- 内容： 针对特定类型任务的标准分步计划。
- 类比： “加热马克杯：1. 找到马克杯。2. 放入微波炉。3. 开启加热。4. 将其放入杯托。”
- 用途： 为机器人提供可以遵循的骨架计划。
抽屉 4：技能（“通用工具”）
- 内容： 在不同类型的任务中都能使用的微型、可复用的动作。
- 类比： “如何打开一个封闭的盒子”或“如何搜索列表”。
- 用途： 处理出现在许多不同场景中的特定子步骤。

3. 过程：图书馆是如何“演进”的

该系统不仅仅是在填充文件柜，它还通过一个循环进行智能管理：

玩耍与观察： 机器人尝试解决任务。有些成功了，有些失败了。
评分笔记： 系统查看结果。如果一条“笔记”（ECU）帮助机器人取得了成功，它就会获得高分。如果它导致了混乱，则得分较低。
图书管理员（调度）： 一个智能调度器会查看图书馆并询问：“我们缺少什么？”
- 示例： “我们有很多关于清洁的优秀食谱（Workflows），但我们没有处理机器人卡住时的‘如果-那么’规则（Strategies）。让我们下次专注于编写新的策略吧。”
编写与修剪： 系统根据机器人的近期经验生成新的笔记。同时，它也会扔掉那些很久没派上用场的旧笔记。
注入： 在机器人开始下一次任务之前，它会阅读来自四个抽屉的最佳笔记，并将它们加入到自己的指令中。

4. 结果：无需更换大脑即可变得更聪明

研究人员在两个环境中测试了该系统：

ALFWorld（虚拟房屋）： 一个需要清洁、加热或移动物体的机器人。
WebShop（在线购物）： 一个需要寻找并购买特定产品的机器人。

结果：

ALFWorld： 成功率从 75.4% 跃升至 96.3%。机器人学会了不需要开关水龙头就能清洗物品，并且知道需要检查特定的抽屉来寻找物品。
WebShop： 得分从 45.1% 提高到 61.3%。机器人学会了在子标签页（如“特性”）内点击“立即购买”是无效的，它需要先回到主页面。

5. 核心要点

这篇论文最重要的部分是，机器人的大脑（AI 模型）从未改变。 研究人员并没有重新训练 AI。相反，他们只是改进了提供给机器人的上下文（即指令和笔记）。

这就像是拿一个已经很聪明但健忘的学生，给他一本组织有序、包含技巧和窍门的笔记本，然后看着他在下一场考试中取得优异成绩。学生本身并没有变得更聪明，而是他们的资源变得更好了。

简而言之： UCE 通过将其过去的经验组织成一个智能、自更新的关于事实、规则、食谱和技能的库，将一个健忘的 AI 转变为一个累积学习者。

技术摘要：面向 LLM 智能体的统一上下文演化 (Unified Context Evolution, UCE)

问题陈述

大语言模型 (LLM) 智能体擅长通过交织推理与环境反馈来解决多步交互式任务。然而，一个关键的局限性依然存在：每个任务回合通常都始于一个固定的上下文（系统指令、少样本示例），这使得在特定回合中发现的任何策略或见解都是瞬时的。一旦任务结束，这些发现就会丢失。

现有的解决这一“遗忘”问题的方法分为两类，两者都存在显著缺陷：

强化学习 (RL)： 通过梯度下降更新模型权重的方法。虽然有效，但它们需要访问模型参数和大量的计算基础设施，这使得它们无法应用于闭源 LLM。
任务内自适应： 如言语自我批判 (Reflexion) 或迭代优化 (Self-Refine) 等方法，这些方法在单个任务期间提高性能，但一旦任务结束便会丢弃改进。
跨任务知识库： 积累跨任务知识的系统，但这些系统通常将知识存储在无类型的池中（混合了所有见解），或者只关注单一形式的知识（例如，仅关注技能或仅关注工作流）。此外，这些系统通常依赖一次性评估来判断知识质量，而不是通过重复使用来追踪其效用。

核心挑战在于：如何在不更新底层 LLM 权重的情况下，维护一个持久且不断演化的知识库，该知识库能够区分不同功能类型的知识，通过使用情况追踪质量，并动态地将生成资源分配给知识库中最薄弱的领域。

方法论：统一上下文演化 (UCE)

作者提出了 统一上下文演化 (UCE)，这是一个梯度无关的框架，使智能体的上下文本身成为学习的场所。UCE 将智能体的经验外部化为一个不断演化的 可演化上下文单元 (Evolvable Context Units, ECUs) 库。

1. 可演化上下文单元 (ECUs)

该库将经验分解为四种功能互补的类型化知识条目：

记忆 (Memory)： 关于在单次任务实例中通过试错发现的环境机制的事实性陈述（例如，“水槽可以在不开启水龙头的情况下清洗物品”）。
策略 (Strategy)： 针对特定任务类型中分支点的条件决策规则 (IF-THEN)（例如，“如果‘放置’失败，则打开容器并重试”）。
工作流 (Workflow)： 针对特定任务类型泛化的规范执行序列（例如，“寻找目标 $\to$ 转换 $\to$ 放入容器”）。
技能 (Skill)： 可应用于不同任务类型的可重用多步子操作（例如，“搜索容器、打开容器、获取目标”）。

每个 ECU 是一个元组 $(z_e, \tau_e, w_e, c_e, f_e)$ ，其中 $z_e$ 是类型， $\tau_e$ 是适用的任务类型， $w_e$ 是检索条件， $c_e$ 是注入的内容， $f_e$ 是适应度分数。

2. 生命周期与检索

该框架以 演化周期 进行运作，每个周期包含五个阶段：

评估 (Evaluate)： 智能体使用当前的库在留出的评估集上运行。记录成功率，但不更新适应度分数以防止数据泄露。
收集 (Collect)： 智能体在不相交的收集集上运行。存储轨迹，并根据结果更新适应度分数。
调度 (Schedule - 知识收益调度/KYS)： 一个模块分析库的状态（覆盖范围缺口、适应度分布），并在四种 ECU 类型之间分配生成预算 ( $B$ )。它优先处理库中最薄弱的类型（例如，未覆盖的任务类型或低平均适应度）。
生成 (Generate)： 特定类型的生成器从收集到的轨迹中提取候选 ECU。至关重要的是，生成器使用 重洗测试 (reshuffle test) 来过滤掉特定实例的观察结果（例如，“土豆在柜台 1 上”）以转向更具泛化性的机制（例如，“冰箱在关闭时有效”）。此外，它们还利用来自高适应度和低适应度 ECU 的质量反馈来指导生成。
清理 (Cleanup)： 剔除低价值或冗余的 ECU。使用拉普拉斯平滑的适应度分数（ $f_e = \frac{s_e + 1}{u_e + 2}$ ）来追踪经验贡献，其中 $s_e$ 是累积结果信用， $u_e$ 是使用次数。

检索 (Retrieval) 发生在决策时。检索器根据语义相似度、任务类型匹配增益以及 ECU 的适应度分数对 ECU 进行评分。每种类型的 Top- $K$ 个 ECU 会被注入到智能体专用部分的系统提示词中。

核心贡献

类型化知识表示： 引入了 ECU，它将智能体的经验分解为四种功能互补的类型（记忆、策略、工作流、技能），每种类型都有独立的生成条件和检索边界。
统一上下文演化框架： 一个完整的生命周期管理系统，其特点是具有 知识收益调度 (KYS) 以动态分配生成资源，以及一个 基于使用的适应度分数 来通过重复应用而非一次性提取来追踪质量。
实证验证： 证明了 UCE 能显著提高智能体在交互式基准测试中的性能，并且积累的知识库可以跨不同的推理骨干网络（如 ReAct、Plan-and-Act、NoThinking）进行迁移，而无需对模型进行重新训练。

实验结果

该框架在两个文本交互式基准测试上进行了评估：ALFWorld（家庭任务）和 WebShop（在线购物）。

性能提升：
- ALFWorld： UCE 使整体成功率从 75.4%（ReAct 基线）增加到峰值时的 96.3%。在较弱的任务类型中观察到了显著改进，例如“观察 (Look)”（50.0% $\to$ 100.0%）。
- WebShop： UCE 将平均任务得分从 45.1% 提高到 61.3%，并将购买成功率从 30.0% 提高到 42.0%。
可迁移性： UCE 生成的 ECU 库成功迁移到了替代的 Actor 骨干网络。例如，将 UCE 库应用于 “Plan-and-Act” 骨干网络后，其成功率从 73.1% 提高到了 97.8%。
消融研究：
- 在 ALFWorld 上，仅 工作流 (Workflow) ECU 就贡献了大部分增益，这表明程序化骨架对于此类领域非常有效。
- 在 WebShop 上，没有单一的 ECU 类型能达到全库的性能。购物任务需要结合工作流（程序化引导）、策略（从导航陷阱中恢复）和记忆（关于页面机制的事实），这凸显了多类型方法的必要性。
统计显著性： 与 ReAct 基线相比，改进在两个基准测试上均具有统计学意义 ( $p < 0.05$ )。

意义与主张

本文声称 UCE 为提高 LLM 智能体性能提供了一种实用的、梯度无关的强化学习替代方案，特别是对于无法进行权重更新的闭源模型。通过将上下文视为一种可学习且不断演化的实体，UCE 弥合了孤立任务执行与持久学习之间的鸿沟。

作者强调，该框架通过区分知识类型并根据使用情况追踪质量，解决了先前跨任务知识系统的特定局限性，这些系统往往将所有见解视为同等重要，或无法根据库的成熟度调整生成资源。结果表明，对于交互式任务，“知道什么”（检索到的上下文）与“如何行动”（推理骨干）同样关键，而一个结构化的、不断演化的库可以有效地捕捉并重用从经验中获得的“如何知道”。

论文对于未来的影响保持了克制，指出目前的 ECU 类型是人工设计的，且该框架扩展到更大规模任务集或连续动作空间（如 AndroidWorld）的扩展性仍是一个开放性问题。它还承认目前的评估依赖于特定的模型对和离散动作空间，使得拆解框架设计与生成器能力之间的关系成为未来研究的课题。