💬 NLP

Chain-of-Experience for Continual LLM Improvement

本文介绍了经验链（Chain-of-Experience, CoE），这是一个使大语言模型能够在推理过程中通过累积来自自我和环境反馈的迭代经验轨迹来实现持续改进的框架，该框架在数学、编程和知识任务上的表现始终优于零样本基准模型，同时降低了 API 成本。

原作者： Haoqin Tu, Yunhao Fang, Yizhong Wang, Cihang Xie, Shen Yan

发布于 2026-08-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haoqin Tu, Yunhao Fang, Yizhong Wang, Cihang Xie, Shen Yan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

人类天生擅长从错误中学习。当我们解决一个难题，失败，然后带着对错误原因的认知再次尝试时，我们并非简单地从零开始；我们带着教训继续前进，不断完善方法，直到成功。这种行动、反馈与调整的持续循环，是人类智能的引擎。几十年来，被称为大型语言模型的先进计算机程序运作方式却大不相同。一旦这些系统完成训练，它们就会以固定状态部署，将每一个新问题视为孤立事件。它们生成一个答案后便停止，忽略了存在于解题过程本身的丰富反馈。它们无法从当下的经验中学习。

这种人类学习方式与当前机器运作方式之间的差距，促使研究人员提出了一个根本性的问题：这些数字大脑能否在工作时进行学习，利用它们在实时过程中收集到的经验？答案在于一种被称为“经验链”（Chain-of-Experience）的新方法。这种方法将模型尝试解决问题的整个历史视为一个单一的、不断演进的故事。系统不会丢弃失败的尝试，而是将结果反馈给模型，允许它阅读自己之前的错误以及收到的反馈，然后生成一个新的、改进后的响应。这是一个持续的循环，模型通过自身的旅程进行学习，随着每一步的推进更新其理解。

在最近的一项研究中，研究人员旨在测试这一概念是否能在广泛的困难任务中奏效。他们选取了当今最强大的八个语言模型，包括来自主要科技公司的系统，并将它们置于涉及数学、计算机编程和复杂知识问答的一系列挑战性环境中。目标是观察这些模型是否能仅仅通过在测试期间与反馈进行交互来提高性能，而无需对其底层训练进行任何更改。研究人员设计了一个系统，让模型可以接收不同类型的引导。有时，反馈来自模型自身，即作为一名评论家指出其逻辑中的缺陷；而另一些时候，反馈则来自外部环境，例如一个能够立即告知模型代码运行是否成功或数学答案是否正确的计算机程序。

结果令人瞩目。当这些模型被允许使用这种从经验中学习的迭代过程时，它们的表现一致优于那些不允许反思错误的标准版本。这种提升并非微小的进步；模型在各领域都实现了显著的准确度提升。在计算机编程领域，由于反馈精确且即时，模型的成功率平均提高了8.6个百分点。即使是在处理复杂的数学问题等更抽象的任务时（其反馈不够直接），模型依然实现了超过五个百分点的得分提升。这表明，即便不重新训练模型的“核心大脑”，解锁从经验中学习的能力也是一个强大的工具。

或许更令人惊讶的是这种新方法的效率。研究人员发现，这些模型不仅变得更强，而且在花费更少的资金和计算能力的情况下变得更强。通过使用反馈来引导思考，模型能以更少的尝试和更短的响应达到更高的准确度。事实上，研究显示，与不使用这种反馈循环的传统方法相比，模型实现最佳结果时的运行成本降低了19%。这表明模型并非只是在盲目增加尝试次数，而是在更有效地思考，利用收集到的信息避开死胡同并专注于正确的路径。

研究还揭示了关于模型自身能力的迷人模式。研究人员观察到，那些在某项任务中原本就最强大的模型，在获得学习经验的机会时，其进步幅度也最大。似乎一个模型从自身历史中学习的能力与其初始智能密切相关：起始模型越聪明，它消化反馈并进化策略的能力就越强。这种相关性在测试的不同任务中表现得非常一致，表明从经验中学习并非一项独立的技能，而是强大推理系统的一种涌现属性。

即使面对不完美或具有误导性的反馈，模型也展现出了卓越的韧性。在研究人员故意给予模型错误信息（例如告诉它们一个错误的答案是正确的）的实验中，模型并未崩溃。虽然它们的表现略有下降，但最强的模型能够恢复过来，并且往往仍能找到正确答案。这种鲁棒性表明，这些系统并非盲目遵循指令，而是在根据收到的反馈结合自身的内部逻辑进行积极推理。研究还发现，大部分学习过程发生得非常迅速。模型在最初的几次反馈循环中就完成了绝大部分的提升，此后其表现趋于平稳。这意味着最初的反思时刻对于学习至关重要。

研究人员还探索了结合不同类型的反馈是否能带来更好的结果。他们发现，当模型同时接收到内部自我批判和确认答案正确性的外部信号时，这两类信息源协同作用，产生了最高的得分。这种结合让模型既能受益于自我反思的宏观视角，又能受益于外部检查的精确验证。然而，当研究人员试图通过将过去的经验总结为简短记忆来简化过程时，模型的表现反而变差了。这表明，模型尝试过程中的详细、逐步的历史记录包含了关键信息，而这些信息在过度压缩经验时会丢失。

最终，这项工作证明了大型语言模型能够实现一种此前被认为在不经过重新训练的情况下是不可能实现的学习形式。通过允许它们积累经验并与反馈进行交互，它们可以在实时解题过程中进化并改进。研究证实，这种方法不仅有效，而且高效，提供了一种无需巨大计算成本即可从这些强大工具中获取更多价值的方法。随着这些系统的不断发展，从经验中学习的能力可能会成为一项标准功能，从而弥合机器思维与人类学习方式之间的鸿沟。

技术摘要：经验链（Chain-of-Experience）用于持续性的 LLM 改进

问题陈述

传统的语言大模型（LLMs）在训练完成后处于固定状态，将每一次推理视为孤立的事件。这种范式忽略了问题解决过程中蕴含的丰富反馈，未能利用模型在测试时通过迭代交互进行改进的能力。虽然现有的测试时策略（如思维链 CoT 或基于搜索的方法，如思维树 Tree-of-Thought）会探索多条推理路径，但它们通常在生成单个答案后就会丢弃累积的经验。同样，自我修正方法（如 Reflexion、Self-Refine）虽然利用了迭代循环，但往往缺乏积累深度、持续经验的能力，也无法有效地整合多样化的反馈信号。本文旨在解决如何使 LLM 能够从累积的经验和交互中进化，从而在推理时动态提升性能的问题。

方法论：经验链（Chain-of-Experience, CoE）

作者提出了经验链（CoE），这是一个让模型通过与自身或环境反馈的交互来累积经验轨迹，从而进行迭代问题解决的框架。

正式定义

在传统设定中，给定来自 $P(A|Q)$ 的问题 $Q$ ，LLM 生成响应 $A$ 。CoE 将其扩展为一个序列决策过程，其中第 $t$ 步的响应 $a_t$ 取决于先前尝试及其相应环境反馈的完整历史。
生成过程定义为：
$a_t \sim P(a_t | Q, e_0, e_1, \dots, e_{t-1})$
其中每个经验 $e_i$ 由一对 $(a_i, f_i)$ 组成， $a_i$ 为动作（响应）， $f_i$ 为反馈。

反馈谱系

本研究调查了四种不同的反馈类型，以表征经验如何塑造模型的演进：

无反馈： 环境不提供任何信号（ $f_i = \emptyset$ ）。改进必须完全依赖于对先前尝试的内部反思。
执行反馈： 对于可执行任务（如编程），反馈是通过在环境中（如解释器）运行模型的响应生成的，提供追踪信息、错误消息或测试结果。
模型反馈： 一个辅助模型（可以是同一个模型）充当评判者或批评者，提供文本形式的评论、偏好评分或结构化评估。
正确性反馈： 一个类似先知的二元信号（ $f_i \in \{0, 1\}$ ），指示答案是否正确。这作为迭代细化的高信号上限。

实验设置

该框架在涵盖三个领域的六个基准测试上进行了评估，使用了八个最先进的 LLM（包括 GPT-5, o3, o4-mini, Gemini-2.5 Pro 和 Claude 4.5 Sonnet），领域包括：

数学： AIME 2025, OmniMath。
编程： LiveCodeBench (V6), LiveBench (Code)。
知识： EvaLearn, GPQA Diamond。

基准方法包括标准的少样本上下文学习（ICL）、动态参考表（DRS）、智能体上下文工程（ACE）以及不同水平的内置推理深度（低 vs 高）。

核心贡献与结果

1. 通过迭代反馈实现性能提升

带有反馈的 CoE 始终优于无反馈的基准方法和其他测试时扩展策略。

自我反馈： 仅使用自我反馈时，模型相比于 ICL、DC 和 ACE 等基准方法的平均提升为 7–9%（平均准确率从约 62.9% 提升至 71.0%）。
执行器/正确性反馈： 对于编程任务，程序化执行器反馈驱动了平均 8.6% 的准确率增益（66.4% 提升至 75.0%）。正确性反馈确立了性能的上限。
对比： 带有反馈的 CoE 显著优于依赖于其他任务经验的方法（如 DRS 和 ACE），证明了对于这些模型而言，同任务的迭代细化更为有效。

2. 效率与成本效益

与“迭代会增加成本”的直觉相反，CoE 提高了每 token 的准确率比率，尽管成本降低程度因领域而异。

API 成本： 研究报告了整体 5.6% 的准确率提升。关于成本，论文强调了不同任务中的具体降幅：在编程任务中，使用自我反馈的 API 调用次数比执行器反馈减少了 13.4%（例如 $70.7 vs $81.6）；AIME 2025 减少了 47.3%；EvaLearn 相比无反馈版本减少了 7.0%。论文指出，在比较基于反馈的变体与非迭代基准时，编程任务的 API 成本降低了 19%。
Token 效率： 带有正确性/执行器反馈的 CoE 以与其它多轮方法相当的 token 数量实现了更高的准确率，从而获得了显著更高的单 token 回报。例如，在 AIME 2025 上，正确性反馈以 108K tokens 达到了 84.6% 的准确率，而 DRS 使用 11K tokens 仅达到了 74.7%。

3. 基础能力与学习能力之间的相关性

研究观察到，模型的基座零样本性能与其通过 CoE 进行改进的能力之间存在正相关关系。

在五个基准测试中，平均皮尔逊相关系数为 +0.5。
更强的模型（如 GPT-5, Claude 4.5）与较弱的模型相比，从反馈中获得的学习增益显著更高，这表明“从经验中学习”的能力是随模型容量扩展而出现的涌现属性。

4. 鲁棒性与改进模式

伪反馈： 模型在面对弱信号或伪反馈（例如，始终被告知答案错误）时保持了鲁棒性。虽然平均性能略有下降，但较强的模型表现出的退化极小。选择性多数投票（SelMV）进一步帮助在对抗性信号下维持了性能。
收益时机： 大部分性能增益发生在迭代过程的早期（前 20 步内），随后进入收益递减阶段。
归因： 对 6,630 个“错误到正确”转换的分析显示，47.7% 的改进直接由反馈保真度驱动，而编程任务中 30% 的改进源于规范召回（specification recall）。自我生成的反馈被发现比外部信号更具上下文一致性。

5. 互补反馈通道

结合互补的反馈通道（例如，模型反馈 + 正确性/执行器信号）比单一通道方法能获得额外的增益，尤其是在 AIME 2025 和 LiveBench (Code) 上。然而，基于记忆的选择方法（将经验压缩为“参考表”）并未优于完整的经验轨迹，这表明过度压缩可能会丢弃关键的中间推理步骤。

重要性与主张

论文声称，经验链（CoE） 代表了从静态推理向动态测试时学习的转变。其主要意义在于证明了：

LLM 可以在推理时自主改进，无需更新参数，只要给予迭代反馈循环。
反馈是这种改进的关键驱动力，即使是自我生成的反馈，也比零样本或静态少样本方法提供了实质性的增益。
效率是可以实现的： 该框架允许模型进行更高效的推理，与现有的测试时扩展方法相比，以更低的计算成本实现了更高的准确率，并在编程和数学领域观察到了具体的成本降低。
模型容量至关重要： 从经验中学习的能力并非均等；它随模型的基座能力而扩展，这意味着未来模型架构的进步将进一步增强测试时的适应能力。

作者总结道，CoE 提供了一个通用且有效的测试时学习框架，使 LLM 能够通过累积的经验和交互进行进化，弥合了静态部署与持续学习之间的鸿沟。