🤖 machine learning

Beyond Experience Retrieval: Learning to Generate Utility-Optimized Structured Experience for Frozen LLMs

本文提出了一种名为 SEAM 的轻量级插件模块，通过在参数中存储经验并利用 GRPO 强化学习进行效用优化，能够为冻结的 LLM 生成定制化的结构化经验，从而在不增加检索延迟的情况下提升模型的推理能力。

原作者： Xuancheng Li, Haitao Li, Yujia Zhou, Yiqun Liu, Qingyao Ai

发布于 2026-04-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Xuancheng Li, Haitao Li, Yujia Zhou, Yiqun Liu, Qingyao Ai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 SEAM 的新技术。为了让你轻松理解，我们不用那些复杂的数学公式，而是用一个生活中的例子来打比方。

1. 核心问题：为什么现在的 AI 有时候像个“没记性”的笨学生？

想象一下，你请了一位非常厉害的**数学教授（这就是现在的“大语言模型” Executor）**来帮你解题。这位教授知识渊博，但有一个致命的缺点：他患有“瞬间失忆症”。

每当你给他一张新卷子，他都会从头开始思考，完全不记得刚才那道题他是不是在某个坑里摔倒过。如果他刚才在第三步算错了，下一秒他可能还会犯同样的错误。虽然你可以给他准备一本“错题本”（这就是现在的 RAG/检索增强技术），但问题是：

翻书太慢： 每次解题都要先去翻厚厚的错题本，很浪费时间。
找错题太难： 错题本里有成千上万条记录，有时候你找了一堆“看起来很像”的题，结果发现跟现在的题根本不是一回事，反而干扰了教授的思路。

2. SEAM 是什么？：给教授配一个“随身智能小秘书”

研究人员不再试图给教授塞一本厚厚的书，而是为他配了一个轻量级的“智能小秘书”（这就是 SEAM）。

这个小秘书非常聪明，他不需要翻书，因为所有的经验都已经刻在了他的脑子里（参数化存储）。

工作流程是这样的：

看题： 教授拿到新题，先递给小秘书看。
划重点（生成结构化经验）： 小秘书在几秒钟内，迅速在纸上写下三行字：
- “题型分析”：这题有点绕，容易在第二步掉坑里。
- “避坑指南”：记得检查一下正负号，上次我们就栽在这了。
- “解题思路”：建议先拆解成 A、B、C 三步走。
递给教授： 教授看完小秘书写的这几行“小纸条”，思路瞬间清晰，直接精准解题。

3. 这个小秘书是怎么变聪明的？（训练过程）

小秘书不是天生就这么厉害的，他是通过**“实战演习”练出来的。这个过程叫 GRPO 训练，我们可以理解为一种“模拟考反馈机制”**：

第一步（尝试）： 小秘书针对一道题，写出好几种不同的“小纸条”（方案 A、B、C）。
第二步（实测）： 让教授拿着这三种纸条分别去解题。
第三步（奖惩）：
- 如果拿着纸条 A 解对了，小秘书就得到奖励：“好样的，下次遇到这种题，就按这个套路写！”
- 如果拿着纸条 B 解错了，小秘书就受到惩罚：“不行，这个提醒没用，下次别这么写了。”

通过成千上万次的这种“写纸条 $\rightarrow$ 教授解题 $\rightarrow$ 看结果 $\rightarrow$ 改进纸条”的循环，小秘书变得极其擅长**“如何写出最能帮到教授的提醒”**。

4. 这项技术的厉害之处在哪里？

快（低延迟）： 小秘书脑子快，写纸条只需一瞬间，不需要像翻书那样到处找。
准（实用导向）： 小秘书不学废话，他只写那些**“真的能让教授解对题”**的干货，而不是找一些看起来很像但没用的废话。
省（轻量化）： 教授（大模型）不需要动，他依然是那个强大的“大脑”，我们只需要训练一个小巧的“秘书”即可。这就像给老教授配个助理，而不是要把教授的大脑重新改造一遍。
能进化： 随着教授解题经验越来越多，小秘书还可以通过记录成功的案例，不断学习，变得越来越老练。

总结

SEAM 就像是为“健忘的学霸”配备了一个“懂行的贴身教练”。 教练不替学生做题，也不给学生一堆乱七八糟的参考书，而是通过精准的、针对性的“考前叮嘱”，让学生在面对新难题时，能瞬间找回状态，避开曾经犯过的错误。

这是一篇关于提升冻结大语言模型（Frozen LLMs）推理能力的学术论文。以下是对该论文的详细技术总结：

1. 问题定义 (Problem Statement)

目前的 LLM 在面对新问题时通常表现出“静态”特征：它们往往从零开始推理，容易重复之前的错误，且无法有效利用过去的经验。

现有的解决思路主要是检索增强生成 (RAG)，即维护一个外部经验库，通过语义相似度检索相关经验。但该方法存在三个核心缺陷：

相似度 $\neq$ 有用性 (Similarity $\neq$ Utility)： 检索到的内容在语义上接近，但不一定能对当前的推理过程提供实质性的指导，甚至可能引入噪声。
推理开销大 (Inference Overhead)： 检索过程、外部存储管理以及额外的总结/精炼步骤会显著增加延迟。
缺乏针对性： 检索到的经验往往是通用的，无法针对特定执行器（Executor）的偏好、强项或易错点进行定制。

2. 核心方法 (Methodology: SEAM)

为了解决上述问题，作者提出了 SEAM (Structured Experience Adapter Module)。其核心思想是将经验从“外部检索库”转变为“参数化生成模块”。

A. 架构设计 (Architecture)

SEAM 是一个轻量级的、可训练的插件，它不修改冻结的执行器（Executor）参数，而是通过一次前向传播生成一个结构化的经验条目 (Structured Experience Entry)。该条目包含三个固定模式的组件：

问题分析 (Problem Analysis)： 对当前实例的难度、子结构和潜在失败模式进行评估。
经验亮点 (Experience Highlights)： 从过往尝试中提炼出的、符合执行器偏好的策略、启发式方法或注意事项。
参考计划 (Reference Plan)： 提供一个可靠的工作流分解步骤，而非直接给出答案。

B. 训练流程 (Training Pipeline)

SEAM 采用了一种前向学习 (Forward Learning) 机制，通过执行器的反馈来优化经验生成的质量：

前向探索 (Forward Exploration)： 对于每个训练实例，SEAM 采样生成一组（ $K$ 个）符合模式约束的候选经验条目。
基于 Rollout 的评估 (Rollout-based Evaluation)： 将这些候选经验分别输入给冻结的执行器，让执行器进行多次尝试（Rollouts）。根据执行器最终是否得出正确答案，给予候选经验一个二元奖励（Reward）。
参数化库演进 (Parametric Library Evolution)： 使用 GRPO (Group Relative Policy Optimization) 算法。通过比较同一组候选经验的相对优势（Advantage），更新 SEAM 的参数，使其生成的经验更倾向于能引导执行器获得成功的类型。

C. 部署后演进 (Optional Deployment-time Evolution)

在部署阶段，可以通过记录执行器成功的案例 $(s, z^*)$ ，利用监督微调 (SFT) 对 SEAM 进行持续更新，实现经验的自我进化。

3. 关键贡献 (Key Contributions)

范式转移： 从“基于相似度的外部检索”转向“基于效用的参数化生成”。
解耦设计： 将经验模块（SEAM）与执行器（Executor）解耦。SEAM 学习如何“教”执行器，而执行器保持其原有的通用能力不变。
效用优化： 训练目标直接指向执行器的任务成功率，确保生成的经验具有实际的指导意义。
高效性： 相比 RAG，SEAM 在推理时仅需单次前向传播，显著降低了延迟。

4. 实验结果 (Results)

性能提升： 在 GSM8K、MATH、AIME24/25 等数学推理基准测试中，SEAM 在多种执行器（如 Qwen3-4B, DeepSeek-R1-Distilled-Llama-3.1-8B）上均取得了显著的准确率提升。在极具挑战性的 AIME 题目上提升尤为明显。
超越基线： SEAM 的表现优于直接对执行器进行 GRPO 训练的方法，也大幅超过了现有的 RAG 方法（如 MEM-0, Memento 等）。
效率优势：
- 训练效率： 由于只训练轻量级模块，训练成本远低于全量微调大模型。
- 推理效率： 相比 RAG 方案，SEAM 的单次推理延迟更低，且由于成功率提高，其“纠错时间 (Time-to-correct)”也更短。
泛化能力：
- 跨模型迁移： 在一个执行器上训练的 SEAM 可以迁移到其他架构的模型上，虽然效果略有下降，但仍能带来正向收益。
- 跨领域泛化： 即使只在数学数据上训练，SEAM 生成的结构化推理框架也能在代码和问答（QA）领域产生一定的增益。

5. 研究意义 (Significance)

这项研究为 LLM 智能体（Agents）如何积累和利用经验提供了一种全新的路径。它证明了**“经验”可以被内化为一种轻量级的、可学习的引导策略**，而不是仅仅作为外部的知识检索。这种方法不仅提高了模型解决复杂问题的能力，还为构建能够持续学习、低延迟且易于部署的智能系统提供了重要的技术参考。