🤖 machine learning

ISM:Self-Improving Strategy Memory for Continual Mathematical Reasoning

本文提出了智能模式记忆（Intelligent Schema Memory, ISM），这是一种自演进的记忆系统，通过维护一个紧凑且经过验证的策略模式库，增强了冻结的大型语言模型的持续数学推理能力，从而在严格的周期性重置条件下，以显著更少的存储策略超越了现有基准模型。

原作者： Prakhar Dixit, Tim Oates

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Prakhar Dixit, Tim Oates

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢的数学导师，他极其聪明，但有一个非常奇怪的规则：他无法从错误中学习。 每当他解出一道题，他的大脑就会被清空。他不记得前一个小时、前一天，甚至前五分钟刚解出的题目。如果你问他一个新问题，他会从零开始，仿佛从未见过数学一样。

这就是许多强大的 AI 模型（被称为“冻结的 LLM”）所面临的情况。它们在处理孤立任务时表现出色，但如果你给它们一连串不同的数学问题，它们会不断出错，因为它们无法在昨天学到的基础上进行积累。

这篇论文介绍了一种解决方案，叫做 ISM（智能模式记忆，Intelligent Schema Memory）。你可以把 ISM 想象成不是为这位导师打造的新大脑，而是一个就坐在导师身旁、极其聪明且自带自动清洁功能的档案柜。

以下是它的工作原理，通过简单的概念进行拆解：

1. “食谱”与“索引卡”

大多数试图帮助 AI 记住事物的系统，只是把过去所有的例子一股脑儿地扔进一个大堆里。这就像是给导师一间装有 10,000 本书的图书馆，然后对他说：“去里面找合适的书！”这会让系统变得混乱且缓慢。

ISM 则不同。它不存储整个问题，而是存储**“策略模式（Strategy Schemas）”**。

内容（食谱）： 这是实际的建议，例如：“当你看到一个关于圆形的几何题时，尝试画一条半径。”
特征钩子（索引卡）： 这是一个标签，帮助系统快速找到正确的食谱。

ISM 的天才之处在于，它保持“食谱”（建议）的稳定性，同时根据该建议的效果不断更新“索引卡”（标签）。这意味着系统通过不断优化如何“寻找”正确的建议，来提升自己，而无需改变建议本身。

2. 自带清洁功能的清洁工

这个档案柜内置了一个清洁工（记忆控制器），它运行着一个自我改进的循环。它不会任由柜子填满，而是利用七种特定的工具进行主动管理：

审计员（The Auditor）： 检查一个食谱是否仍然有用。如果一个食谱被使用过但失败了，它就会将其标记出来。
合并员（The Merger）： 如果两个食谱基本上是一样的，它会将它们合并为一个，以节省空间。
修剪员（The Pruner）： 如果一个食谱很久没被使用过，或者一直失败，它就会将其丢进垃圾桶。
强化员（The Reinforcer）： 如果一个食谱效果非常好，它会在其基础上添加一份“小抄”，使其下次变得更强。
反模式记录员（The Antipattern Recorder）： 如果一个食谱失败了，它不仅仅是删除，还会记录下失败的原因，这样系统就知道下次不要做什么。

3. “安全检查员”

这是最关键的部分。在档案柜接受任何新建议或丢弃旧建议之前，都会有一个安全检查员来核对数学逻辑。

如果 AI 认为某个策略有效，检查员会使用计算器（符号工具）来验证答案是否真的正确。
如果数学计算错误，检查员会阻止系统保存该“错误建议”。

这防止了系统学到错误的东西，而这正是 AI 在自主学习时经常遇到的问题。

4. 结果：小巧、快速且聪明

研究人员在非常困难的数学竞赛（如高中奥林匹克竞赛）上测试了这个系统。他们将 ISM 与其他方法进行了对比：

“原生”导师： 完全没有记忆。（经常卡壳）。
“被动型”档案柜： 只管存储所有东西而不进行清理或检查。（变得混乱且缓慢）。
“检索型”系统： 只是在巨大的历史案例堆中进行搜索。（非常缓慢且臃肿）。

胜出者：ISM。

它比任何其他方法都能更正确地解决问题。
它能更好地记住过去的教训（减少了“遗忘”）。
最棒的部分是： 它在实现这一切的同时，存储的策略数量比次优系统少了 64% 到 86%。当其他系统在囤积数千个例子时，ISM 保持了一个极小且高效的图书馆，仅包含约 13 到 17 个完美的策略。

大局观

论文声称，你不需要重新训练 AI 的大脑来让它变得更聪明。相反，你可以给它一个小型、自带清洁功能且经过验证的记忆库，这个记忆库可以从成功和失败中同时学习。

这就像是给一个学生一本笔记本，他不仅是在写下所有的家庭作业题目，而且是在写下那些奏效的“规则”，划掉那些行不通的规则，并不断整理笔记本，以便能瞬间找到正确的规则。其结果是，即使学生的大脑（AI 模型）从未改变，他也会随着时间的推移变得越来越聪明。

技术摘要：ISM —— 用于持续数学推理的自我改进策略记忆

1. 问题陈述

本文探讨了在硬性回合重置（hard episodic resets）设定下，大型语言模型（LLM）进行持续学习（continual learning）所面临的挑战。在这种设定下，一个具有冻结参数（ $\theta$ ）的 LLM 必须解决一系列跨越不断变化的领域（例如代数、几何、数论）的数学问题序列。至关重要的是，除了显式存储在外部记忆库（ $M_t$ ）中的内容外，模型无法从之前的回合中获得任何上下文信息。

核心难点在于，一旦上下文窗口重置，标准的 LLM 就会丢失从先前任务中获得的见解。现有的缓解方法存在特定的局限性：

基于反思的方法（如 Reflexion）生成非结构化的语言反馈，难以重复利用。
检索增强系统存储原始示例，这些示例会无限制增长，且依赖于表面相似度并积累噪声。
技能库系统（如 Voyager）单调扩张，缺乏验证新条目、合并重复项或淘汰过时策略的机制。

本文认为，对于一个冻结的 LLM 而言，若要实现数学推理能力的自我演进，它需要一个受限的、可验证的且被主动维护的外部记忆，而非仅仅是消极存储。

2. 方法论：智能模式记忆 (ISM)

ISM 是一个自我演进的记忆框架，旨在通过自主自我改进循环来检索策略并主动调节其仓库，同时保持底层 LLM 处于冻结状态。

2.1. 核心架构

该系统通过五个相互作用的组件运行：

特征提取器（Feature Extractor）： 将问题 $x_t$ 转换为包含算子类型、结构模式、启发式特征签名和语义嵌入的结构化 ProblemFeatures 对象。它采用一种由一致性得分协调的混合方法（基于规则 + 基于 LLM）。
模式库（Schema Bank）： 存储紧凑的策略模式（strategy schemas）。每个模式都具有双重表示：
- 内容（Content）： 用于注入求解器提示词（prompt）中的策略描述、解题模板和启发式信息。
- 特征钩子（Feature Hook）： 用于基于结构和嵌入进行检索的信号，该信号会根据使用情况进行在线调整。这实现了“模式知道什么”与“如何发现它”的解耦。
两阶段检索（Two-Stage Retrieval）：
- 第一阶段（算子过滤）： 通过匹配问题的算子类型（例如，过滤掉针对数论问题的几何模式）来硬性筛选候选对象。
- 第二阶段（软评分）： 使用结构、启发式、数量、嵌入和先验成功率相似度的加权和对剩余候选对象进行排序。
冻结 LLM 求解器（Frozen LLM Solver）： 接收问题及检索到的模式内容。它在“硬重置”（无先前上下文）状态下运行，但如果初始答案未通过合理性检查，它可以选择进入**智能体模式（agentic mode）**以调用可验证工具（符号计算、形式化答案验证、模式查找、失败搜索）。
记忆控制器（Memory Controller）： 在每个回合结束后执行自我改进循环以更新模式库。

2.2. 自我改进机制

记忆控制器在独立的调度计划上运行七种不同的机制，以维持模式库的质量和规模：

自我审计（Self-Audit）： 根据成功率和使用次数将模式评分分为强、中、弱或未使用。
自我修正（Self-Correct）： 使用 LLM 重写具有足够使用次数的“弱”模式的内容，并重置其成功率。
自我合并（Self-Merge）： 将近乎重复的模式（具有高嵌入余弦相似度）合并为单个条目。
自我提升/降级（Self-Promote/Demote）： 根据模式的成功率调整检索分数。
自我剪枝（Self-Prune）： 移除未使用或持续失败的模式。
自我强化（Self-Reinforce）： 从成功的回合中提炼新的正面启发式信息，并将其附加到强模式中。
自我反模式（Self-Antipattern）： 从失败的回合中提取“应避免的错误”，并将其记录在相关模式的内容中。

2.3. 条件模式演进与验证

演进门控（Evolution Gate）： 如果出现特定的失败模式（例如，在最近 20 个回合中出现 3 次以上相同算子的失败），合成器 LLM 会创建一个带有预热特征钩子的通用家族模式。
验证门控（Verification Gate）： 至关重要的是，每一次记忆更新（合并、重写、强化、合成）都受到符号验证的约束。只有当底层的解法或共享用例通过符号计算工具验证后，更新才会执行。这防止了模式库强化错误的泛化。

3. 主要贡献

作者确定了三个主要贡献：

ISM 架构： 一个自我演进的记忆系统，具有自主循环，能够检索策略，并从成功与失败中对称地学习，同时通过符号验证对所有更新进行把关。
双重表示设计： 一种将内容（策略）与检索特征（发现）解耦的模式设计，使得检索精度可以在不改变底层策略的情况下随经验增加而变得更加精准。
实证验证： 在具有硬性回合重置的持续学习协议下，在竞争级基准测试上进行了评估，证明了其卓越的性能以及显著降低的存储需求。

4. 实验结果

该系统在两个基准测试（MATH-Hard [Level-5 问题] 和 OlympiadBench [奥林匹克级问题]）的 300 个回合持续学习流中进行了评估。它与五种基线进行了对比：Vanilla LLM、Static Schema、RAG-over-Examples、Reflexion 以及 Passive Schema Memory（不含自我改进机制的 ISM）。

性能指标

准确率： ISM 在两个基准测试中均取得了最高准确率（MATH-Hard 为 80.67%，OlympiadBench 为 61.67%），分别超过最强的基线（Passive Schema Memory）2.00 个百分点。
稳定性与遗忘： 与基线相比，ISM 表现出更好的稳定性（保留了对过去领域的知识）并减少了遗忘。在 OlympiadBench 上，ISM 展示了 +0.03 的正向后向迁移（Backward Transfer, BWT），表明学习新领域提高了对旧领域的表现。
记忆效率： ISM 维持了极小的记忆占用：
- MATH-Hard： 17 个模式（对比 Passive 的 47 个，减少了 64%，以及 RAG/Reflexion 的 300 个）。
- OlympiadBench： 13 个模式（对比 Passive 的 91 个，减少了 86%，以及 RAG/Reflexion 的 300 个）。
- 总体而言，ISM 使用的条目数最多可达检索类系统的 23 倍之少。

定性发现

案例研究表明，ISM 通过检测重复失败模式来合成新模式的能力，使其能够在后续回合中检索到基线模型失败时所需的正确策略。主动维护（剪枝/合并）防止了被动系统中出现的“膨胀”现象。

5. 意义与局限性

意义

本文认为，小型、主动维护且经过验证的策略记忆可以支持冻结 LLM 进行可靠的持续数学推理。它证明了外部记忆不必是一个被动的存储单元，而可以作为一个自我修正的资产，在不重新训练模型的情况下随时间不断改进。这解决了 AI 的一个基本问题：一个冻结的系统如何在保持累积知识受限且可验证的同时实现自我演进。

局限性

作者明确指出了几点局限性：

评估范围： 实验使用了单一的随机种子和流顺序；结果是初步证据而非确定性估计。
消融实验： 研究评估了主动维护的整体价值（通过 Passive 基线），但并未隔离单个机制（如 Self-Reinforce 与 Self-Merge）的具体贡献。
基线对比： 对比侧重于面向记忆的方法，未包括重搜索型的推理系统（如 Tree-of-Thoughts）或完全的智能体框架。
模型与领域泛化： 结果受限于单一的冻结 LLM 主干和两个数学基准测试。其在其他领域（如形式化证明、代码）或不同模型规模下的泛化能力仍有待验证。
验证约束： 当前的验证门控依赖于适用于数值/符号答案的符号工具，这不太适用于需要复杂推理的证明型任务。