💬 NLP

MILES: Modular Instruction Memory with Learnable Selection for Self-Improving LLM Reasoning

MILES 是一个用于自我改进大语言模型推理的新型框架，它通过动态扩展由逐步指令对组成的模块化记忆，并采用一种从粗到精的可学习选择机制，以在现实的测试时约束下优化记忆组合与推理准确性。

原作者： Ruilin Tong, Dong Gong

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Ruilin Tong, Dong Gong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于 MILES 论文的解释，通过简单的概念和富有创意的类比进行了拆解。

大局观：AI 的“智能笔记本”

想象你有一个聪明但固执的朋友（AI），他非常擅长解谜题，但记性极差。每次你问他一个新的数学问题时，他表现得就像从未见过这个问题一样。他能解出题目，但如果你稍后问一个类似的问题，他必须从头开始。

通常情况下，为了让这个朋友变得更聪明，你需要送他回学校学习好几年（这被称为“训练”或更新模型的参数）。但如果你的这个朋友是一个“封闭的书籍”，你无法送他回学校怎么办？你无法改变他的大脑。

MILES 是一种新的方法，可以在不改变其大脑的情况下，帮助他在工作时变得更聪明。它给了他一个动态的、可学习的笔记本，让他可以实时地在上面记录并查阅。

旧版笔记本的问题

以往给 AI 提供“记忆”的方法主要有两个缺陷：

“完整方案”型笔记本： 一些方法会存储过去问题的完整答案。如果你问的问题与旧问题有 90% 的相似度，效果很好。但如果问题稍有不同（一个“新颖”的问题），旧答案就没用了。这就像试图用“苹果派”的食谱去烤“蓝莓玛芬”。
“启发式”型笔记本： 其他方法存储的是微小的步骤（比如“除以 2”或“检查单位”）。但 AI 必须仅通过观察词汇的相似度来猜测下一步该使用哪个步骤。这就像厨师因为标签看起来很像，就随手抓起一个香料罐，然后祈祷一切顺利。

MILES 的解决方案：一个“模块化”且“可学习”的系统

MILES 通过将推理视为一套 乐高积木 而非一块完整的混凝土，改变了游戏规则。

1. 建筑模块：“子目标”与“子指令”

MILES 不再存储整个答案，而是将问题分解为微小的、可重复使用的乐高积木。

子目标 (Sub-goal)（标签）： 关于下一步需要做什么的简短描述（例如：“简化分数”）。
子指令 (Sub-instruction)（积木）： 关于如何执行该操作的具体自然语言提示（例如：“将分子和分母同时除以它们的最大公约数”）。

你可以把它想象成一个工具箱，里面的每件工具都有清晰的标签。

2. “智能选择器”（可学习的头部）

这是神奇之处。在过去，AI 只是抓取与当前问题看起来最相似的工具。MILES 为工具箱中的每一个工具都配备了一个私人助理（“选择头”）。

它是如何学习的： 当 AI 自信地解决一个问题（得到正确答案）时，MI 莱斯会回顾它所采取的步骤。它会问：“嘿，当我们使用‘简化分数’这个工具时，它对我们得到正确答案有帮助吗？”
训练过程： 如果答案是“是”，助手就会学习在类似情况下信任该工具。如果答案是“否”，助手就会学习在类似情况下避开该工具。
无需重返学校： AI 的大脑保持冻结状态。只有这些“助手”（非常小的计算机程序）会被更新。

3. 两步搜索过程

当 AI 面临新问题时，MILES 使用“由粗到精”的搜索方式，就像在图书馆找书一样：

第一层（粗略搜索）： AI 快速扫描标签（子目标），找到几个有潜力的工具。这就像是在“数学”书架区域走动，并抓取几本可能相关的书。
第二层（专家评审）： “助手们”（选择头）会对这些候选工具进行评分，根据以往的经验给出评价。“等等，这个工具在代数中表现很好，但在几何中失败了。让我们选另一个。”

它是如何实时运作的（“自信 vs 不确定”流程）

系统根据 AI 的确定程度以两种模式运行：

“自信”模式（学习阶段）：
如果 AI 轻松解决了问题并得到了正确答案，它会将此视为一次“训练课程”。它会分解成功的步骤，将它们存为笔记本中的新乐高积木，并教导它的助手哪些工具在特定情况下效果最好。随着每一次成功，笔记本变得更加丰富。
“不确定”模式（求助阶段）：
如果 AI 陷入困境或感到不确定，它会停止瞎猜。它会打开笔记本，向它的助手寻求建议，并利用最好的工具来引导思考。这就像学生在遇到困难时举手向老师请教提示一样。

为什么这很重要（结果）

论文在困难的数学和科学考试（如 AIME 和 MATH-500）上测试了 MILES。

更高的准确率： 它始终比使用记忆或搜索的其他方法解决更多的正确问题。
高效性： 它不会浪费大量的计算资源去尝试随机猜测；它利用“学习到的”记忆更快地挑选出正确的路径。
可迁移性： 由一个 AI 模型构建的笔记本实际上可以帮助另一个 AI 模型解决问题。这就像一位名厨写了一本食谱，即使从未见过这位名厨，初级厨师也能立即拿起并使用。

总结类比

想象你在玩电子游戏。

旧方法： 你尝试通过猜测来打通每个关卡。如果你死了，你就重新开始。
之前的记忆方法： 你保留了一份针对特定关卡的“获胜策略”清单。如果你看到第 5 关，你就使用第 5 关的策略。如果你看到第 5.1 关，你就卡住了。
MILES 方法： 你拥有一份动态更新的攻略指南。当你打赢一个关卡时，攻略指南会自动记录下在特定情况下表现最好的具体动作。下次当你面对一个棘手的跳跃时，攻略指南不仅仅是显示一个列表；它还有一个“智能过滤器”会说：“根据你过去的获胜记录，‘二段跳’在此处成功的概率为 90%。”

MILES 让 AI 能够积累经验并随着时间的推移变得更聪明，这并不是通过重新训练其大脑，而是通过学习如何更好地利用其不断增长的技巧库。

技术摘要：MILES（具有可学习选择功能的模块化指令记忆）

问题定义

大语言模型（LLMs）通过思维链（CoT）、自一致性（Self-Consistency）和树搜索等测试时计算技术展示了显著的推理能力。然而，现有方法在很大程度上将每个问题视为孤立的处理过程。在实际场景中，当问题按顺序到来时，模型无法跨相关查询积累并复用经验。由于每遇到一个新问题就更新模型参数通常是不可行的，尤其是在处理封闭或冻结的模型时。

虽然存在外部记忆方法，但它们面临着关键的局限性：

泛化能力差： 存储完整解决方案模板或策略的方法，在面对具有新颖结构的新问题时往往会失效。
启发式选择： 步骤级记忆方法通常依赖于启发式选择（如相似度检索或提示词工程），而非针对最终答案的正确性进行优化。
训练约束： 学习选择策略通常需要大规模标注数据集、固定的动作空间或参数更新，这与记忆随时间增量扩展且监督有限的测试时设置不兼容。

核心挑战在于如何组织、维护并复用一个外部记忆，从而在不更新底层 LLM 参数的情况下，随着经验的积累来提高推理准确性。

方法论：MILES 框架

MILES（Modular Instruction Memory with LEarnable Selection）通过积累和组合可复用的步骤级推理模块，实现了测试时的自我改进，从而解决了上述挑战。该框架运行在一个冻结的 LLM 之上，由四个核心组件组成：

1. 模块化非对称记忆结构

MILES 将记忆存储为模块化单元的集合，这些单元被定义为非对称对 $(g_i, u_i)$ ：

子目标嵌入 ( $g_i$ )： 一个总结推理步骤目标的稠密向量。它作为检索键（Retrieval Key）。
子指令 ( $u_i$ )： 当该单元被应用时，用于约束 LLM 生成过程的自然语言指令。
选择头（Selection Head）： 每个记忆单元都关联着一个轻量级的、可学习的选择头 ( $\pi_{\theta_a}$ )，用于根据当前的推理状态预测该单元的适用性。

这种结构支持增量扩展；可以在不重新训练现有组件的情况下添加新的单元及其对应的选择头。

2. 由粗到精的检索机制

为了平衡检索效率与选择精度，MILES 采用了两层选择过程：

第一层（粗粒度检索）： 基于子目标相似度。LLM 生成候选步骤目标，并将它们的嵌入与存储的子目标进行余弦相似度比较。通过每个单元的有效阈值来过滤无关单元。这一层促进了记忆的扩展并收集训练数据。
第二层（学习到的适用性评分）： 一个学习到的选择头根据完整的推理状态对检索到的候选对象进行适用性评分。为了处理变长状态，MILES 使用上下文代码本（过去步骤目标和条件的聚类嵌入）通过最大相似度池化（max-similarity pooling）来创建固定长度的特征向量。
组合得分： 最终的选择结合了来自第一层的语义相似度和来自第二层的学习到的适用性评分。

3. 可学习的记忆组合

MILES 将记忆选择视为一个序列决策问题。其目标是最大化正确最终答案的概率。

训练数据收集： 对于“置信”样本（即多个 LLM 展开路径得出一致答案的情况），系统使用基于第一层采样的蒙特卡洛树搜索（MCTS）运行。这生成了应用子指令的轨迹，而由此产生的正确性则作为伪标签。
优化： 选择头使用这些收集到的轨迹通过二元交叉熵进行训练。该目标函数近似于在 KL 散度约束下的最优策略，鼓励选择头选择能导致正确答案的单元，同时通过“一对其余”（one-vs-rest）分类和集成方法来避免过拟合。

4. 推理流水线

系统根据置信度对测试样本进行路由：

置信样本： 用于扩展记忆并训练选择头。LLM 生成响应；如果结果具有一致性，则该轨迹将被用于 MCTS 数据收集和记忆总结。
不确定样本： 被路由至记忆引导的树搜索。系统通过第一层检索候选对象，通过第二层进行重排序，并应用最佳子指令来引导下一步推理，重复此过程直到得出最终答案。

核心贡献

MILES 框架： 一种全新的测试时自我改进框架，它能从置信推理轨迹中增量构建模块化指令记忆，并在无需参数更新、外部监督或固定动作空间的情况下，将学习到的记忆应用于不确定情况。
模块化非对称记忆： 一种由（子目标，子指令）对组成的结构，带有每个项目的选择头，支持能够同时支持增量记忆扩展和可学习组合的由粗到精的机制。
可学习的记忆组合： 一种通过置信样本上的展开结果来训练轻量级选择头的方法，实现了在有限测试时数据下，进行自监督且以正确性为优化的记忆组合。
实证验证： 广泛的实验表明，MILES 在六个推理基准测试和四种骨干模型上达到或超过了现有方法，实现了卓越的准确率-效率权衡。

实验结果

作者在四个骨干模型（GPT-4.1, GPT-4.1-mini, GPT-OSS-20B, Qwen3-30B-Instruct）上，针对六个基准测试（MATH-500, AIME 2024/2025, GPQA-Diamond, MMLU-Pro Physics/Engineering）对 MILES 进行了评估。

准确率： MILES 始终能匹配或超过基准方法（包括 Zero-shot CoT, Self-Consistency, Buffer-of-Thoughts 和 Dynamic CheatSheet）。在较小的开源权重骨干模型上观察到了显著改进，而在这些模型上其他基于记忆的方法甚至无法超越 zero-shot CoT。
效率： MILES 在准确率-Token 前沿面上占据主导地位。不同于随着计算量增加而进入平台期的基准方法，MILES 通过构建额外的记忆单元，随着 Token 预算的增长持续提升性能。
可迁移性： 该框架支持跨模型迁移。从辅助模型（如 Qwen3-30B）的展开路径中构建的记忆，能有效提升另一个更强的冻结骨干模型（如 GPT-4.1-mini）的性能。
消融实验： 移除粗粒度检索层或学习到的选择头都会显著降低性能，这验证了双层机制的必要性。学习到的选择头表现优于基于状态相似度或 LLM 提示词的替代重排序器。

意义与主张

论文声称 MILES 证明了模块化记忆组合是冻结 LLM 进行测试时自我改进的一种可行且有效的机制。

关键意义点包括：

互补性： 逐步记忆组合方法与现有的提示词工程和测试时搜索方法具有互补性，为通过积累经验实现提升提供了额外的途径。
鲁棒性： 该方法在不同的模型族和数据集分布中具有鲁棒性，且不依赖于外部过程奖励模型（PRM）或人工策划的训练数据集。
可扩展性： 通过将记忆选择与参数更新解耦，MILES 为无法修改模型权重的场景提供了一条持续改进的路径。

作者总结道，学习可复用的记忆选择知识是构建持续进化推理系统的有前景的方向，尽管他们也承认在基于展开（rollout）的数据收集方面的计算开销以及对底层 LLM 指令遵循能力的依赖等局限性。