💬 NLP

MathFimer: Enhancing Mathematical Reasoning by Expanding Reasoning Steps through Fill-in-the-Middle Task

本文提出了名为 MathFimer 的新框架，通过借鉴代码推理中的“填充中间”任务，在无需依赖强大外部模型或高昂计算成本的情况下，利用自构建的 NuminaMath-FIM 数据集训练模型以生成并插入详细的中间推理步骤，从而显著提升了大语言模型在数学推理任务上的表现。

原作者： Yuchen Yan, Yongliang Shen, Yang Liu, Jin Jiang, Xin Xu, Mengdi Zhang, Jian Shao, Yueting Zhuang

发布于 2026-02-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuchen Yan, Yongliang Shen, Yang Liu, Jin Jiang, Xin Xu, Mengdi Zhang, Jian Shao, Yueting Zhuang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 MathFimer 的新方法，旨在让大语言模型（LLM）变得更擅长做数学题。

为了让你轻松理解，我们可以把大语言模型想象成一个正在学习解题的“天才学生”，而这篇论文的核心思想就是：如何给这个学生一本更详细的“解题笔记”，让他不仅知道答案，还能把每一步思考过程都写得清清楚楚。

以下是用生活化的比喻对这篇论文的解读：

1. 核心问题：学生“跳步”太厉害

现在的 AI 模型很聪明，但它们在解数学题时，经常像那些**“跳步”的天才学生**。

现象：题目是 $A$ ，答案是 $C$ 。学生直接写“因为 $A$ ，所以 $C$ "。
问题：中间的 $B$ 去哪了？如果学生只背了“跳步”的答案，一旦遇到稍微复杂点的新题，他就容易卡壳，因为他没学会中间的逻辑推导。
现状：以前的方法想要补全这些步骤，要么需要找更厉害的“超级学霸”（更大的模型）来教，要么需要花大量时间让模型自己“试错”（像走迷宫一样搜索），成本非常高。

2. 灵感来源：像“填字游戏”一样补全思路

作者从代码编程领域得到了灵感。在写代码时，有一种任务叫“中间填空”（Fill-in-the-Middle, FIM）：

场景：给你一段代码的开头（前缀）和结尾（后缀），让你把中间缺失的部分补全。
比喻：就像你读一本侦探小说，只给你第一章和最后一章，让你把中间的破案过程写出来。

作者想：既然 AI 能补全代码，能不能让它补全数学题的解题步骤呢？

3. 解决方案：MathFimer（数学填空大师）

作者发明了一个叫 MathFimer 的“特训营”，专门训练模型做这件事。

第一步：制造“填空题”教材

他们收集了大量现有的数学题和答案（就像现有的解题笔记）。

操作：把一道完整的解题过程（比如：步骤 1 -> 步骤 2 -> 步骤 3 -> 步骤 4）切开。
挖空：把中间的“步骤 2"挖掉，只留下“步骤 1"和“步骤 3"。
任务：让模型看着头尾，把被挖掉的“步骤 2"补回来。
结果：他们造出了一个新的数据集（NuminaMath-FIM），里面全是这种“中间填空”的练习题。

第二步：特训“填空模型”

他们训练了一个 70 亿参数的小模型（MathFimer-7B），专门练习这种“补全中间步骤”的任务。

比喻：这个模型不再只是背答案，而是学会了**“如何把逻辑链条扣得更紧”**。它学会了在两个已知步骤之间，自然地插入解释、公式推导或计算细节。

第三步：给旧教材“加料”

训练好后，他们把这个模型应用到现有的数学数据集上。

操作：让 MathFimer 去“读”那些原本步骤比较简略的旧题，然后插入更详细的中间步骤。
比喻：就像给一本只有大纲的旧书，请了一位编辑（MathFimer），在每一章之间插入了详细的注释和推导过程，让书变得超级详细。

4. 为什么这招很管用？

论文通过大量实验证明，用这种“加料”后的数据去训练 AI，效果非常好：

更稳：模型不再“跳步”，每一步都走得很扎实。
更准：在 GSM8K（小学奥数题）和 MATH（高难度竞赛题）等测试中，准确率显著提升。
省钱：不需要找更强大的“超级学霸”来教，也不需要昂贵的算力去反复试错，只需要用现有的数据“精加工”一下。

5. 一个生动的例子

原题（简略版）：

问：苹果和橘子共 24 个，苹果比橘子多 6 个。各有多少？
答：设苹果 $x$ ，橘子 $x-6$ 。 $x + (x-6) = 24$ ，解得 $x=15$ 。橘子 9 个。

MathFimer 加工后（详细版）：

问：...
答：

首先，我们设苹果的数量为 $x$ 。

因为苹果比橘子多 6 个，所以橘子的数量就是 $x - 6$ 。

题目说总数是 24，所以我们可以列出方程：苹果数量 + 橘子数量 = 24。

代入变量： $x + (x - 6) = 24$ 。

合并同类项： $2x - 6 = 24$ 。

两边同时加 6： $2x = 30$ 。

两边同时除以 2： $x = 15$ 。

所以苹果有 15 个，橘子有 $15 - 6 = 9$ 个。

总结：
MathFimer 就像是一个**“逻辑补全器”。它不创造新的难题，而是把现有的解题过程变得更丰满、更细致**。它教会了 AI 如何像人类老师一样，把解题思路一步步拆解清楚，从而让 AI 在解决数学问题时变得更聪明、更可靠。

一句话总结：
与其让 AI 去猜答案，不如教它如何把每一步都写得清清楚楚；MathFimer 就是那个帮 AI 把“解题笔记”写得更详细的超级编辑。

这是一篇发表于 ICLR 2026 的论文《MathFimer: Enhancing Mathematical Reasoning by Expanding Reasoning Steps Through Fill-in-the-Middle Task》的详细技术总结。

1. 研究背景与问题 (Problem)

核心挑战：大型语言模型（LLM）在数学推理任务中的表现很大程度上取决于训练数据中推理步骤（Reasoning Steps）的质量。现有的链式思维（Chain-of-Thought, CoT）方法虽然有效，但训练数据中的步骤往往不够详细或缺失中间环节，限制了模型性能的上限。
现有方法的局限性：
1. 依赖强模型：现有的步骤扩展方法通常需要使用比当前模型更强大的外部模型来生成更详细的步骤，这导致了一个“需要更大模型来改进模型”的循环。
2. 计算成本高：使用蒙特卡洛树搜索（MCTS）等高级搜索算法探索推理路径需要巨大的计算资源。
3. 可靠性问题：许多方法生成全新的推理链，而非基于现有经过验证的步骤进行扩充，容易引入不可预测的错误，降低了解决方案的可靠性。
研究目标：能否开发一种更高效、可靠的方法，在保留现有经过人工验证的解决方案有效性的前提下，通过扩充推理步骤来提升模型能力？

2. 方法论 (Methodology)

论文提出了一种名为 MathFimer 的新框架，灵感来源于代码推理中的“中间填充”（Fill-in-the-Middle, FIM）任务。其核心思想是将现有的 CoT 解决方案分解，让模型学习在缺失的中间步骤进行“填空”。

2.1 核心流程

数据构建 (NuminaMath-FIM)：
- 基于高质量数据集 NuminaMath-CoT。
- 将每个问题的完整解答分解为前缀（Prefix, $P$ ）、中间缺失步骤（Middle, $M$ ）和后缀（Suffix, $S$ ）。
- 随机选择解答中的一个步骤作为 $M$ ，将其前后的步骤分别作为 $P$ 和 $S$ 。
- 构建格式为 <|fim_prefix|> P <|fim_suffix|> S <|fim_middle|> M 的训练数据，其中模型只需预测 $M$ 部分。
- 最终构建了包含 250 万样本的 NuminaMath-FIM 数据集。
模型训练 (MathFimer-7B)：
- 基于数学专用基座模型 Qwen2.5-Math-7B 进行监督微调（SFT）。
- 训练目标：给定问题和前后文，预测缺失的中间推理步骤。
推理步骤扩展 (Step Expansion)：
- 利用训练好的 MathFimer-7B 模型，对现有的数学推理数据集（如 MathInstruct, MetaMathQA 等）进行步骤扩充。
- 过程：在原始解答的每两个连续步骤之间，使用 FIM 模型生成潜在的缺失中间步骤或更详细的解释。
- 去重与过滤：
  - 相似度检查：如果生成的步骤与后续步骤高度相似（设定阈值 $\eta=0.8$ ），则视为无效并丢弃，防止冗余。
  - 过程奖励模型 (PRM) 验证：使用 PRM 对生成的步骤进行评分，过滤掉低质量步骤，确保扩充后的推理链逻辑正确。

3. 主要贡献 (Key Contributions)

提出 MathFimer 框架：首次将代码领域的 FIM 范式引入数学推理，通过针对性地插入中间步骤来增强现有解决方案，无需依赖更强大的外部模型。
发布数据集与模型：构建了 NuminaMath-FIM 数据集，并发布了专用的步骤扩展模型 MathFimer-7B，提供了一种可扩展的数学推理数据增强方案。
实证有效性：通过大量实验证明，基于 MathFimer 扩充数据训练的模型在多个基准测试（GSM8K, MATH 等）上均优于原始数据训练的模型，且该方法在不同规模的模型（从 8B 到 72B）和不同架构上均表现一致。

4. 实验结果 (Results)

基准测试表现：
- 在 GSM8K 和 MATH 等主流数学推理基准上，使用 MathFimer 扩充数据训练的模型（如基于 Llama-3.1-8B 或 Qwen2.5-Math-7B）取得了显著的性能提升。
- 例如，在 Llama-3.1-8B 上，使用 MathInstruct-CoT 数据经 MathFimer 扩充后，平均准确率提升了 3.77%；在 Qwen2.5-Math-72B 上，MetaMathQA 数据集的准确率提升了 4.43%。
消融实验分析：
- 蒸馏效应解耦：实验表明，性能提升不仅来自知识蒸馏，FIM 带来的步骤结构增强本身也贡献了额外的增益。
- 迭代扩展：支持多轮迭代扩展，随着迭代次数增加，推理步骤更加细致，性能持续提升（例如 GSM8K 上三轮迭代后提升达 15.54%）。
- 模型规模影响：即使是较小的 FIM 模型（如 1.5B），也能产生高质量的步骤扩展，表明该任务对模型容量的依赖较小。
- 泛化能力：在数学领域训练出的 MathFimer 模型，其增强的推理能力能泛化到非数学领域（如逻辑推理、科学推理），在 BBH、GPQA 等 OOD（分布外）任务上也有显著提升。
与其他方法对比：
- 相比提示工程（Prompt-based）填充、DPO、PPO 等方法，MathFimer 在计算效率上更具优势，且不需要昂贵的奖励建模过程。
- 与 RL 方法具有正交性，MathFimer 扩充的数据可以作为 RL 训练的更好起点，进一步提升最终性能。

5. 意义与影响 (Significance)

低成本高效增强：提供了一种不依赖昂贵外部模型或复杂搜索算法的实用方案，通过“修补”现有数据来提升模型能力，极大地降低了数据增强的门槛。
数据质量与推理粒度：揭示了训练数据中推理步骤的粒度（Granularity）与模型推理能力之间的强相关性，证明了更详细的中间步骤能显著提升模型表现。
可扩展性：该方法不仅适用于数学，理论上可扩展到其他需要多步推理的领域（如逻辑推理），为提升 LLM 的复杂推理能力提供了新的范式。
可靠性：通过保留原始解决方案的骨架并仅填充中间细节，避免了生成全新推理链可能带来的幻觉和错误，提高了推理过程的可信度。

总结：MathFimer 通过巧妙的“中间填充”机制，将现有的 CoT 数据转化为更高质量的训练资源，以极低的计算成本显著提升了 LLM 的数学推理能力，是解决当前大模型推理数据瓶颈的一个高效且可扩展的解决方案。