💬 NLP

Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models

本文介绍了一种函数感知的填空（FIM）中段训练方法，这是一种利用编码智能体循环与函数调用之间的结构相似性来显著提升编码智能体在 SWE-Bench 等基准测试上性能的自监督方法，同时还保留了在标准后训练中经常退化的通用编码和工具使用能力。

原作者： Yubo Wang, Jiarong Liang, Yuxuan Zhang, Xuye Liu, Cong Wei, Yuyu Zhang, Ping Nie, Wenhu Chen

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Yubo Wang, Jiarong Liang, Yuxuan Zhang, Xuye Liu, Cong Wei, Yuyu Zhang, Ping Nie, Wenhu Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人去修复一个巨大且混乱的代码库中的漏洞。通常，我们通过让机器人从头到尾、从左到右地阅读书籍来教它们。但这里有一个问题：当机器人真正去修复漏洞时，它并不仅仅是向前阅读。它会采取一个行动，观察结果（比如某个工具报错了），然后决定下一步该做什么。这是一个循环：行动 → 观察 → 下一步。

这篇论文的作者注意到一个很酷的现象：这个机器人循环看起来与普通计算机代码中的**函数调用（function call）**完全一致。

机器人的行动就像是一个函数调用另一个函数。
机器人的观察就像是那个函数返回了一个值。
机器人的下一步就像是剩余的代码在使用那个返回的值。
这个大想法是？与其仅仅让机器人向前阅读代码，作者教导他们的机器人玩一种关于这些函数调用的“填空游戏”。他们称之为函数感知的中间填充（Function-Aware Fill-in-the-Middle, FIM）中段训练（Mid-Training）。

这个游戏：“猜猜缺失的部分”

想象你有一个故事，其中的角色（“调用者”）请求一位朋友（“被调用者”）去完成一项任务，但朋友实际完成的工作被隐藏起来了。机器人必须根据前后的上下文信息，猜出这位朋友做了什么，并解释他们为什么要这样做。

为了让这个游戏有效，作者并没有随机隐藏单词。他们使用了一张特殊的代码地图（“程序依赖图”，Program Dependency Graph）来寻找完美的谜题。他们寻找的是那些满足以下条件的函数：

足够复杂，能构成一个好的挑战（既不会太简单，也不会难到无法完成）。
足够可预测，以便机器人能根据周围的线索真正推断出来。

他们还让机器人先写一段“推理笔记”（思维链，Chain-of-Thought），然后再编写缺失的代码，迫使它在行动之前先进行思考，就像人类程序员那样。

结果：它奏效了吗？

作者在三个不同的“机器人大脑”（模型）上测试了这一点：两个来自 Qwen2.5-Coder 系列（70 亿和 140 亿参数）的模型，以及一个来自较新的 Qwen3 系列（80 亿参数）的模型。他们使用了一个包含 26 亿 token（单词和符号）的海量数据集对这些机器人进行了训练，这些数据取自 968 个真实的 Python 代码仓库。

以下是他们的发现：

更擅长修复漏洞： 当在名为 SWE-Bench-Verified（模拟真实软件问题）的著名基准测试上进行测试时，机器人的表现显著提升。
- 7B 模型提升了 +2.8%。
- 14B 模型提升了 +3.0%。
- 8B 模型提升了 +3.2%。
在较简单的任务上表现更好： 在该测试的一个轻量版本（SWE-Bench-Lite）中，增幅甚至更高，8B 模型跃升了 +5.4%。
在任何地方都有效： 这些改进即使在机器人随后使用不同方法进行训练时依然存在。这表明“中间填充”训练为它们打下了坚实的底座，无论后续如何进行“抛光”，这种能力都会保留下来。

惊喜：它并没有破坏其他技能

通常，当你训练一个机器人成为超级专家（比如漏洞修复智能体）时，它会忘记做其他事情的能力，比如编写简单的代码或使用工具。作者曾担心这种情况会发生。

但事实是，“中段训练”实际上挽救了机器人的其他技能！

如果没有这种额外的训练，机器人在自主编写代码方面会表现变差（在 LiveCodeBench 等基准测试中下降）。
有了 FIM 训练，它们不仅没有退步，反而变得更强了（在 LiveCodeBench 上提升了 +11.1%）。
尽管训练数据仅包含 Python 代码，但机器人在完全不同的上下文（如 τ-bench 和 BFCL）中使用工具的能力也得到了提升，这表明它们学习到了一种通用的“思考因果关系”的技能，并能迁移到其他任务中。

他们明确排除了什么

作者非常谨慎地说明了这种方法不是什么：

它不仅仅是模仿聪明的老师： 他们测试了机器人是否只是在死记硬背来自强大 AI（Gemini-3-Flash）的答案（该 AI 协助生成了训练数据）。他们发现，即使机器人生成自己的推理笔记，仍然会有所进步。因此，魔力不在于“复制老师”，而在于游戏本身的结构。
它不是解决所有问题的万灵药： 该方法在代码具有模块化（被拆分为整洁的函数）时效果最好。如果代码是一个巨大的、混乱的脚本，其中所有东西都混杂在一起，那么该方法就无法发挥作用，因为它无法找到清晰的“函数调用”谜题来解决。
尚未证明适用于所有语言： 训练数据仅为 Python。虽然机器人在其他任务上表现更好，但作者承认他们尚未证明这在 Java、C++ 或 Rust 中同样有效。

他们有多确定？

作者对自己的数据非常有信心，因为他们使用不同的随机种子运行了三次测试，以确保结果并非偶然。他们精确地测量了改进程度（例如 +2.8%、+3.0%），并展示了当机器人陷入困境时，它们能持续解决更多问题并犯更少的错误。

他们认为这种“中段训练”是一个至关重要的缺失环节。这就像是在把机器人送入现实世界之前，先给它进行一次特定类型的“健身锻炼”，确保它拥有合适的肌肉力量，能够处理复杂的“行动、观察并继续”的循环，而不会丧失原有的其他能力。

技术摘要：以函数感知型填空（Function-Aware Fill-in-the-Middle）作为编程智能体基础模型的中间训练阶段

问题陈述

旨在解决现实世界软件工程问题的编程智能体依赖于一种特定的条件结构：维护历史记录 ( $h_t$ )、采样动作 ( $a_t$ )、接收外部观测值 ( $o_{t+1}$ )，并基于完整的追踪过程进行持续推理。虽然标准的代码预训练（从左到右的下一 Token 预测）使模型接触到了代码，但很少针对这种特定的“动作 $\to$ 观测 $\to$ 持续”循环进行优化。因此，在基础模型的预训练与智能体后训练流水线（如 SWE-Gym、R2E-Gym）的需求之间存在差距。

此外，用于代码预训练的标准填空（FIM）目标与智能体推理在三个方面上是不匹配的：

任意边界： 随机跨度掩码往往会切断表达式，无法捕捉函数级的依赖关系。
缺乏推理： 标准 FIM 要求直接生成，而不包含中间推理步骤（思维链/CoT），这与智能体的“思考后行动”模式不符。
信号摊薄： 当 FIM 被消解到大规模预训练中时，其结构先验会在智能体后训练开始前，在数万亿个无关的 Token 中被稀释。

方法论

作者提出了函数感知型 FIM 中间训练（Function-Aware FIM Mid-Training），这是一个插入在预训练与智能体后训练之间的专门自监督阶段。该方法利用了编程智能体的步骤与普通代码中函数调用点之间的结构同构性：

上下文/历史： 建立意图的调用前代码。
动作/调用： 函数调用本身。
观测/返回： 被调用者计算出的值（位于即时作用域之外）。
持续： 消费返回值的下游代码。

核心组件

函数感知目标选择：
与其使用随机跨度，该方法通过程序依赖图（PDG）分析，在函数粒度上选择掩码目标。
- 复杂度评分 ( $\hat{H}$ )：基于代码行数（LoC）、McCabe 圈复杂度及嵌套深度来衡量内在难度。
- 可推断性评分 ( $\hat{I}$ )：衡量从上下文中恢复函数的难易程度，聚合了调用方参数、被调用方依赖、类型签名、文档字符串及类兄弟成员的信号。
- 选择标准：目标通过 $\hat{H}$ 和 $\hat{I}$ 的调和平均类组合进行选择，惩罚那些要么过于简单，要么即使有完整上下文也无法学习的目标。
思维链（CoT）增强：
对于选定的目标，模型被训练在生成函数体之前先生成逐步的逻辑说明。
- 生成：由前沿模型（Gemini-3-Flash）仅基于掩码文件上下文（不访问地面真值/Ground Truth）生成逻辑说明和候选函数体。
- 过滤：由评判模型根据可行性和质量对配对进行过滤。
- 训练格式：训练提示词遵循 <fim_prefix> ... <fim_suffix> ... <fim_middle> <rationale> <body>。这迫使模型学习“思考后行动”的结构。
数据清洗：
语料库由来自 GitHub 的 968 个经过去污染处理的 Python 仓库组成（26 亿 Token）。剔除了与 SWE-Bench 重叠的仓库，并将提交记录限制在早于 SWE-Bench 基础提交的时间点，以防止测试时泄露。

核心贡献

结构类比：将函数调用点框定为互联网规模下智能体“动作–观测–持续”循环的类比，从而论证了函数粒度 FIM 作为一种自监督先验的合理性。
流水线设计：结合了基于 PDG 的选择、复杂度–可推断性双重准则以及嵌入式 CoT 逻辑说明的中间训练流水线。
鲁棒性验证：在不同模型规模（Qwen2.5-Coder 7B/14B, Qwen3-8B）、不同后训练流水线（R2E-Gym, SWE-Smith, SWE-Lego）以及不同基础模型族中展示了持续性的增益。
跨领域迁移：表明仅包含 Python 代码的中间训练语料库提升了非编程工具使用基准（ $\tau$ -bench, BFCL）的表现，并保留了通常会在智能体后训练期间被侵蚀的一般编程能力（LiveCodeBench）。
开源发布：发布了 968 个仓库的去污染语料库、选择流水线以及经过中间训练的模型权重。

实验结果

领域内智能体性能

该方法在 SWE-Bench-Verified 和 SWE-Bench-Lite 上进行了评估。

Qwen2.5-Coder-7B：在 Verified 上提升 +2.8%，在 Lite 上提升 +3.7%（对比仅进行后训练）。
Qwen2.5-Coder-14B：在 Verified 上提升 +3.0%，在 Lite 上提升 +4.0%。
Qwen3-8B：在 Verified 上提升 +3.2%，在 Lite 上提升 +5.4%。
流水线独立性：在 R2E-Gym、SWE-Smith 和 SWE-Lego 流水线中均观察到增益，表明该先验并不特定于某种数据分布。

能力保留与跨领域迁移

研究发现，单纯的智能体后训练会显著降低非目标能力（例如，14B 模型的 LiveCodeBench 分数下降了 13.1 点）。

恢复：在后训练前加入中间训练，使 LiveCodeBench 的性能恢复了 +11.1 点，几乎弥补了与指令微调上限的差距。
工具使用：尽管语料库仅包含 Python 代码且没有工具使用轨迹，中间训练仍提升了 $\tau$ -bench (+3.9) 和 BFCL (+2.4) 的表现。这证明了函数调用诱导偏置可以迁移到通用的工具使用推理中。

行为分析

对智能体轨迹的分析显示：

错误恢复：中间训练后的智能体从负面观测（如堆栈追踪）中恢复的速率为 28.8%，而基线为 24.8%。
迭代与验证：模型采用了更多的编辑操作和更长的轨迹策略（23.6 步 vs 15.1 步），使“无补丁（no-patch）”失败率降低了一个数量级。
粒度：增益在需要对单文件内跨函数依赖进行推理的任务中最为显著（多函数任务提升 +9.1 点），证实了结构同构性假设。

意义与主张

本文声称，源代码以函数调用点为形式，包含了“互联网规模的智能体相关信号”。通过利用函数感知型 FIM 对这些依赖关系进行双向推理，该方法安装了一个结构先验，能够：

提升智能体性能：直接提高软件工程基准测试的成功率。
缓解灾难性遗忘：防止由专门的智能体后训练引起的通用编程和工具使用能力的侵蚀。
具备泛化性：其收益可以跨模型族转移，并应用于非编程的工具使用任务，表明所学习的诱导偏置是智能体推理循环的基础，而非仅仅针对 Python 代码生成。

作者指出了一些局限性，包括对仅含 Python 语料库的依赖、对前沿教师模型（Gemini-3-Flash）生成 CoT 的依赖（尽管自生成的 CoT 能恢复大部分增益），以及对模块化代码结构的假设。