技术摘要：用于扩展数学推理能力的 TrajFusion

问题陈述

大语言模型（LLMs）通过在高质量解题轨迹上的监督微调（SFT），在数学推理方面取得了显著进展。构建此类数据的主流范式是拒绝采样微调（Rejection Sampling Fine-Tuning, RFT）。在 RFT 中，教师模型为给定问题生成多个候选推理路径，只有那些最终答案正确的路径会被保留用于训练；所有错误的轨迹都会被丢弃。

尽管这种方法很有效，但它将监督视为一种二元过滤机制。它系统性地排除了教师生成的错误，从而在模型训练过程中造成了如何建模推理失败的缺口。作者认为，错误的轨迹包含具有价值的诊断信息——例如常见的计算失误、缺失的假设以及逻辑上看似合理但无效的论证路径——这些信息可以帮助模型识别并避免特定的失败模式，尤其是在长篇或具有歧义的推理任务中。当前的方法将这些错误视为应丢弃的噪声，而非可利用的结构化监督。

方法论：TrajFusion

本文提出了 TrajFusion，这是一种将 RFT 从二元过滤机制重新定义为结构化监督构建过程的微调策略。TrajFusion 将选定的错误推理轨迹与正确轨迹整合进单个融合训练样本中，显式地模拟了一个试错（trial-and-error）的推理过程。

核心组件

1. 采样与分析： 对于每个问题 $x$，教师模型采样 $K$ 条轨迹。使用自动验证器将这些轨迹划分为正确集（$Y^+$）和错误集（$Y^-$）。
2. 自适应选择： 该方法根据两个统计量自适应地确定要包含多少条错误轨迹：
   • 错误率 ($r(x)$)： 错误尝试出现的频率。
   • 错误多样性 ($u(x)$)： 错误尝试中不同最终答案的数量（通过香农熵或唯一答案计数来衡量）。
     保留的错误轨迹数量 $k(x)$ 计算如下：
     $$k(x) = \min(k_{max}, \lfloor \alpha \cdot r(x) \cdot u(x) \rfloor)$$
     这确保了错误多样且频繁的问题能获得更丰富的监督，而错误稀疏或缺乏信息量的题目则自然退化为传统的 RFT。
3. 融合样本构建： 被选中的错误轨迹通过固定的反思提示词（例如，“等等……这看起来不对。让我们再试一次。”）与正确轨迹交织在一起。最终结构为：
   $$T(x) = [y_{e1}, \rho_1, \dots, y_{ek}, \rho_k, y^*]$$
   其中 $y_{ei}$ 是错误路径，$\rho_i$ 是反思提示词，$y^*$ 是正确解。
4. 训练： 融合后的序列使用标准的下一 Token 预测进行训练，无需对模型架构或训练目标进行任何更改。

主要贡献

• 形式化了监督缺口： 作者识别并形式化了 RFT 中系统性排除教师生成错误轨迹的问题，认为这些错误提供了建模推理失败的诊断价值。
• TrajFusion 框架： 一个能够自适应融合错误与正确轨迹的结构化监督框架。它将错误多样性作为显式的控制信号，使得该方法无需辅助模型、评论生成器或外部难度标签，即可在不同难度的题目上实现稳健的扩展。
• 实证验证： 该方法在多种基座模型（LLaMA3-8B, DeepSeekMath-7B）、数据规模（15K 至 100K 个样本）和上下文长度（高达 32K）上均表现出优于 vanilla RFT 的一致性能提升。

实验结果

作者在六个数学推理基准测试（GSM8K, MATH, CollegeMath, DeepMind-Mathematics, OlympiadBench, TheoremQA）以及竞赛级数据集（AIME24, AIME25, MATH-500）上评估了 TrajFusion。

• 性能增益： TrajFusion 一致优于 vanilla RFT。在 LLaMA3-8B（100K 数据）的 MATH 数据集上，TrajFusion 达到了 51.4% 的准确率，而 RFT 为 48.5%。在 DeepSeekMath-7B 上，它达到了 52.3% 对比 50.2%。
• 对复杂度的影响： 在具有挑战性的长篇推理基准测试（MATH, OlympiadBench, TheoremQA）中，提升最为显著，因为这些任务的推理路径更长，失败模式也更多样。在像 GSM8K 这样较简单的任务上，提升虽小但仍为正向。
• 数据效率： TrajFusion 仅使用 15K 个训练样本就达到了极具竞争力的结果，超越了使用显著更大数据集（如拥有 2.3M 样本的 MMIQC）的基线模型。
• 长上下文的可扩展性： 当应用于使用从 DeepSeek-R1 蒸馏出的长篇数据、基于 Qwen2.5-Math-7B 的 32K 上下文版本时，TrajFusion 将 AIME24 的 Pass@1 从 40.0% (RFT) 提升至 43.3%。
• 消融研究：
  • 增加融合错误的数量 ($k_{max}$) 会使性能提升直至达到一个临界点（在 $k_{max}=6$ 时观察到收益递减）。
  • 基于多样性（HighDiv）而非仅仅基于频率（LowDiv）来选择错误会产生更好的结果，这表明结构上截然不同的失败模式更具信息量。
  • 使用 TrajFusion 训练的模型最初会生成较长的序列，但随后逐渐变得更加简洁，同时增加了反思 token 的频率，这表明其对结构化模式的使用变得更加高效。

意义与主张

论文声称 TrajFusion 提供了一种简单且有效的方式，通过利用通常被丢弃的监督信号来扩展数学推理能力。通过将拒绝采样重新定义为一个构建结构化试错轨迹的过程，该方法在无需架构修改或复杂强化学习流水线的情况下，提供了更丰富的监督。

作者强调，TrajFusion 对于具有挑战性的长篇推理问题特别有价值，因为在这些问题中，区分有效推理与错误推理至关重要。他们断言，TrajFusion 的自适应特性确保了其稳健性：当错误具有信息量时，它会丰富监督；而当错误缺乏信息量时，它能安全地退回到标准 RFT 行为。这种方法弥合了二元正确性过滤与推理失败细微现实之间的鸿沟，使模型能够在监督设置下从自身的错误中学习。