💬 NLP

Know When To Fold 'Em: Token-Efficient LLM Synthetic Data Generation via Multi-Stage In-Flight Rejection

本文介绍了多阶段飞行中拒绝（MSIFR），这是一种无需训练的框架，通过在中间阶段检测并终止低质量输出，在保持保留样本质量和偏差不受影响的前提下，显著降低了基于大语言模型的合成数据生成中的 token 消耗。

原作者： Anjir Ahmed Chowdhury, Syed Zawad, Feng Yan

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Anjir Ahmed Chowdhury, Syed Zawad, Feng Yan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你正在经营一家生产高质量手写数学解答的工厂。你拥有一支非常聪明但偶尔会分心的机器人团队（即 AI 模型），它们负责撰写这些解答。

问题：“浪费的工厂”
在旧有的做法（即“基线”）中，你会让每个机器人从头到尾撰写解答，无论它变得多么困惑或错误百出。

如果一个机器人一开始就说"2 + 2 = 5"，它仍会继续撰写，再写三段胡言乱语来为这个错误答案辩护。
你只在最后才检查工作。
结果： 你在最终会被扔进垃圾桶的错误答案上，浪费了大量的电力（计算能力）和纸张（数字 token）。你支付了全程的费用，尽管目的地是错误的。

解决方案：MSIFR（“智能检查员”）
该论文提出了一种名为MSIFR（多阶段飞行中拒绝）的新方法。这就像在生产线的不同检查点安装一系列快速、严格的检查员，而不是等到产品完成后再进行检查。

以下是新工厂的运作方式：

检查点 1（问题检查）： 在机器人开始解题之前，一名检查员会检查问题本身是否合理。如果机器人生成的问题令人困惑或存在错误，检查员会立即停止生产线。节省：100% 的解答 token。
检查点 2（解题中途检查）： 机器人已写了一半的答案。第二名检查员查看目前的数学推导。机器人是否犯了简单的算术错误？是否在幻觉事实？如果数学推导有误，检查员会立即切断电源。节省：约 50% 的 token。
检查点 3（最终检查）： 如果机器人通过了前两项检查，它便完成解答。最后一名检查员会检查格式和最终数字。
结果： 只有干净、正确的答案才能进入最终的“发货”阶段，用于训练。

为何这很重要
该论文声称，这种方法就像在整栋房子被洪水淹没之前发现管道泄漏。

Token 节省： 通过尽早停止表现不佳的机器人，它们节省了原本会浪费的 11% 到 77% 的"token"（数字单词/计算成本）。在某些情况下，当与其他加速技巧结合使用时，节省率高达 78%。
更高质量： 由于尽早停止了“表现不佳”的机器人，它们没有在这些机器人身上浪费时间。这意味着它们保留的数据质量更高。在几项测试中，由于训练数据更干净，准确率实际上有所提升。
无需额外训练： 最棒的是，机器人不需要去“上学”来学习这一点。检查员使用的是简单的、预先写好的规则（例如“检查数学计算是否成立”），而不需要一个复杂的新 AI 大脑。

“鞅”保证
作者们担心：“如果我们过早停止表现不佳的样本，是否会无意中只保留了‘幸运’的好样本，而丢弃了‘不幸’的好样本？”
他们通过数学证明（使用一种称为“鞅”的工具）表明，不，你并没有作弊。 你保留的答案的平均质量，与让所有人完成后再挑选最佳答案的情况完全相同。你只是更快、更便宜地达到了这一结果。

核心结论
MSIFR 是一种针对 AI 数据生成的“止损”策略。与其为一位糟糕演员的整部电影买单，不如在开头、中间和结尾检查剧本，如果发现是胡言乱语，就立即关闭摄像机。这节省了巨额资金和计算能力，同时确保最终数据集达到顶级水准。

技术摘要：用于令牌高效合成数据生成的多阶段飞行中拒绝（MSIFR）

1. 问题陈述

由于人工标注数据稀缺且成本高昂，利用大语言模型（LLM）为后训练流程（例如监督微调、RLHF）生成合成数据已日益普遍。然而，当前的生成流程存在一个关键的低效问题：它们通常在应用质量过滤器之前为所有样本生成完整输出。这种方法导致了大量的令牌浪费，因为计算资源被消耗在最终会被丢弃的低质量、幻觉或逻辑不一致的样本上。

现有的“早退”方法通过终止正确但冗长的推理轨迹来解决“过度思考”问题，但它们并未解决故障轨迹的生成问题。同样，生成中途的过滤方法通常依赖训练过的奖励模型，或是为单查询推理而非大规模数据集构建而设计。因此，亟需一种轻量级、无需训练的机制，能够在生成过程中检测并终止低质量的生成轨迹，以防止在缺乏潜力的样本上消耗令牌。

2. 方法论：多阶段飞行中拒绝（MSIFR）

作者提出了多阶段飞行中拒绝（MSIFR），这是一个轻量级、无需训练的框架，旨在拦截并在故障生成轨迹完成之前将其丢弃。

核心机制

MSIFR 将合成数据生成过程分解为连续阶段（具体实现中为四个阶段）：

问题生成（S1）： LLM 生成问题提示。
中途解生成（S2）： LLM 生成部分解。
完整解生成（S3）： LLM 完成解。
最终评估（S4）： 高质量样本接受最终验证（LLM 判断、人工验证、去重）。

在每个中间阶段（ $S_1, S_2, S_3$ ），一个轻量级基于规则的验证器（ $V_t$ ）检查部分输出。这些验证器检查以下内容：

算术不一致性。
幻觉模式。
格式违规。
逻辑连贯性。

如果样本未能通过任何验证器检查，生成轨迹将立即终止，该样本不再消耗任何后续令牌。只有通过所有中间检查的样本才会进入最终生成和评估阶段。

理论基础

该论文将飞行中拒绝形式化为一个序贯决策过程，并提供了两个关键的理论保证：

令牌效率： 作者证明，任何非平凡的丢弃策略都会严格降低预期的令牌消耗。他们推导出了分阶段的节省分解，表明当拒绝发生在流程早期（例如在 $S_2$ 而非 $S_3$ ）时，节省量呈超线性增长，因为后期阶段（ $\Delta c_t$ ）的成本显著更高。
无偏性： 作者证明条件效用估计构成一个鞅。这确保了早期的飞行中拒绝不会在保留样本的预期效用中引入系统性偏差。通过中间阶段的样本的预期质量，与完全生成情况下的预期质量保持相等。

算法实现

该框架无需对基础 LLM 进行额外训练或架构更改。它利用基于验证分数与预期最终质量之间的序数一致性的“代理效用估计”。该过程由丢弃策略 $\pi$ 定义，该策略将部分输出的验证分数与阈值进行比较；如果分数低于阈值，则放弃该轨迹。

3. 主要贡献

该论文概述了四项主要贡献：

MSIFR 框架： 引入一个多阶段验证框架，在合成数据生成过程中执行飞行中拒绝，无需额外训练即可减少令牌使用。
决策理论形式化： 将早期拒绝形式化为一个优化问题，包括分阶段令牌节省的分解，突出了早期阶段过滤的重要性。
鞅性质证明： 理论证明显示条件效用估计构成鞅，保证早期拒绝能保留保留样本的无偏预期效用。
实证验证： 展示了在多个模型和基准测试中一致的令牌节省以及稳定（或提升）的准确率，表明 MSIFR 能与现有的早退方法有效结合。

4. 实验结果

作者在五个指令微调模型（Qwen2.5-7B、Llama-3.1-8B、DeepSeek-7B、Phi-3-mini、Mistral-7B）和七个推理基准（GSM8K、MATH500、SVAMP、MAWPS、MathQA、MMLU-Chem、DeepMind Mathematics）上评估了 MSIFR。

主要发现

令牌减少： 作为独立方法，与传统的全生成流程相比，MSIFR 将令牌消耗降低了11% 至 77%。
- 具体收益包括：对于某些模型，GSM8K 上最高减少42%，MATH500 上最高减少78%。
准确率保持： 在大多数模型 - 基准测试对中，评估准确率得以保持或提升。例如，Llama-3.1-8B 在 GSM8K 上的准确率提高了**+8.6 个百分点**，同时令牌使用量减少了 43%。
与早退的可组合性： 当与现有的早退方法（特别是 LYNX）结合时，MSIFR 实现了复合效率增益。
- 组合方案（MSIFR + LYNX）在 GSM8K 上实现了78.2% 的总令牌减少和5.0 倍的吞吐量提升，且无明显的准确率损失（0.735 对比仅使用 LYNX 的 0.738）。
模型性能： Llama-3.1-8B 展现了最强的整体效率概况，在四个基准测试中实现了最低的令牌计数，同时保持了高准确率。

5. 意义与主张

该论文将 MSIFR 定位为一种提高基于 LLM 的合成数据生成效率的实用机制。其意义在于：

资源优化： 它通过防止在故障样本上浪费令牌，解决了后训练所需的巨大计算预算问题。
无需训练的操作： 与许多需要训练奖励模型或探针的过滤方法不同，MSIFR 依赖轻量级的基于规则的验证器，使其可立即应用于现有模型。
正交效率： 作者声称，MSIFR 在成本降低的不同维度上运作（通过中止故障轨迹减少每个样本的令牌），这与早退方法（通过停止正确但冗长的轨迹减少每个令牌的 FLOPs）不同。这种正交性允许无缝集成和累加的性能提升。

局限性

作者承认，基于规则的验证器是特定于任务的，需要为新任务定义领域适当的准则。此外，实验是在 7-8B 参数模型上进行的，更大规模下的行为仍是一个开放方向。中途解截断阈值（实验中设定为 50%）可能需要针对具有截然不同解长度分布的领域（如长篇证明或代码生成）进行重新调整。