技术摘要：PROOF-Gen

问题陈述

将工具调用能力蒸馏到可部署模型中的标准流程依赖于使用前沿“教师”模型生成的轨迹进行监督微调（SFT）。这一过程通常采用一种**生成并过滤（generate-and-filter）**机制：教师尝试执行任务，验证器对轨迹进行评分，只有通过的轨迹才会被保留用于训练。

本文识别了该方法中一个关键的覆盖率缺口：

1. 二元过滤丢弃了“近失”（Near-Misses）： 在基于执行的验证中，如果一条轨迹正确完成了 90% 的所需工具调用，但由于单个决定性动作（例如，依赖状态的决策点）失败，则整条轨迹会被完全丢弃。
2. 缺乏来自失败的信号： 在 $\tau^2$-bench 上，教师试验的失败率高达 57%，其中三分之二是“近失”案例——即工具调用准确率很高，但最终的环境或数据库状态却是错误的。
3. 部分信用（Partial Credit）的无效性： 在过滤后的数据上进行训练或使用回合级（turn-level）的部分奖励，虽然能提高中间步骤的动作准确率，但无法提高端到端的任务完成率。学生模型从未观察到一条完整的、成功的轨迹来引导其通过那个教师失败时所处的特定决策点。
4. 随机采样能力的局限性： 仅仅增加采样量或提高温度只能恢复随机性错误，却无法解决策略性失败，而这类失败在同一教师的多次重采样中依然持续存在。

方法论：PROOF-Gen

作者引入了 PROOF-Gen（针对失败生成的单场景反射优化），这是一种回收教师失败轨迹而非丢弃它们的策略。该流程反转了标准的提示词优化目标：它不是寻找一个能泛化到所有任务的单一提示词，而是针对单个场景优化一个提示词以强制生成通过轨迹，随后丢弃该提示词。

该流程由三个主要阶段组成：

1. 单场景恢复循环：

   • 对于每个教师（如 GPT-4o）失败的任务，一个反射模型（更强的模型，如 GPT-5.1）会分析失败的执行轨迹和验证器反馈。
   • 反射器生成一个**“小抄”（cheatsheet）**：一段自然语言引导（诊断、程序步骤、工具顺序），并将其附加到该特定任务的教师系统提示词中。
   • 教师使用该小抄从头开始重新执行任务。
   • 如果教师仍然失败，反射器会根据新的轨迹和反馈修改小抄。此循环最多重复 $K=10$ 次，直到教师通过所有验证器。
   • 该过程使用迭代式提示词优化器（GEPA）来精炼小抄。

2. 脚手架移除（Scaffold Removal）：

   • 在训练之前，从小抄中剥离掉这些引导信息。
   • 学生模型仅在恢复后的轨迹上进行微调。这确保了学生学习的是轨迹所展示的能力（正确的工具调用序列和状态管理），而不是继承了脚手架（用于生成该轨迹的特定指令或引导）。

3. 训练数据构成：

   • 最终的训练集是标准过滤（最初通过）轨迹与恢复（最初失败，现已修复）轨迹的并集。
   • 这种方法将能力（由反射器的解题能力提供）与语气/风格（由执行器的交互风格提供）解耦，使得团队在不破坏既有的产品语调或延迟特性下，提升任务覆盖率。

核心贡献

• 硬核场景的回收： PROOF-Gen 将“生成-过滤”流程转变为“生成-恢复-过滤”流程，回收了此前被丢弃的轨迹。
• 单场景提示词优化： 它引入了将自动提示词优化作为数据生成引擎的方法，专门用于单个场景，而非通用的推理时优化工具。
• 保持语气的蒸馏： 通过保持执行器（教师）不变，仅通过反射器修改其提示词，该方法允许学生模型继承先进的解题能力，而不必采用反射器独特的交互风格或冗长程度。
• 可配置的目标： 反射器可以被指示针对任何维度的组合进行优化（例如：可靠性、简洁性、格式化），而不仅仅是任务完成度。

结果

恢复有效性 (RQ1)

• 高恢复率： 在 $\tau^2$-bench 电信领域，单场景优化回收了 93% 的采样教师失败案例（300 个中的 279 个）。
• 反射器能力： 恢复率由反射器的推理能力驱动。在跨领域消融实验中，GPT-5.1 的恢复率达到 97.6%，而 GPT-4o 自我反射的恢复率仅为 24.4%。
• 收敛性： 大多数可解场景（58.7%）在第一次迭代时即得到解决，84.1% 在第三次迭代前得到解决。

下游影响 (RQ2)

• 端到端增益： 在使用组合数据集（过滤 + 恢复）训练的模型中，端到端任务完成率呈现一致提升；相比之下，仅使用过滤后数据的模型（部分信用基准线）并未表现出此类提升。
  • Qwen3-4B-Instruct-2507： 在 $\tau^2$-bench 电信领域的 Pass@1 从 0.132 提升至 0.529。
  • Gemma 4 E4B-it： 在 BFCL v4 多轮对话中获得了 +7.2 个百分点 的提升。
• 部分指标 vs 全面指标： 仅基于过滤数据的训练提高了动作准确率（+25pp），但未能改善环境或数据库状态的准确率。组合训练则提升了所有三项指标，弥补了在关键决策点上的差距。
• 随机鲁棒性： 这种增益在随机采样（温度 1.0）下依然存在，组合训练的模型在“翻转任务”（flip tasks）上的成功率约为 54%，而基准模型几乎为零。

生产规模化 (RQ3)

• 部署： 该方法被部署到了生产环境中的工具调用智能体后训练系统中。
• 指标： 它使轨迹质量在目标完成度方面提升了 +6.3pp，并在五个响应质量指标上提升了 +2.5 至 +8.0pp。
• 迁移性： 这些增益成功迁移到了部署的端侧模型中（目标完成度 +1.5pp），并且在评估的每一个语种/地区中都观察到了正向迁移（非英语平均 +1.48pp），表明纠正性知识在很大程度上是跨语言通用的。

意义与主张

论文指出，蒸馏质量的上限是在数据生成阶段预先设定的。如果最困难的场景在训练分布中被系统性地缺失（因为它们被过滤掉了），那么任何下游训练算法（如 RL 或其他散度方法）都无法弥补这一缺陷。

PROOF-Gen 通过将教师的失败视为可恢复的而非终结性的，解决了这一问题。通过利用更强的反射器来引导较弱的执行器达到通过状态，该方法生成了清晰的复杂问题解决演示，而这些演示是基础教师无法独立产生的。作者强调，这种方法实现了能力与语气的解耦，能够将前沿模型的先进推理能力集成到较小的部署型智能体中，且不会改变智能体既有的交互风格或延迟特性。

这项工作被呈现为一个实用且可扩展的生产系统解决方案，通过受控基准测试和真实世界部署得到了验证，证明了回收被丢弃的失败案例是填补工具调用智能体覆盖率缺口的关键步骤。