技术摘要：STEP-KTODER

问题陈述

虽然过程监督（即对中间推理步骤提供反馈）显著提升了大型语言模型（LLMs）在数学推理方面的能力，但其在代码生成领域的应用仍有待深入探索。在数学领域，步骤被自然地定义为思维链。然而，在代码生成中，并没有标准的“步骤”概念。监督目标的变化范围很广（如行、推理轨迹或程序状态），这导致在标注和优化对象上存在歧iri。

目前的偏好优化方法，如直接偏好优化（DPO）和 Kahneman–Tversky 优化（KTO），通常在结果层面运行，将整个程序视为单一的反馈单元。这种粗粒度的信号无法区分部分成功程序中的正确与错误组件。例如，一个基本正确但在狭窄边缘情况（edge case）下失败的程序会被整体标记为“不可取”，从而掩盖了哪些具体函数贡献了成功或导致了失败。这种缺乏细粒度的特性限制了强化局部正确代码并惩罚特定错误组件的能力。

方法论：STEP-KTODER

作者提出了 STEP-KTODER，这是一个用于代码偏好优化的框架，它将“步骤”定义为分解后的多函数程序中的模块级函数。该方法结合了函数级的过程监督与基于执行的结果级反馈。

1. 数据构建流水线

该框架依赖于一个由四个阶段组成的自动数据构建过程：

• 参考分解（Reference Decomposition）： 一个强大的指令微调代码模型将 ground-truth 解法重写为分解后的多函数程序，同时保留原始接口和行为。只有通过原始测试集的重写版本才会被保留。
• 函数级单元测试生成（Function-Level Unit Test Generation）： 对于每个分解后的函数，模型会生成针对性的单元测试，涵盖该函数的接口和边缘情况。这些测试通过在参考实现上执行进行验证；只有通过测试且包含非平凡断言（nontrivial assertions）的测试才会被保留。
• 在策略候选生成（On-Policy Candidate Generation）： 目标模型通过填充从分解后的参考实现中提取的函数骨架（其中函数体被替换为 pass）来生成候选补全。
• 标注（Labeling）：
  • 结果标签 ($o$)： 根据完整候选程序是否通过数据集提供的测试集来确定。
  • 步骤标签 ($z$)： 通过执行每个候选函数并运行其生成的单元测试来确定。标签为 $1$表示局部正确，$0$表示失败，$\emptyset$ 表示没有有效的测试可用。

2. 目标函数

STEP-KTODER 通过引入一个结合了结果级和步骤级监督的联合目标函数来扩展 KTO。

• 结果级 KTO： 基于完整程序的二元可欲性使用标准 KTO 损失 ($L_{out}$)。
• 步骤级 KTO： 在单个函数的 token 上定义逐步损失 ($L_{step}$)。对于每个函数 $s_i$，计算局部对数比（log-ratio），并根据步骤标签 $z_i$ 应用价值函数。
• 联合目标： 最终损失为 $L_{STEP-KTODER} = L_{out} + \lambda_{step} L_{step}$。

至关重要的是，该框架采用了冲突保留标签（conflict-preserving labels）。它保留了结果标签 ($o$) 与步骤标签 ($z$) 不一致的训练样本（例如，一个通过了全局测试集但包含局部失败函数的程序）。这些冲突提供了仅靠结果级方法无法捕捉的独特训练信号，使模型能够学习到：即使整体失败，特定组件也可以是正确的，反之亦然。

3. 标签的可靠性

论文强调基于执行的标签至关重要。作者测试了用“LLM 作为评判员”（使用 GPT-5.4 mini）的注释取代基于执行的步骤标签。虽然 LLM 显示出中等的整体一致性（73.2%），但它表现出系统性偏差：它过度预测了失败，能正确识别 94.1% 的失败函数，但仅能识别 52.2% 的通过函数。这种偏差破坏了训练所需的正向步骤标签，导致性能下降，尤其是在更难的基准测试上。

核心贡献

1. STEP-KTODER 框架： 一个针对代码设计的逐步 KTO 实例化方案，它将步骤定义为可独立测试的函数，弥合了过程监督与代码生成之间的鸿沟。
2. 自动数据流水线： 一个能够分解解法、生成函数级单元测试并推导出基于执行的步骤标签的流水线，实现了无需人工标注的细粒度监督。
3. 实证验证： 实验证明，对于步骤监督，基于执行的标签优于 LLM 评判，且保留局部/全局标签冲突对于性能至关重要。

实验结果

该方法在 HumanEval(+), MBPP(+), BigCodeBench 和 LiveCodeBench 上进行了评估，使用了指令微调模型（Qwen2.5-Coder 和 DeepSeek-Coder）。

• 性能提升： STEP-KTODER 一致优于仅结果级的 KTO 和 DPO，在更难的基准测试中提升最为显著。
  • 在 Qwen2.5-Coder-1.5B 上，它在 BigCodeBench Hard 上比 KTO 提升了 +11.5%，在 LiveCodeBench 上提升了 +7.7%。
  • 在 Qwen2.5-Coder-3B 上，增益为 BigCodeBench Hard +11.3% 和 LiveCodeBench +9.5%。
  • 在 DeepSeek-Coder-6.7B 上，它在 BigCodeBench Hard 上比 KTO 实现了 +4.9% 的增益。
• 与 Target-DPO 的比较： 虽然 Target-DPO 也针对局部失败，但 STEP-KTODER 在使用显著更少的训练样本（约 11,400 对 vs 59,000 对）的情况下，在最难的基准测试上取得了更优的结果（例如，3B 模型在 BigCodeBench Hard 上比 Target-DPO 提升了 +18.5%）。
• 消融研究：
  • 冲突保留： 屏蔽冲突（移除 $o \neq z$ 的样本）使性能降至 KTO 水平，证实了这些不匹配提供了本质的训练信号。
  • 标签来源： 用 LLM 作为评判员的注释取代基于执行的标签会导致性能大幅下降（例如，在 BigCodeBench Hard 上下降了 -25.8%），验证了基于执行反馈的必要性。

意义与主张

论文声称，STEP-KTODER 通过利用程序的自然模块化特性，为代码生成提供了一条实现过程监督的切实路径。通过将步骤定义为函数并通过执行进行监督，该方法提供了局部化的反馈，能够强化正确组件并惩罚特定故障，这是仅靠结果级监督所不具备的能力。

作者强调，该方法的有效性在很大程度上取决于两个因素：

1. 基于执行的可靠性： 自动化单元测试为步骤标签提供了必要的地面真值（ground truth），而 LLM 评判员会引入破坏学习的系统性偏差。
2. 冲突保留： 能够从局部正确性与全局成功性发生背离的样本中学习，是其区别于标准偏好优化的关键特征。

这项工作表明，函数级执行反馈是使代码模型对齐的一种可行且有效的机制，特别是对于那些粗粒度反馈不足的复杂任务。作者也指出了局限性，包括需要解法能够被分解为可测试的函数，以及为新模型生成在策略（on-policy）候选者的工程成本。