💬 NLP

CAPER: Clause-Aligned Process Supervision for Text-to-SQL

该论文介绍了 CAPER，这是一个利用针对 SQL 抽象语法树的反事实干预来生成子句级监督的框架，通过训练一个轻量级奖励模型，显著提升了与现有方法相比的 Text-to-SQL 执行准确率和失败定位能力。

原作者： Lujie Ban, Jiasheng Shi, Jinyang Li, Xiaolin Han, Tsz Nam Chan, Chenhao Ma

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Lujie Ban, Jiasheng Shi, Jinyang Li, Xiaolin Han, Tsz Nam Chan, Chenhao Ma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：教机器人编写数据库查询语句

想象你有一个非常聪明的机器人（AI），它可以与一个巨大的数据图书馆（数据库）进行对话。你的目标是教会这个机器人通过编写一种叫做 SQL 的特定计算机语言，来回答诸如“2024年哪门课程的学生人数最多？”之类的问题。

问题在于，SQL 是非常精确的。如果机器人犯了一个微小的错误——比如连接错了两个表——它就会得到错误的答案。

问题所在：“全或无”的评分方式

目前，当我们教这些机器人时，通常只在最后阶段给它们打分。

机器人编写了一个查询语句。
我们运行它。
如果答案是正确的： 太棒了！（成绩：100%）
如果答案是错误的： 做得不好！（成绩：0%）

类比： 想象一个学生正在参加数学考试。他写出了一个包含 10 个步骤的长解题过程。前 9 步都非常完美，但在第 10 步，他把“5 + 5 = 10”写成了“5 + 5 = 11”。

旧方法： 老师看到最终答案错了，就给这个学生打 0 分。学生完全不知道是哪一步导致了失败。他们可能会认为第一步错了，并尝试在下次修改第一步，从而让情况变得更糟。
Token 方法： 一些研究人员尝试对机器人写的每一个字母和符号（token）进行评分。但这就像是通过检查每一个数字是否书写正确来给数学考试评分，即使逻辑是正确的。这太混乱了，而且无法理解数学的“意义”。

解决方案：CAPER（“子句”教练）

作者提出了 CAPER，一种全新的教学方式。CAPER 不仅仅是对整个答案或每一个字母进行评分，而是对 SQL 查询中的子句（逻辑块）进行评分。

把一个 SQL 查询想象成由不同部分组成的句子：

SELECT（你想看什么？）
FROM/JOIN（你在哪里寻找？）
WHERE（规则是什么？）
GROUP BY（你如何组织它？）

CAPER 如何运作（神奇的戏法）：

“如果……会怎样”游戏（反事实干预）：
当机器人犯错时，CAPER 不仅仅说“错误”。它玩一个“如果……会怎样”的游戏：
- 它提取机器人的错误答案，然后问道：“如果我们仅仅把这一个特定的部分（‘JOIN’子句）修改为匹配正确的逻辑，会发生什么？”
- 如果修复这个特定部分后答案变正确了，CAPЕР 就知道：“啊哈！错误出在 JOIN 子句上，而不是整个句子。”
- 然后它会创建一个“训练示例”，向机器人展示：“这个特定的块很糟糕；而那个块很好。”
故障注入（“破坏”游戏）：
CAPER 还会提取正确的答案，并故意以微小且特定的方式（比如交换两个数字）来破坏它们。然后它教会机器人识别出这个特定的损坏块是错误的。
“子句-PRM”（聪明的教练）：
利用这些成千上上的“如果……会怎样”的示例，CAPER 训练了一个特殊的、轻量级的教练（称为 Clause-PRM）。这个教练既小巧又快速。
- 当机器人编写答案时，教练会循序渐进地观察。
- 当机器人写到一个 “JOIN” 子句时，教练会说：“这看起来有风险，给你一个微小的惩罚，”或者“这看起来很棒，给你一个奖励。”
- 这为机器人提供了关于其逻辑的即时反馈，而不仅仅是在最后才给反馈。

结果：更聪明、更快的学习者

论文在两个主要数据库（BIRD 和 Spider）上进行了测试。

更好的成绩： 使用 CAPER 训练的机器人，其最终得分显著提高（提升高达 15%），相比于使用旧的“全或无”方法的机器人。
更好的诊断： 当机器人确实犯错时，CAPER 教练可以精准定位出句子的哪一部分出了问题，准确率达 84.5%。这就像一位医生可以告诉你哪个器官生病了，而不仅仅是说“你病了”。
候选选择： 教练还可以充当裁判。如果机器人生成了 8 个不同的答案，教练可以观察每个答案的逻辑，并选出最好的那一个，即使它们的最终结果看起来非常相似。

总结

CAPER 就像是一位驾驶教练，他不会只在考试结束时说“你撞车了”。相反，他会观察驾驶员，一旦驾驶员错过转弯，他就会立刻说：“你在路口转弯转早了。”通过对逻辑的特定块（子句）而非整个句子或每一个字母进行反馈，AI 能够更快、更可靠地学习编写正确的数据库查询语句。

技术摘要：CAPER —— 面向 Text-to-SQL 的子句对齐过程监督

问题陈述

Text-to-SQL 系统旨在将自然语言问题转化为可执行的 SQL 查询。尽管大语言模型（LLMs）通过模式链接（schema linking）和检索技术推动了该领域的发展，但这项任务本质上仍是一个高精度的结构化生成问题，因为单个语义错误（例如错误的连接键或聚合方式）都可能导致整个查询失效。

目前的训练范式在监督机制方面面临两个主要局式限制：

查询级执行正确性： 标准评估依赖于终端执行信号（执行准确率，EX）。虽然这种方式具有可扩展性，但它提供的是稀疏且二元的奖励（成功/失败），无法针对“哪个”中间决策导致了失败提供指导。这产生了一个信用分配（credit assignment）问题，即“差一点就成功”的查询（大部分正确但仅在一个子句上出错）与完全错误的查询被同等对待。
Token 级密集监督： 将反馈细化到 Token 级别并不适用于 SQL 语义。单个 Token（别名、逗号、运算符）很少构成完整的语义决策，而关键的 SQL 决策通常通过多 Token 结构（如连接路径、谓词）来表达。Token 级监督会使信用分散到低层符号中，且需要不可靠的细粒度标注。

核心挑战在于：如何在不进行昂贵人工标注的前提下，从粗粒度的查询级结果中推导出子句对齐的过程监督，同时保持以执行正确性为最终目标，并实现根因错误定位。

方法论：CAPER 框架

作者提出了 CAPER（子句对齐过程监督），这是一个能够自动构建子句级偏好数据并训练轻量级“子句级过程奖励模型”（Clause-Level Process Reward Model, Clause-PRM）的框架。该框架分为三个阶段运行：

1. 自动奖励标注

CAPER 利用基于抽象语法树（AST）表示的 SQL，通过两种互补策略将粗粒度的轨迹结果转换为细粒度的子句级奖励：

故障注入（针对成功轨迹）： 对于执行正确的轨迹，系统会对 AST 中的可编辑关键节点进行采样，并应用类型保持的变异（例如交换列、改变运算符）。只有当变异保留后能改变执行结果时，该变异才会被保留，从而诱导出真实的语义错误。这创建了已知根因的“负面”示例。
反事实干预（针对失败轨迹）： 对于失败的轨迹，系统会将预测的 SQL 与金标准（gold standard）进行比较。它会识别最早发生分歧的子句，并在相同的序列前缀下修复 AST 以构建一个反事实的修正查询。随后，系统计算将预测子句转换为修正子句的最小代价编辑脚本，从而识别出根因节点（ $v^*$ ）。

奖励传播：
一旦识别出根因节点，系统会根据 AST 节点与其到 $v^*$ 的结构距离分配连续惩罚：

根因节点获得最强的惩罚（ $-\alpha$ ）。
同一依赖路径上的祖先节点接收高斯衰减的负向奖励。
不相关的分支则被屏蔽（零奖励）。
这些节点级的惩罚通过最小算子聚合到子句级别（例如 SELECT、FROM-JOIN、WHERE），确保包含决定性错误的子句继承一个强烈的非正标签。由此产生具有连续边际 $\delta_k$ 的偏好元组 $(u^+, u^-)$ ，反映了结构错误的严重程度。

2. 子句级过程奖励模型 (Clause-PRM)

利用标注数据集 $\mathcal{D}$ ，作者微调了一个轻量级模型（基于 Qwen3.5-9B 的 CAPER-9B）来充当 Clause-PRM。

目标： 该模型学习在给定输入和前序上下文的情况下，为正确的子句单元与不被偏好的（含错）子句单元之间的偏好进行评分。
训练： 它优化了一个边际加权的偏好目标，其中具有更大结构边际（更具决定性的错误）的样本会对监督信号做出更强的贡献。

3. 策略优化

训练好的 Clause-PRM 被部署在强化学习（RL）循环中（具体为 GRPO），用于 Text-to-SQL 策略优化。

多粒度奖励： 每个子句边界处的奖励信号结合了以下两项：
1. 子句奖励： 来自 Clause-PRM 对当前子句的评分。
2. 执行奖励： 仅在最后一个子句边界处添加的终端信号。
信用分配： 该方法并非将奖励坍缩为单一的轨迹级优势值，而是计算子句级回报待求值（return-to-go）。子句内的 Token 根据该子句边界后剩余轨迹的优势值进行优化，从而保留了时间维度的信用分配。

核心贡献

自动化流水线： 一个反事实 SQL-AST 流水线，能够定位根因错误并构建子句级偏好监督，无需人工标注。该流水线在三个数据集（BIRD, Spider, SYNSQL）上生成了超过 90,000 个子句级标注的偏好元组。
Clause-PRM (CAPER-9B)： 一个轻量级模型，旨在提供密集的、基于子句边界的反馈。它弥合了稀疏执行结果与脆弱的 Token 级监督之间的鸿沟。
实证验证： 证明了子句对齐监督能显著提升端到端的执行准确率以及模型定位失败的能力。

实验结果

实验在 BIRD 和 Spider 基准测试上使用 Qwen3.5-9B 作为骨干网络进行。

执行准确率 (EX)：
- 使用 CAPER-9B（子句级奖励）进行 GRPO 策略训练的模型，在 BIRD 数据集上相比 GPT-5.4 实现了 15.3% 的相对提升。
- 它优于稀疏奖励 GRPO 和 Token 级奖励 GRPO 基线，尤其是在 Majority Vote@8 设置下，表明其在采样候选集中具有更高的语义可靠性。
失败定位：
- 在留存的失败轨迹上，CAPER-9B 达到了 84.53% 的 Top-1 定位准确率和 90.60% 的平均倒数排名 (MRR)。
- 这显著优于启发式选择器、自我调试提示（self-debugging prompts）以及仅基于执行的奖励模型。消融实验证实，拓扑感知传播和反事实错误构建对于该性能至关重要。
候选验证：
- 当作为插件式验证器对闭源 LLM 的候选结果进行重排序时，CAPER-9B 相比 Majority Vote@8 持续提升了 0.7 到 1.6 个百分点的执行准确率，证明了即使生成器固定，它也能识别出具有可靠中间结构决策的候选结果。

意义与主张

本文主张，子句对齐的过程监督是面向 Text-to-SQL 等结构化生成任务的一个可扩展且有效的方向。通过将执行成功与失败归因于特定的 SQL 子句决策，CAPER 提供了一种实用的信用分配机制，避免了终端标签的稀疏性和 Token 级反馈的语义失配。

作者强调，其方法不需要新的解析器架构或复杂的提示工程流水线，而是通过利用反事实 AST 扰动来推导出具有语义基础的监督。结果表明，中间过程反馈如果能与领域内的语义单元（SQL 子句）对齐，可以显著增强生成策略的优化能力和奖励模型的诊断能力。

局限性说明：
作者指出，目前的实现仅在顶层子句粒度上对 SQL 进行分解，对于复杂谓词或子查询内部的错误而言，这一粒度可能过于粗糙。此外，与稀疏奖励相比，自动标注流水线引入了额外的计算开销，尽管生成的用于 PRM 训练的数据是可重复使用的。该方法目前专注于 SQL 生成，而非思维链（Chain-of-Thought）推理。