💬 NLP

ACE-SQL: Adaptive Co-Optimization via Empirical Credit Assignment for Text-to-SQL

ACE-SQL 是一个强化学习框架，它通过利用执行反馈来推导自适应的、在策略（on-policy）的检索目标，从而通过联合优化模式检索与 SQL 生成，在复杂的 Text-to-SQL 任务中实现高准确率并保持高效的 Token 使用。

原作者： Xiaobing Chen, Ai Jian, Eryu Guo, Zhiqi Pang

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaobing Chen, Ai Jian, Eryu Guo, Zhiqi Pang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图向一位图书管理员（AI）询问如何在一座庞大且混乱的图书馆（数据库）中找到一本特定的书。这座图书馆拥有数千个书架、数百万本书籍以及令人困惑的标签。

问题：“全或无”的困境
目前的查询方法通常只有两种方式，且两者都存在缺陷：

“倾倒一切”法： 你把整个图书馆的目录（所有的表和列）交给管理员，并对它说：“找到这个。”管理员必须在尝试编写请求的同时，去猜测哪些书架是相关的。这就像是在试图从一堆着火的干草堆里找一根针。
“静态地图”法： 你给管理员一张预先制作好的地图，精确标明了要查看哪些书架。但问题在于，这张地图是由人类绘制的，而人类选定的路径可能并不是管理员真正喜欢或擅长使用的路径。如果管理员通过另一条走廊能更好地找到书，静态地图也会强迫它坚持使用那条“正确”（但效率低下）的路线，从而导致失败。

解决方案：ACE-SQL（“教练式”系统）
论文引入了 ACE-SQL，这是一种利用 强化学习 技术来训练图书管理员的新方法。它并不依赖于静态地图或倾倒整个图书馆，而是通过两个由同一个 AI 扮演的角色之间建立一个动态的教练循环：

侦察兵（检索器/Retriever）： 这部分 AI 观察问题，并挑选出一小组相关的书架（列）供其查看。
记录员（生成器/Generator）： 这部分 AI 利用这份简短的清单来编写实际的请求（SQL 查询）。

魔法是如何发生的：“信用分配”循环
ACE-SQL 的精妙之处在于它是如何学习的。它不依赖于人类提供的“完美”地图，而是通过 试错法 进行学习：

演练（Rollout）： AI 尝试回答一个问题。侦察兵挑选一组书架，然后记录员尝试编写一个查询。
测试： 系统会在数据库中实际运行该查询。是否得到了正确答案？
奖励：
- 如果查询成功，系统会说：“做得好！侦察兵挑选的这组书架很有用。”
- 如果失败，系统会说：“再试一次。”
转折点（自适应协同优化）：
- 通常情况下，侦察兵被训练去选择“人类认可”的书架。但 ACE-SQL 改变了规则。如果记录员使用另一组书架成功找到了答案，系统就会更新侦察兵的训练。
- 类比： 想象一位教练告诉跑步者：“你必须沿着地图上的路径跑。”但如果跑步者发现了一条更快的捷径能到达终点，教练会说：“好吧，下次请尝试练习跑那条捷径。”地图（检索器）和跑步者（生成器）学会了实时相互适应。

稳定混乱
由于侦察兵和记录员在共同学习，它们有时会互相干扰（就像两个人试图同时驾驶一艘船）。论文使用了两个“稳定器”来让它们保持同步：

“投票”系统： 侦察兵不仅仅挑选一条路径；它会尝试许多条路径，并挑选出最受欢迎的一条，为记录员提供一个稳定的起点。
“渐进式交接”： 在开始阶段，侦察兵承担大部分重任。随着记录员变得越来越熟练，系统会慢慢将更多责任交给记录员，以防止在学习阶段团队分崩离析。

结果
论文在名为 BIRD 的困难基准测试上对其进行了测试，该测试模拟了现实世界中混乱的数据库。

性能： ACE-SQL 实现了 65.3% 的成功率，击败了其他顶尖方法。
效率： 它在实现这一目标时，使用的词元（tokens）比其最接近的竞争对手少了 70%。
- 类比： 当其他系统还在为了找到答案而写长篇大论的散文时，ACE-SQL 写下了一份简洁、精准的便条，并且完成得更快、更准确。

总结
ACE-SQL 是一个不再强迫 AI 遵循僵化的人类绘制地图的系统。相反，它让 AI 探索不同的路径，奖励它找到任何有效的路径，然后教导“制图者”去绘制那些“跑步者”真正懂得如何行走的路径。这创造了一个能够共同变得更聪明、更高效的团队，而不是与一份静态的说明书作斗争。

技术摘要：ACE-SQL

问题陈述

Text-to-SQL 系统在处理包含大规模且复杂模式（schema）的现代数据库时，在**模式链接（schema linking）方面面临着关键瓶颈。现有的方法通常分为两类，这两类都存在生成器约束下的监督失配（generator-conditioned supervision mismatch）**问题：

全模式生成（Full-Schema Generation）： 这些方法在端到端的 SQL 生成过程中隐式地学习模式选择。然而，这使得模式链接处于一个巨大的搜索空间内，导致其执行准确率通常低于使用金标准（gold）列的情况。
检索器-生成器流水线（Retriever-Generator Pipelines）： 这些系统使用一个在静态金标准列标注上训练的独立检索器，在生成之前显式地选择模式组件。其局限性在于，检索器被锚定在固定的“金标准”目标上。正如论文中所展示的，很大一部分（19.1% 到 42.3%）执行正确的 SQL 预测依赖于非金标准列集（alternative executable routes，即替代的可执行路径）。一个严格针对静态金标准标签进行训练的检索器会惩罚这些有效的、生成器更倾向使用的路径，从而为当前的生成器创造了一个次优的策略。

核心挑战在于模式链接与 SQL 生成是耦合的：检索器定义了生成器的输入分布，而生成器成功的输出则决定了哪些模式配置是有效的。对它们进行联合优化会引入循环依赖和梯度干扰，然而将它们解耦则会导致上述所述的监督失配。

方法论：ACE-SQL

作者提出了 ACE-SQL（通过经验信用分配实现的自适应协同优化，Adaptive Co-Optimization via Empirical Credit Assignment），这是一个强化学习（RL）框架，通过共享策略 ( $\pi_\theta$ ) 联合优化模式检索和 SQL 生成。该框架分为两个阶段运行：

1. 有监督微调（冷启动）

为了确保检索器-生成器流水线在 RL 之前具备功能性，作者使用 Qwen3-8B 模型进行了自蒸馏 SFT 阶段。

源过滤（Source Filtering）： 基于复杂度与模式多样性，从 SynSQL-2.5M 数据集中筛选样本。
配对自蒸馏（Paired Self-Distillation）： 模型通过自一致性投票生成检索器输出（列集）。这些输出定义了用于生成器的剪枝模式。仅保留那些生成器的执行结果与金标准 SQL 相匹配的配对。
混合 SFT（Mixed SFT）： 将检索器和生成器的样本共同训练，以初始化共享策略。

2. 联合 GRPO 训练（强化学习）

核心创新在于 联合组相对策略优化（Joint Group Relative Policy Optimization, GRPO） 训练，它使用基于执行反馈的自适应、在策略（on-policy）目标取代了静态金标准目标。

双向自适应（Bidirectional Adaptation）：
- 检索器 $\to$ 生成器： 检索器采样 $N$ 个列集，并通过多数投票聚合以创建剪枝后的模式 ( $\hat{S}$ )。该模式作为生成器输入的条件。
- 生成器 $\to$ 检索器： 生成器产生 $N$ 个 SQL 查询。执行成功（匹配金标准结果）的查询被用于更新一个经验列集池（Empirical Column-Set Pool）。
经验信用分配（Empirical Credit Assignment）：
- 检索器的目标不再是固定的金标准列集，而是动态更新为在执行正确的 Rollout 的经验池中观察到的最频繁出现的列集 ( $S^\star(q)$ )。
- 该池由高召回率的列集并集初始化，并使用衰减因子 ( $\gamma=0.5$ ) 进行在线更新，以便在保留成功路径的同时优先考虑新的证据。
奖励构建（Reward Construction）：
- 两个角色都接收由执行正确性（针对生成器）或与经验目标 $S^\star(q)$ 精确匹配（针对检索器）所门控的稀疏奖励。
- 应用了**截断长度惩罚（clipped length penalty）**以抑制过长的输出，但仅当输出满足稀疏奖励条件时才执行。
稳定性机制（Stabilization Mechanisms）：
- PCGrad（梯度手术）： 为了减轻检索器和生成器损失之间的梯度干扰，作者应用 PCGrad 来投影冲突的梯度。
- 生成器权重调度（Generator-Weight Schedule）： 生成器对联合损失的贡献在 RL 前 25% 的步骤中从 0 线性增加到 1。这使得经验检索器目标能够在生成器发挥完全影响之前趋于稳定。

核心贡献

在策略信用分配（On-Policy Credit Assignment）： 论文将模式检索形式化为一个在策略信用分配问题。ACE-SQL 不依赖于静态金标准标注，而是从生成器自身的执行正确 Rollout 中导出自适应检索目标。
双向自适应框架： ACE-SQL 创建了一个闭环：检索器适应生成器的可执行偏好，而生成器适应检索器演进的模式选择，两者均以执行准确性为基础。
稳定的联合优化： 作者引入了经验列集池、PCGrad 和生成器权重调度，以稳定非平稳且耦合的优化过程。
效率与性能： 与现有的基于 RL 的基线相比，该方法能以显著更少的输出 Token 实现高性能。

实验结果

在 BIRD Dev 和 Spider 基准测试中使用 Qwen3-8B 作为骨干网络进行评估：

BIRD Dev： ACE-SQL 实现了 65.3% 的贪婪执行准确率 (EX)，超越了所有列出的开源基线（例如 SQL-R1-7B 为 63.7%，MTIR-SQL-8B 为 63.6%）。
Spider： 在测试集上达到 87.2% 的 EX，在具有挑战性的 Spider-Realistic 变体上达到 79.5%。
效率： ACE-SQL 在 BIRD Dev 上每个查询仅使用 0.93k 输出 Token。尽管准确率更高，但这大约是 SQL-R1-7B (3.10k) 的 3.3 倍，也是 MTIR-SQL-8B (2.00k) 的 2.2 倍。
消融实验：
- 移除 PCGrad 或生成器权重调度会导致性能下降，证实了这些稳定器对于联合 RL 的必要性。
- 对检索器使用静态金标准目标会导致较低的性能 (64.7% vs 65.3%) 和更高的不稳定性，验证了经验信用分配的益处。
- 在这种联合设置中，稀疏奖励优于密集奖励，因为密集奖励会导致检索器主导梯度并引发奖励作弊（reward hacking）。

重要性与主张

论文声称 ACE-SQL 为构建高效且鲁棒的 Text-to-SQL 系统提供了一个实用的方向，适用于复杂的现实世界数据库。通过远离静态监督并拥抱双向自适应，该框架解决了模式检索与 SQL 生成之间的张力。

作者强调，他们的方法为多阶段 LLM 流水线中的上游-下游信用分配提供了一个全新的视角。他们认为，执行对齐的信号比静态标注更适合追踪在策略的可执行路径，这使得模型能够利用其自身学到的推理模式，而不是受限于可能并非最优的金标准标签。这项工作表明，当与生成进行协同优化时，显式的模式检索可以提高推理质量和效率，且无需依赖大量的 Token 生成。

局限性： 作者指出，实验受限于单一的 8B 模型 (Qwen3-8B) 并依赖于合成训练数据 (SynSQL-2.5M)。他们承认，扩展到更大的模型或使用真实的查询-数据库对可能会揭示不同的动态，并且从 SFT Checkpoint 进行经验池初始化可能会对基础模型的初始偏好探索不足。