💬 NLP

Residual Skill Optimization for Text-to-SQL Ensembles

本文介绍了 DivSkill-SQL，这是一种残差技能优化框架，它通过在先前失败案例上迭代训练新技能来构建互补的 Text-to-SQL 集成，而无需对模型进行微调，从而在多种 SQL 方言和任务中显著提高了 Pass@K 准确率并减少了幻觉现象。

原作者： Jiongli Zhu, Haoquan Guan, Parjanya Prajakta Prashant, Nikki Lijing Kuang, Seyedeh Baharan Khatami, Canwen Xu, Xiaodong Yu, Yingyu Lin, Zhewei Yao, Yuxiong He, Babak Salimi

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiongli Zhu, Haoquan Guan, Parjanya Prajakta Prashant, Nikki Lijing Kuang, Seyedeh Baharan Khatami, Canwen Xu, Xiaodong Yu, Yingyu Lin, Zhewei Yao, Yuxiong He, Babak Salimi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试解决一个非常棘手的谜题，比如将一个复杂的人类问题翻译成一种特定的计算机语言——SQL。你拥有一个超级智能的 AI 助手（大型语言模型），它可以尝试解决这个问题。

通常情况下，如果你只向这个 AI 询问一次，它可能会答对，也可能会答错。为了提高成功率，许多系统会采用“散弹枪式方法”：让 AI 同时生成八个不同的答案，然后从中挑选最好的一个。这被称为集成方法。

然而，这篇论文指出，当前的“散弹枪式方法”存在一个重大缺陷。这就像让同一个人写八篇关于同一主题的文章，仅仅通过告诉他们“写得更快”或“改变心情”来实现。他们很可能会写出八篇非常相似的文章；如果他们在第一篇文章中犯了错误，那么在其他七篇中也很可能会犯同样的错误。他们都在以相同的方式失败。

解决方案：“专家团队”（DIVSKILL-SQL）

这篇论文的作者 DIVSKILL-SQL 提出了一种更聪明的方法来组建 AI 助手团队。他们不是简单地要求随机变化，而是训练一个由八位截然不同的专家组成的团队，每位专家都拥有独特的“技能组合”或个性。

以下是他们如何做到的，使用一个简单的类比：

1. “残差”训练法（从失败中学习）

想象你是一位正在训练足球队的教练。

旧方法：你让所有八名球员练习同一个训练项目。如果他们一直射偏球门，你只是告诉他们要更努力或跑得更快。结果他们总是在完全相同的位置射偏。
DIVSKILL-SQL 方法：你观察比赛。你看到球员 A 总是射偏，因为他太具有攻击性。因此，你不仅仅是让球员 A 再试一次，而是专门为球员 A 设计了一个新的、具体的训练项目，以解决那个特定的弱点。
然后，你查看剩余的问题。也许球员 B 擅长射门但传球很差。你专门为球员 B 设计一个新的训练项目来改进传球。

在论文中，这被称为残差技能优化。系统会审视当前团队未能解决的问题，然后“优化”出一项新技能，专门用于解决这些剩余的难题。它并不是试图让每个球员在所有方面都完美，而是试图让每个球员在弥补其他人留下的特定短板方面做到完美。

2. “技能卡”（无需重头再来）

论文强调，他们不需要重新训练整个 AI 大脑（这既昂贵又缓慢）。相反，他们只需更改提供给 AI 的指令卡（提示词）。

一张卡片可能写着：“做一个谨慎的探索者。先检查数据，再编写代码。”
另一张卡片可能写着：“做一个快速的编码者。立即编写代码，运行它，并在出现错误时进行修复。”
第三张可能写着：“在构建整体画面之前，先将问题分解成微小的部分。”

通过为八次尝试中的每一次赋予 AI 不同的“个性卡片”，他们确保了这八个答案彼此之间真正不同。如果一种方法失败了，其他方法很可能会成功，因为它们是以不同的方式思考这个问题的。

3. “锦标赛”（选出优胜者）

一旦由八位专家组成的团队生成了他们的八个答案，系统就需要选出优胜者。

他们不是简单地猜测或选择第一个答案，而是采用成对锦标赛。
想象一场拳击比赛：答案 A 对阵答案 B。AI 裁判选出胜者。然后，胜者再对阵答案 C。
获得最多“胜利”的那个答案将成为最终答案。这比随机选择一个答案更可靠。

他们发现了什么？

作者在现实世界的数据库问题上测试了这种方法（使用了 Spider2-Lite 和 BIRD-Critic 等基准测试）。以下是关键要点：

更高的准确率：他们的“专家团队”解决的难题数量显著多于现有的最佳方法。在某些困难的数据库上，他们将准确率提高了 11 个百分点以上。
更少的幻觉：由于技能专注于解决特定类型的错误，AI 减少了“胡乱猜测”（例如编造不存在的虚假数据库表）。
真正的多样性：论文表明，这八个答案不仅仅是同一句话的略微不同版本。它们是通过完全不同的推理路径生成的（例如，一个先检查数据，另一个立即编写代码）。这意味着它们覆盖了更广泛的领域。
可迁移的技能：有趣的是，在一个类型的数据库（Snowflake）上训练的团队，在完全不同的数据库（BigQuery、SQLite）上表现同样出色，无需重新训练。这些“技能”（如“将问题分解”）在任何地方都很有用。

总结

这篇论文介绍了一种方法，使 AI 团队变得更聪明，不是通过让它们变得更大，而是通过让它们更多样化。他们不是让 AI 连续猜测八次，而是教会 AI 八种不同的思考方式，确保如果一种方法失败，另一种方法很可能会成功。这之间的区别在于：是让一个人尝试八次，还是让八位拥有独特优势的专家共同解决问题。

技术摘要：面向 Text-to-SQL 集成系统的残差技能优化

问题陈述

Text-to-SQL 系统旨在将自然语言问题转换为可执行的 SQL 查询。尽管大语言模型（LLM）在标准基准测试中表现良好，但在涉及大型模式、特定方言语法以及多步逻辑的真实场景中，挑战依然严峻。当前的代理系统通过迭代检查模式并修复错误，仍无法可靠地解决每一个查询。

为解决这一问题，Text-to-SQL 集成系统生成多个 SQL 候选项（ $K$ ）并选择最佳的一个。然而，任何集成系统的有效性根本上受限于Pass@K——即 $K$ 个候选项中至少有一个正确的概率。现有方法试图通过随机解码（高温采样）或手工设计的提示变体来增加多样性。作者认为这些方法是不够的，因为它们往往产生具有相关性失败的候选项。在代理系统中，早期的规划随机性会沿着长推理轨迹传播，导致同一错误路径的嘈杂变体，而非真正互补的解决方案。因此，Pass@K 趋于饱和，额外的候选项带来的收益递减。

方法论：DIVSKILL-SQL

本文提出了DIVSKILL-SQL，这是一个无需模型微调即可构建互补性代理 Text-to-SQL 集成系统的框架。它不依赖运气或启发式规则来获取多样性，而是利用残差技能优化（Residual Skill Optimization），将候选项的互补性作为显式的优化目标。

核心概念：技能与残差

技能：“技能”被定义为一个高级指令文件（系统提示），用于控制代理的分解风格、模式探索策略、起草策略以及修复逻辑。
残差优化：该框架基于一个原则，即新技能不必在整体上优于其前身，而应专门解决当前集成系统遗漏的特定示例。
- 设 $D_{train}$ 为训练集。
- 在选定技能 $s_1, \dots, s_{j-1}$ 后，残差集 $R_{j-1}$ 被定义为当前集成系统失败的示例子集。
- 下一个技能 $s_j$ 被优化以专门最大化在 $R_{j-1}$ 上的成功率。
- 该过程贪婪地针对新技能对整体 Pass@K 的边际贡献。

算法流程

种子池初始化：过程始于一个包含 $K$ 个人工策划的种子技能的多样化池（例如 decompose、direct_coder、explore_heavy、adversarial_checker），每个技能编码一种独特的推理策略。
迭代优化：
- 算法以批次方式运行。对于池中的每个技能，它识别当前的残差失败（即集成系统尚未解决的示例）。
- 利用反思性提示优化（具体为 GEPA 技术），LLM 分析失败轨迹（模式检查、执行错误），并提出一个经过优化的提示以解决这些特定失败。
- 仅当优化后的提示在残差集上提高了恢复能力时，该优化才被接受。
- 残差集随后被更新，移除由优化后的技能新解决的示例。
推理：在测试时， $K$ 个学习到的技能条件代理并行运行。候选项通过执行输出进行去重，最终 SQL 通过 LLM 裁判进行成对比较选择，这比直接的 1-of-K 选择更可靠。

主要贡献

形式化：作者将 Text-to-SQL 集成构建为代理技能上的残差 Pass@K 优化问题，旨在学习能够覆盖不同失败模式的互补行为。
框架：他们提出了DIVSKILL-SQL，一种无需模型微调或高温采样即可提高候选集覆盖率的方法，使其适用于开源和闭源 LLM。
理论保证：本文提供了一项证明（命题 A.1），表明在群体目标下，贪婪的残差优化策略利用 Pass@K 目标的次模性，至少能达到最优 $K$ 技能集成系统的 $(1 - 1/e)$ 近似值。
实证验证：跨多个基准测试和 SQL 方言的广泛评估表明，在未解决的示例上直接优化技能，能够直接针对 Pass@K 的边际贡献。

实验结果

该框架在 Spider2-Lite（涵盖 SQLite、Snowflake 和 BigQuery）和 BIRD-Critic（PostgreSQL 调试）上进行了评估，使用 Opus-4.6 和 GPT-5.4 作为基础模型。

性能提升：
- 在 Spider2-Lite (Snowflake) 上，DIVSKILL-SQL 将选中准确率提高了 +11.1 个百分点，超越了最强的基线（CHASE-SQL）。
- 在 Spider2-Lite (BigQuery) 上，提升了 +8.3 个百分点。
- 在 BIRD-Critic 上，选中准确率提高了 +2.6 个百分点，证明了其向调试风格任务形式的迁移能力。
可迁移性：在单一方言（Snowflake）上优化的技能无需重新训练即可有效迁移至 BigQuery 和 SQLite，表明所学策略捕捉到了高层的问题解决逻辑，而非特定方言的语法。
错误减少：错误诊断显示，与基线相比，幻觉模式引用和不受支持函数调用的数量减少了高达 3 倍。
行为多样性：轨迹分析表明，DIVSKILL-SQL 将代理行为的冗余度降低了 19%–28%。与产生相关性失败的重复采样不同，所学技能诱发了真正不同的推理路径（例如，独特的模式检查和分解模式）。
效率：为了达到与 DIVSKILL-SQL 的 8 个候选项相同的 Pass@K 覆盖率，基线方法需要额外进行 3 到 8 次尝试，突显了残差方法的成本效益。

意义与主张

本文主张，DIVSKILL-SQL 代表了从依赖随机多样性向结构化、互补性多样性的转变。通过显式优化以往代理遗漏的“残差”案例，该系统构建了一个整体大于部分之和的集成系统。

作者强调，他们的收益源于真正可靠的互补技能，而非表面层面的变化。这种方法解决了代理系统的脆弱性，即早期随机性导致推理不稳定的问题。此外，该方法跨方言和任务类型（从生成到调试）的迁移能力表明，优化后的技能编码了与关系数据库交互的鲁棒且可泛化的策略。该框架提供了一条无需微调多个模型的计算成本即可提高 Text-to-SQL 可靠性的实用路径。