🤖 AI

LLM-Based SQL Generation: Prompting, Self-Refinement, and Adaptive Weighted Majority Voting

本文提出了一种基于大语言模型的文本转 SQL 生成的新框架，该框架结合了单智能体自优化与集成投票（SSEV）流程及多智能体协作系统（ReCAPAgent-SQL），旨在无需依赖真实标签数据的情况下，有效应对现实企业数据库的复杂性，并在 Spider 和 BIRD 等基准测试中实现具有竞争力的执行准确率。

原作者： Yu-Jie Yang, Hung-Fu Chang, Po-An Chen

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yu-Jie Yang, Hung-Fu Chang, Po-An Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想向一个庞大的信息图书馆（即数据库）提问，但图书管理员只说一种非常严格、机械的语言，称为 SQL。而你使用的是自然英语。这项研究的目标就是构建一个翻译器，能够将你的英语问题转化为完美的 SQL 命令，以便图书馆能够回答你。

本文的作者杨宇杰及其同事，针对这些翻译器常常感到困惑、犯错或无法理解图书馆布局的问题，提出了两种主要系统来解决：一种是“专家团队”方法，另一种是“专业代理团队”方法。

以下是他们如何通过简单的类比来实现这一点的：

1. 问题：“一刀切”的翻译器会失败

想象一下，让一个人将一份复杂的法律文件翻译成另一种语言。他可能会遗漏细微差别、搞错名字或使用错误的语法。在数据库世界中，当单个 AI 模型试图猜测 SQL 代码时，就会发生这种情况。它常常会在“模式”（即图书馆的地图）中迷失方向，或者误解你的问题。

2. 第一个解决方案：“专家团队”（SSEV 流程）

作者创建了一个名为 SSEV（单代理自优化与集成投票）的系统。不要把它想象成一个翻译员，而应想象成五位不同专家组成的评审团围坐在一张桌子旁。

起草阶段（PreSQL）：评审团写下他们对答案的初步猜测。
地图检查（模式链接）：他们意识到自己正在查看一张巨大的图书馆地图。与其试图阅读整张地图，他们利用初步猜测来仅高亮显示相关的通道和货架。这过滤掉了无关噪音。
第二稿（PostSQL）：在缩小了地图范围后，他们写出一份更清晰、更聚焦的第二稿。
“自我修正”循环：如果草稿有拼写错误，或者在尝试运行时无法工作，他们不会直接丢弃它。他们会查看错误信息，进行修正，然后再次尝试。这就像作家编辑自己的作品，直到它合乎逻辑。
投票系统（WMA）：这是关键秘诀。他们不是简单地让每个人投一票且权重相等，而是使用加权多数算法。
- 想象一个游戏节目，评委们拥有不同程度的信任度。如果“评委 A"连续 10 次答对，他的票数权重就更大。如果“评委 B"不断犯错，他的票数权重就更小。
- 系统会根据谁在过去答对了问题，不断更新这些“信任分数”。随着时间的推移，系统学会主要听从房间里最聪明的专家的意见。

结果：在标准测试（如 Spider 1.0 和 BIRD）中，这种“专家团队”方法在约 86% 的情况下给出了正确答案，这比任何单个专家独立工作都要好得多。

3. 第二个解决方案：“专业代理团队”（ReCAPAgent-SQL）

对于更棘手的问题（例如新的 Spider 2.0 数据集，它模拟了混乱的、现实世界的企业数据库），一个简单的评审团是不够的。作者构建了 ReCAPAgent-SQL，这就像雇佣了一支专业特遣队，其中每个成员都有特定的职责。

规划者：将你的大问题分解为小的、合乎逻辑的步骤（就像项目经理）。
检索者：如果团队不知道某项具体规则，它会外出寻找额外的手册或文档（就像研究员）。
批评者：审查工作并提出意见：“等等，那个逻辑说不通，”或者“你漏掉了一步。”
模式链接器：专门处理图书馆地图，确保他们查看的是正确的表和列。
自优化器：如果代码出错，该代理会修复它。
验证者：最终的质量控制检查员，负责核查：“这个答案真的解决了用户的问题吗？”

这些代理在一个循环中相互沟通。他们规划、行动、接受批评、修正错误，然后再次尝试，直到做对为止。

结果：当他们在最困难、最贴近现实的问题（Spider 2.0-lite）上测试该系统时，他们将一个原本只有 6% 正确答案的基准系统提升到了 31%。在一个进步通常以微小分数来衡量的领域，这是一个巨大的飞跃。

4. 为什么这很重要

该论文声称，通过结合自我修正（修正自己的错误）、智能投票（倾听最佳专家的意见）和专业代理（拥有特定角色的团队），我们可以构建出比之前更能处理复杂、现实世界数据问题的系统。

他们不仅仅是猜测；他们在标准基准上测试了这些方法，并证明了：

加权投票比简单多数投票更有效，因为它能适应谁实际上擅长该任务。
自优化有助于修复当数据库返回“不，该命令错误”时发生的错误。
多代理系统对于现实公司中存在的混乱、复杂的数据库是必要的。

简而言之，他们构建了一个更聪明、更具韧性的翻译器，它能从错误中学习并倾听其最佳专家的意见，从而使普通人更容易向庞大的数据库提出复杂的问题。

技术摘要：基于大语言模型的 SQL 生成与自优化及自适应加权多数投票

1. 问题陈述

文本到 SQL（Text-to-SQL）生成旨在通过允许用户使用自然语言查询数据库，降低数据分析的门槛。尽管大语言模型（LLM）取得了进展，但由于以下原因，生成准确的 SQL 仍然具有挑战性：

歧义性：自然语言查询往往缺乏明确的意图。
模式链接：难以将自然语言标记正确映射到特定的数据库表和列，特别是在涉及隐式连接和跨表引用时。
泛化能力：在现实企业环境中，面对多样化的 SQL 方言（如 BigQuery、Snowflake）和查询风格时，性能表现不佳。
缺乏鲁棒性：现有流程通常依赖单一模型生成最终输出，缺乏自适应反馈机制、外部知识集成以及从先前执行错误中学习的策略。
复杂性：现实企业场景（例如 Spider 2.0）需要多步推理、动态环境交互以及处理长上下文约束，而传统的单轮提示方法在此类场景下往往失效（准确率通常低于 10%）。

2. 方法论

本文提出了一种两阶段方法，从单智能体流程演进为多智能体框架，两者均利用加权多数投票（WMA）和执行引导的自优化。

阶段一：基于集成投票的单智能体自优化（SSEV）

SSEV 流程构建在 PET-SQL 框架之上，在推理过程中无需真实标签数据，包含两个主要阶段：

PreSQL 生成与模式链接：
- 多个 LLM（专家）利用包含完整数据库 DDL、单元格值引用和优化规则的少样本提示，生成初步 SQL 候选（PreSQL）。
- 模式链接：解析生成的 PreSQL 字符串以提取引用的表和列。剔除无关的模式元素，为下一阶段创建聚焦的、基于模式的提示。
PostSQL 生成与优化：
- 同一组 LLM 利用精简后的模式生成优化后的 SQL 候选（PostSQL）。
- 执行引导的自优化：如果查询失败（语法错误或空结果），则进行迭代重写。模型会接收原始上下文、失败的 SQL 以及具体的错误消息作为新的提示。此循环最多持续 $N$ 次迭代。
自适应集成投票：
- 系统采用**加权多数算法（WMA）**及其随机变体（RWMA），而非简单的多数投票。
- 机制：为每位专家（LLM）分配权重（ $w_i$ ）。权重根据历史表现（正确性或执行成功）进行更新。错误的预测会导致乘法惩罚（ $1-\epsilon$ ）。
- 选择：最终 SQL 根据最高总权重（WMA）进行选择，或根据权重进行概率采样（RWMA）。这使得系统能够在推理时无需真实标签的情况下，动态地优先选择更可靠的专家。

阶段二：ReCAPAgent-SQL（优化 - 批判 - 行动 - 规划）

为了解决企业数据库（Spider 2.0）的复杂性，作者提出了一个多智能体框架，将 SSEV 的核心见解封装到专门的协作智能体中：

PlannerAgent（规划智能体）：在生成 SQL 之前，将用户查询分解为逐步推理计划（JSON 格式）。
RetrieverAgent（检索智能体）：利用检索增强生成（RAG）从向量数据库中获取外部领域知识和特定 SQL 方言语法（如 BigQuery）。
CritiqueAgent（批判智能体）：评估推理计划和生成的 SQL 的逻辑连贯性、方言合规性及与计划的一致性。若发现缺陷，则触发修订。
SchemaLinkerAgent（模式链接智能体）：当发生执行错误（例如 TableNotFound）时，动态过滤并格式化模式信息，确保提示仅包含相关上下文。
ActionAgent（行动智能体）：根据当前状态和反馈，预测下一个可执行操作（SQL 生成、Bash 命令或终止）。
SelfRefinerAgent（自优化智能体）：管理失败 SQL 查询的迭代修正循环，整合错误消息和模式上下文。
ValidatorAgent（验证智能体）：执行最终质量保证，检查结果是否符合用户意图、非空且不含冗余列。

该框架在规划 - 执行 - 批判 - 优化 - 验证循环中运行，仅在验证成功或达到最大步数限制时终止。

3. 主要贡献

SSEV 流程：一种新颖的单智能体流程，集成了 PreSQL/PostSQL 生成、执行引导的自优化以及自适应 WMA/RWMA 投票，在无需真实标签监督的情况下，在 Spider 1.0 和 BIRD 数据集上实现了强劲的性能。
ReCAPAgent-SQL：一个专为复杂现实企业场景设计的综合多智能体框架。它系统地集成了规划、外部知识检索、动态模式链接以及迭代批判/优化。
自适应投票机制：将 WMA 和 RWMA 应用于文本到 SQL 任务，证明了基于历史表现动态加权 LLM 专家的方法，显著优于静态集成方法和单模型基线。
执行引导的优化：一种轻量级的自优化循环，能够在不依赖复杂的外部错误分类模块的情况下，修正语法和执行错误。

4. 实验结果

实验在 Spider 1.0（开发集/测试集）、BIRD（开发集）以及 Spider 2.0-lite 的前 100 个查询上进行。

SSEV 性能（Spider 1.0 与 BIRD）

Spider 1.0 开发集：最佳配置（阶段 6.1：WMA + 自优化 + 模式链接）实现了 85.5% 的执行准确率，优于各个基线模型（例如 Gemini-2.5-Pro 为 84.9%）。
Spider 1.0 测试集：相同配置实现了 86.4% 的执行准确率。
BIRD 开发集：该框架实现了 66.3% 的执行准确率，接近最佳单模型的性能（Gemini-2.5-Pro 为 66.56%）。
消融研究：
- 模式链接提供了适度但一致的增益，特别是对较弱的模型。
- 执行引导的自优化在复杂的 BIRD 数据集上显示出显著改进（特定模型最高提升 +2.28%），但在 Spider 1.0 上结果不一。
- 与 RWMA 和朴素投票相比，WMA 始终表现出更低的错误率和遗憾值，有效地收敛到最强的专家。

ReCAPAgent-SQL 性能（Spider 2.0-lite）

基线对比：使用 GPT-4.1 的官方 Spider-Agent 在前 100 个查询上仅实现了 6% 的准确率。
ReCAPAgent-SQL 改进：将 ReCAPAgent-SQL 与 GPT-4.1 集成后，准确率提升至 31%（绝对增益 25%）。
Grok-3-beta：ReCAPAgent-SQL 将 Grok-3-beta 的性能从 23% 提升至 29%。
投票影响：WMA 实现了最高的总准确率（31%），而 RWMA 在“困难”查询上显示出轻微优势（12.5% 对比 8.3%），表明在整体准确率与困难实例的鲁棒性之间存在权衡。

5. 意义与主张

本文主张，其工作通过以下方式促进了可扩展的文本到 SQL 系统在实践环境中的部署：

弥合差距：从合成基准测试转向现实、对方言敏感的企业环境（Spider 2.0）。
成本与效率：通过减少对专业 SQL 知识的依赖，以更低成本和更高效率支持数据驱动的决策。
鲁棒性：证明了将执行引导的自优化与自适应集成投票（WMA）相结合，可以创建对模式歧义和执行错误具有鲁棒性的系统。
理论基础：提供了一种理论上有依据的方法（WMA），即使在推理过程中没有真实标签监督，也能以低遗憾值实现接近专家水平的性能。

作者得出结论，将优化、模式推理和自适应投票相结合，对于提升文本到 SQL 系统在复杂现实场景中的可靠性至关重要。