TRUST-SQL: Tool-Integrated Multi-Turn Reinforcement Learning for Text-to-SQL over Unknown Schemas

TRUST-SQL 提出了一种基于工具集成的多轮强化学习框架，通过将任务建模为部分可观测马尔可夫决策过程并采用双轨 GRPO 策略，使智能体能够在无预加载元数据的情况下主动识别和验证未知模式，从而在 Text-to-SQL 任务中显著超越依赖全模式假设的基线模型。

要点

这篇论文介绍了一个名为 TRUST-SQL 的新系统，它解决了一个非常现实的问题：当面对一个你完全不了解的庞大数据库时，如何让 AI 像侦探一样，自己找出答案，而不是瞎猜。

为了让你轻松理解，我们可以把整个过程想象成 “在一个巨大的、没有地图的迷宫里找宝藏”。

1. 以前的做法：拿着“假地图”瞎蒙 (Full Schema Assumption)

在传统的 Text-to-SQL（把自然语言问题变成数据库查询语言）研究中，AI 就像是一个拿着完整迷宫地图的导游。

• 场景：你问 AI：“我想找去年花了一百万以上的客户。”
• AI 的做法：因为它手里有整个迷宫（数据库）的完整地图（Schema），它直接告诉你：“哦，在‘贵宾客户表’里找。”
• 问题：在现实世界的企业里，数据库可能有成百上千张表，而且经常变。把整张地图塞给 AI，就像把整个图书馆的书都塞进一个学生的脑子里，不仅记不住（超出 AI 的记忆容量），还会被无关信息干扰，导致它产生幻觉（Hallucination），比如编造一个根本不存在的“贵宾客户表”，结果查出来全是错的。

2. TRUST-SQL 的做法：派一个“主动侦探” (Unknown Schema)

TRUST-SQL 改变了规则。它不再给 AI 地图，而是告诉 AI：“你面前是一个黑盒迷宫，你需要自己进去探索，找到正确的路。”

• 核心角色：AI 变成了一个主动的侦探。
• 工作流程（四步走）：
  1. 探索 (Explore)：侦探拿着手电筒，先问：“这里有哪些房间（表）？”（查询元数据）。
  2. 提议 (Propose)：这是最关键的一步！侦探在继续行动前，必须停下来，向老板汇报：“我确认了，我们要找的数据在‘客户订单表’里，而不是‘贵宾表’。” 这一步强制 AI 在生成最终答案前，先确认事实，防止瞎编。
  3. 生成 (Generate)：确认了房间后，侦探开始写具体的寻宝路线（生成 SQL 代码）。
  4. 确认 (Confirm)：最后提交答案。

3. 核心黑科技：双轨训练法 (Dual-Track GRPO)

这就好比训练一个侦探，如果只奖励他“最后找到了宝藏”，他可能会为了运气好而乱跑。TRUST-SQL 发明了一种双轨奖励机制：

• 轨道 A（探索轨）：专门奖励侦探“找对了房间”。如果他在“提议”阶段确认了正确的表，就给分。
• 轨道 B（生成轨）：专门奖励侦探“写对了路线”。如果最后生成的 SQL 能查出正确结果，就给分。
• 好处：以前，如果侦探最后没找到宝藏，我们不知道是因为他找错了房间，还是因为路线写错了。现在，我们可以把这两个环节分开奖励，让 AI 既学会“怎么找”，也学会“怎么查”。

4. 实验结果：不用地图也能跑赢拿地图的

论文做了很多测试，结果非常惊人：

• 不用预加载地图：TRUST-SQL 完全不需要提前知道数据库里有什么表。
• 表现更好：在五个不同的测试标准中，它的表现比那些“拿着完整地图”的旧模型还要好。
• 更抗造：当数据库变得复杂、模糊或者充满干扰项时，TRUST-SQL 这种“主动探索”的能力让它比那些依赖死记硬背的模型更可靠。

总结

TRUST-SQL 就像是把 AI 从一个只会背地图的导游，升级成了一个懂得主动调查、先核实再行动的资深侦探。

它告诉我们：在面对复杂、未知且充满噪音的现实世界时，“主动探索并验证” 比 “被动接收所有信息” 更聪明、更准确，也更不容易犯糊涂。这对于未来 AI 处理企业级真实数据库具有非常重要的意义。

技术摘要

1. 研究背景与问题定义 (Problem)

核心痛点：全模式假设 (Full Schema Assumption) 的失效
现有的 Text-to-SQL 方法大多基于“全模式假设”，即在输入上下文中预先加载完整的数据库模式（Schema）。这在标准基准测试中表现良好，但在真实的企业环境中存在严重缺陷：

• 规模与噪声：企业数据库通常包含数百张表，元数据庞大且充满噪声。
• 上下文限制：将完整模式注入有限的上下文窗口是不切实际的，且无关或过时的表会严重干扰模型。
• 动态性：数据库模式经常发生增删改，预加载的模式容易过时。

新设定：未知模式 (Unknown Schema)
本文提出了 Unknown Schema 设定。在此设定下，智能体（Agent）无法预先获知数据库结构，必须主动探索数据库，通过工具调用识别并验证相关的元数据子集，从而生成正确的 SQL。

现有方法的局限性

• 单轮交互：缺乏交互能力，无法在不可观测环境中进行探索。
• 幻觉问题：模型倾向于基于参数先验“编造”不存在的表或列。
• 信用分配 (Credit Assignment) 困难：在多轮交互中，难以区分最终的执行错误是源于“模式探索错误”还是"SQL 生成逻辑错误”，导致强化学习训练信号模糊。

---

2. 方法论 (Methodology)

TRUST-SQL 是一个自主框架，将任务形式化为部分可观测马尔可夫决策过程 (POMDP)，包含两个核心创新：

2.1 四阶段交互协议 (Four-Phase Interaction Protocol)

为了在不可观测环境中防止幻觉并结构化推理，Agent 被强制遵循以下四个阶段：

1. Explore (探索)：查询数据库元数据（表名、列名等）。
2. Propose (提议)：关键认知检查点。Agent 必须在此阶段提交一份经过验证的模式（Schema），承诺后续生成将基于此验证过的模式。这有效阻止了后续生成中的幻觉。
3. Generate (生成)：基于验证后的模式生成候选 SQL。
4. Confirm (确认)：提交最终 SQL 并执行验证。

该协议允许非线性的状态转换（例如在生成失败后返回探索或提议阶段），形成迭代优化的闭环。

2.2 双轨 GRPO 策略 (Dual-Track GRPO)

为了解决多轮强化学习中的信用分配难题，作者提出了 Dual-Track GRPO（基于 Group Relative Policy Optimization 的改进）。

• 核心思想：利用"Propose"阶段作为结构边界，将训练轨迹拆分为两个独立的优化轨道：
  1. Schema Track (模式轨道)：仅关注从开始到 Propose 阶段的探索质量。
  2. Full Track (全轨道)：关注整个交互过程（包括 SQL 生成和执行结果）。
• 奖励设计：
  • Schema Reward：评估提议的模式与真实最小模式的重合度。
  • Execution Reward：评估最终 SQL 的执行结果。
  • Format Reward：确保遵循四阶段协议。
• 掩码优势 (Masked Advantages)：在计算优势函数（Advantage）时，应用Token 级掩码。
  • Schema Track 的优势仅作用于探索阶段的 Token，不奖励生成阶段的 Token。
  • Full Track 的优势作用于整个轨迹。
  • 效果：彻底解耦了“模式探索”和"SQL 生成”的学习信号，确保模型不会因为最终 SQL 错误而惩罚正确的探索行为，反之亦然。

---

3. 主要贡献 (Key Contributions)

1. TRUST-SQL 框架：首个直接在不可观测数据库中交互、检索并验证元数据的自主框架，实现了从“无约束探索”到“基于验证的 SQL 生成”的闭环，无需静态上下文注入。
2. Dual-Track GRPO 训练策略：提出了一种新颖的强化学习策略，利用 Token 级掩码优势和执行耦合的模式奖励，解决了长轨迹中的信用分配问题。在 BIRD-Dev 上，相比标准 GRPO 提升了 9.9% 的执行准确率。
3. 显著的性能提升：在五个基准测试中，TRUST-SQL 在 4B 和 8B 参数量的模型上分别实现了 30.6% 和 16.6% 的平均绝对提升。
4. 范式验证：证明了在完全无预加载元数据的情况下，主动探索策略可以匹配甚至超越依赖模式预填充（Schema Prefilling）的强基线模型。

---

4. 实验结果 (Results)

实验设置

• 基座模型：Qwen3-4B 和 Qwen3-8B。
• 训练数据：仅需 9.2k SFT 样本和 11.6k RL 样本（数据效率极高）。
• 基准测试：BIRD-Dev, Spider-Test, Spider-DK, Spider-Syn, Spider-Realistic。

关键发现

• 性能超越：
  • TRUST-SQL-4B 在 BIRD-Dev 上达到 64.9% (Greedy)，超越了依赖全模式预填充的 MTIR-SQL-4B (63.1%)。
  • TRUST-SQL-8B 在 BIRD-Dev 上达到 65.8%，并在鲁棒性测试（Spider-Syn, Spider-Realistic）中全面领先。
• 无需预填充：
  • 基座模型（如 Qwen3-4B）在没有预加载模式时性能崩溃（BIRD 准确率从 46.3% 跌至 29.3%），证明其缺乏自主探索能力。
  • TRUST-SQL 在无预加载模式下表现优异，且注入完整模式反而会导致性能轻微下降（因为冗余信息干扰了主动探索策略）。
• 消融实验：
  • 四阶段协议：引入"Propose"检查点后，幻觉错误率降低了 9.4 倍。
  • 双轨策略：相比简单混合奖励，Dual-Track GRPO 带来了显著的性能增益。
  • 冷启动 SFT：SFT 热身阶段对于教会模型结构化探索行为至关重要，直接进行 RL 会导致模型通过“穷举查询”来作弊奖励。

---

5. 意义与影响 (Significance)

1. 重新定义 Text-to-SQL 范式：本文挑战了长期存在的“全模式假设”，提出并验证了未知模式 (Unknown Schema) 是更贴近真实企业场景的设定。
2. 解决幻觉与信用分配：通过结构化的四阶段协议和双轨强化学习，有效解决了 LLM 在复杂数据库探索中的幻觉问题，并解决了多轮决策中难以归因的信用分配难题。
3. 高效与鲁棒：TRUST-SQL 证明了通过主动探索获取必要元数据，比被动接收海量噪声数据更高效、更鲁棒。即使在资源受限（小模型）和复杂环境（噪声、多义性）下，也能表现出强大的泛化能力。
4. 实际应用价值：为在缺乏完整文档、模式频繁变更的大型企业数据库中部署 AI 助手提供了可行的技术路径。

总结：TRUST-SQL 通过“主动探索 + 结构化验证 + 双轨强化学习”的组合，成功将 Text-to-SQL 从静态翻译任务转变为动态的决策任务，显著提升了模型在真实、复杂、未知数据库环境下的表现。