Business Truth, not SQL Accuracy: A Rule-Gated 7B Analytics Agent Outperforms a Direct-Prompted 32B Baseline

侦探 vs. 计算器：为什么“正确”比“快速”更重要

想象你置身于一个巨大的、混乱的图书馆，数百万本书籍正在不断地被重写、移动或丢弃。你问一位图书管理员：“上周二卖出了多少本红色的书？”传统的计算机程序就像一个超快速的计算器：它立即开始搜索，提取出一个数字并大声报给你。如果数学计算是完美的，计算机会感到自豪。但如果对你来说“红色”意味着“深红”，而对图书管理员来说意味着“绯红”呢？或者如果那些红色的书在上周已经被移到了另一栋建筑，导致这个问题根本无法回答呢？计算器仍然会给你一个数字，但那个数字是错误的，而且没人会知道，直到为时已晚。

这就是 LLM 分析智能体（LLM analytics agents） 的世界。这些 AI 系统旨在与数据库（即图书馆）对话并回答业务问题。长期以来，科学家们衡量其成功与否的标准是检查 AI 是否写出了正确的“代码”（SQL）来向图书馆提问。这就像是在评价一名学生时，只看他是否使用了正确的语法，却忽略了他是否真的理解了故事内容。但在现实世界中，一个导致错误结果的“完美”句子是一场灾难。这就像是一个 GPS 导航，给了你前往一栋去年已经烧毁的房屋的完美路线。真正的挑战不仅仅是编写代码，而是知道何时不该回答，何时该要求澄清，以及何时该说：“我无法处理这个问题。”这篇论文深入探讨了这个混乱的现实世界问题，提出了疑问：拥有一个会自信猜测的庞大、昂贵的“大脑”，还是拥有一个会反复检查一切的较小、遵循规则的“侦探”，哪一个更好？

QueryProof 的故事：循规蹈矩的侦探

在这项研究中，研究员 Morris Lee 构建了一种新型 AI 智能体，称为 QueryProof。其目标是测试一个大胆的想法：也许我们不需要一个拥有 320 亿参数的庞大“大脑”来变得聪明。也许我们只需要一个拥有 70 亿参数的较小大脑，并强制它遵循严格的规则并检查自己的工作。

为了测试这一点，研究人员创建了一个特殊的游乐场，名为 WarehouseReliabilityBench。想象两个虚构的图书馆（一个针对在线商店，一个针对软件公司），里面充满了棘手的陷阱。在 400 个问题中，大约有一半的问题被设计成无法通过简单的数字来正确回答。有些问题具有歧义（比如询问“收入”却没说明是指“毛收入”还是“净收入”），有些询问了不存在的数据，还有些试图诱导 AI 违反规则。在这些情况下，正确的答案不是一个数字，而是礼貌的拒绝、请求更多细节，或者一句“我无法处理该请求”。

实验对比了三个主要角色：

1. 巨型大脑 (32B)： 一个被直接提示去回答所有问题的庞大模型。它没有安全网，没有规则，也没有人检查它的工作。
2. 循规蹈矩的侦探 (QueryProof)： 一个较小的 7B 模型，但它被包裹在一个“确定性状态机”中。你可以把它想象成一个严格的监督员，强迫 AI 在说话前先查阅规则手册。如果问题有歧义，监督员会说：“停！请要求澄清。”如果数据缺失，监督员会说：“停！拒绝回答。”只有通过这些检查，AI 才有权发言。
3. 成本匹配的基准模型 (The Cost-Matched Baseline)： 一个带有一些额外示例（few-shot）的小型模型，用以观察仅仅提供更多提示是否会有所帮助。

大揭秘：规则胜过原始力量

结果令人惊讶且非常明确。巨型大脑虽然充满自信，但经常出错。它试图回答每一个问题，甚至是那些无法回答的问题，并最终在大多数问题上给出了错误的业务数字。它的“错误成功率”（False Success Rate，即错误答案与所有返回答案的比率）达到了惊人的 0.754。它就像一个在每道题上都猜答案的学生，虽然在“尝试”方面得分很高，但实际上考试不及格。

QueryProof，这个带着规则手册的小型侦探，完全超越了那个巨型大脑。

• 准确度： QueryProof 实现了 0.537 的业务真实率 (Business Truth Rate)（这意味着它在 53.7% 的情况下给出了正确的答案或正确的行为），而巨型大脑仅达到了 0.300。
• 安全性： 当 QueryProof 确实 返回答案时，它的错误率比巨型大脑要低。具体而言，QueryProof 返回的答案中有 35.1% 是错误的，而巨型大脑返回的答案中有 75.4% 是错误的。至关重要的是，在那些可以回答的具体问题上，巨型大脑返回了 零个 未被察觉的错误数字，而 QueryProof 则对需要澄清或拒绝的问题返回了 13 个答案。关键的胜利在于，QueryProof 阻止了那种“在没有任何警告的情况下返回错误数字”的“沉默失败”，确保在可回答的任务中从未返回错误的业务数字。
• 成本： 这是最关键的一点。QueryProof 在每个正确答案上的成本比巨型大脑便宜了 71.0%。它不需要一个庞大的模型来保证可靠性；它需要的是一套完善的检查机制。

论文发现，“魔力”并不在于 AI 的大脑规模，而在于那个确定性层 (deterministic layer)——即在 AI 发言之前，将问题与数据库实际结构进行比对的刚性规则。这一层就像是俱乐部的保镖，在坏问题造成麻烦之前就将其拦截。

哪些方法失效了（以及为什么这很重要）

研究人员还尝试为 QueryProof 添加了一些“智能”功能，希望使其变得更好，但这些尝试都失败了。

• 置信度模型 (The Confidence Model)： 他们尝试教 AI 如何“感知”自己的信心程度，并跳过那些它不确定的问题。但这并没有奏效。在测试中，AI 学到的置信度实际上比简单的手工规则还要差。这就像是一个认为自己知道答案其实是在瞎猜的学生，而简单的规则只是在诚实地表达。
• 路由系统 (The Routing System)： 他们尝试了一个会将难题发送给更大模型的系统。这在测试集上适得其反，导致 AI 拒绝了太多它本可以回答的问题。

论文非常谨慎地指出，这些失败是真实的。这些“智能”部分无法从实践推广到实际测试中。唯一奏效的是那种枯燥、僵化的基于规则的检查。

疑虑：我们有多确定？

研究人员坦诚地说明了其研究的局限性。

• 游乐场： 这些图书馆是合成的（虚构的），由单个种子构建而成。虽然这使得测试公平且可复现，但我们并不确定这在数据混乱、有着数十年糟糕数据的真实公司环境中是否依然有效。
• “泄露”问题： 研究人员承认，在设置过程中，他们无意中发现了一些与测试问题相匹配的具体短语。他们在最终测试前删除了这些短语，但他们也承认，由于在构建规则时已知晓这些问题，因此测试并非完全“干净”。他们将结果视为一种带有已知缺陷的“冻结评估”，而非完美的证明。
• 统计数据： 当他们使用“问题族”而非单个问题重新进行数学计算时，置信区间变宽了。这意味着结果的方向（规则 > 原始力量）很可能是正确的，但获胜的具体幅度可能会有些模糊。

核心启示

这里的主要教训是，对于业务分析而言，可靠性来自于结构，而非仅仅是规模。 一个较小的 AI，如果被包裹在一个严格的规则系统中，并在回答之前检查数据和问题，那么它会比一个只会盲目猜测的庞大 AI 更准确、更安全、也更便宜。

论文建议，如果你想要一个不会对你的老板撒谎的 AI，你不应该只是购买一个更大的模型。你应该构建一个更好的“规则手册”和一个用于检查工作的“保镖”。那些“智能”的学习部分（如置信度评分）可能看起来很不错，但在这种特定情况下，它们并没有提供帮助。真正的英雄是那个枯燥的、确定性的检查过程，它在回答之前会说：“等等，让我们先确认一下这个问题是否合理。”