LEDGER: Deterministic Checks and Auditable Evaluation for Business AI Systems
本文介绍了 LEDGER，这是一个评估平台，它使企业能够利用专有数据为其业务 AI 系统创建确定性的、可审计的且具备成本意识的测试，并展示了自托管开源权重模型如何能以仅为替代性专有模型一小部分成本的价格，实现前沿水平的准确度。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代职场中，公司正日益依赖人工智能来回答有关其内部数据的问题。一位工程经理可能会询问上周审查了多少次代码变更，或者一位财务分析师可能会请求解决特定类型错误的平均耗时。这些系统并非仅仅是在真空状态下思考的单一计算机程序；它们是复杂的组合体，其中语言模型连接到公司的私有数据库，受限于关于其可以和不可以揭示什么的严格规则，并由决定使用哪些工具的软件进行管理。任何企业面临的挑战在于，这些系统是脆弱的。模型、规则或软件与数据库通信方式的微小变化，都可能突然导致答案出错。虽然存在用于对不同人工智能模型在通用任务上的智能程度进行排名的高级公开测试，但这些分数并不能预测一个特定公司的系统在处理其独特数据和规则时的表现如何。公司需要一种方法，在每一次变更后都能反复测试其系统，以确保答案保持正确，并确保获取这些答案的成本保持在可控范围内。
Interval 公司的一组研究人员开发了一种名为 LEDGER 的新方法来解决这个问题，该公司致力于构建商业智能工具。LEDGER 并不依赖公开评分，而是将公司自己的数据、问题和规则转化为一种可重复、严谨的测试。该系统通过创建特定的场景来运作：提出一个问题，预先定义一个特定的正确答案，并准备一套证据来证明该答案是否正确。这些证据可能是一个数据库查询的冻结快照、一条特定的政策规则，或是一次软件仪表板中的记录变更。当人工智能系统尝试回答问题时，LEDGER 平台会检查结果。如果答案是一个简单的数字或明确的事实，则由确定性检查（即遵循严格逻辑而非进行猜测的计算机程序）立即进行评分。如果答案是用计算机难以轻松解析的复杂散文编写的，则由另一个人工智能裁判进行审查，但前提是必须先通过确定性检查确认证据支持该主张。每一个分数都与产生该分数的特定证据挂钩，从而创建一个清晰、可审计的追踪过程，展示为什么一个答案被标记为正确或错误。
研究人员利用该平台构建并测试了一个由 DeepSeek V4 Flash 提供支持的商业智能助手，这是一款由该公司在其私有服务器上托管的强大开源模型。他们将这个定制构建的系统与另外七个领先的模型进行了对比，其中包括来自主要技术公司的五个专有系统和另一个开源模型。这次对比非常严格：每个系统都被赋予了完全相同的工具、完全相同的数据以及完全相同的一组问题。结果显示，当开源模型被包裹在公司的特定工具和规则中时，其表现与最先进的专有模型不相上下。在一个包含 97 个精心挑选场景的测试集中，该定制系统回答正确了 96 个，而其他顶级模型回答正确了 94 到 97 个。这证明了围绕模型的工具和规则“外壳”与模型本身一样重要。如果没有这些特定的工具和定义，该开源模型的表现会略逊一筹，但有了它们，它就能达到与最昂贵的尖端系统相同的准确度水平。
然而，最重要的发现在于成本。虽然各系统的准确度相近，但获得正确答案的价格却差异巨大。研究人员计算了每个系统获得正确答案的成本。通过昂贵的云服务访问的专有模型，其每个正确答案的成本比 Interval 使用的自托管开源模型高出 6 到 77 倍。即使研究人员采用了专有模型中最便宜的可选定价层，其成本仍显著高于公司自己的私有设置。这表明，对于有特定数据需求的企业而言，选择模型不在于寻找单个“最聪明”的大脑，而在于寻找准确性、控制力和成本之间的正确平衡。该研究认为，通过使用像 LEDGER 这样严谨、可审计的测试系统，只要公司投入正确的工具和规则来引导，就可以充满信心地选择更便宜的自托管模型，而不必牺牲性能。
研究人员谨慎地指出，他们的结果针对的是他们自己的工作负载以及他们构建测试的具体方式。他们并未声称这种开源模型在所有情况下都普遍优于其他模型，也没有暗示成本节约在每家公司都会完全相同。该研究衡量了在特定业务问题集上的表现，并发现对于这类工作，围绕较便宜模型构建的良好设计的系统可以达到最昂贵选项的结果。核心结论是，在商业应用中，准确性不仅仅是人工智能模型本身的属性，而是围绕它构建的整个系统的属性。通过使测试过程透明且可重复，公司可以做出明智的工程决策，从盲目支付最高昂模型的费用，转向构建既准确又具备经济可持续性的系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。