Trace Integrity for LLM Data Agents: A Vision for Auditable Structured Reasoning in Real-World Systems
本文提出将“追踪完整性”（Trace Integrity）作为大语言模型数据智能体的一项关键可靠性指标，认为仅凭答案准确性是不够的，因为有效的答案可能源于无效的推理轨迹，并引入了结构化执行契约和 CAIT 率，以确保输出结果均由可审计、符合模式规范且可执行的计算所支撑。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代职场中，计算机已成为强大的助手，能够阅读海量的数据库并回答复杂的问题。当业务分析师询问特定客户群体的平均收入时，计算机系统可以扫描数百万条记录并返回一个数字。多年来，判断这些系统是否有效的标准非常简单：它们给出的数字是否与正确答案一致？如果数字匹配，该系统就被视为成功。然而，这种方法存在一个盲点。计算机可能会通过错误的路径、使用错误的数据或跳过关键步骤来得到正确的数字，就像一名学生在数学考试中没有展示任何解题过程却猜中了正确答案一样。如果最终数字是正确的，过程中的错误往往会被忽视，导致用户得到一个无法信任的结果，因为他们不知道这个结果是如何产生的。
这正是来自 WAI USA 研究实验室研究人员所解决的核心问题。他们认为，对于处理现实世界数据的计算机系统而言，得到正确答案是不够的。系统还必须证明其执行了正确的步骤来得出答案。研究人员将这一要求称为“追踪完整性”（Trace Integrity）。这是一种确保计算机留下的数字足迹——即它所使用的特定过滤器、连接的表以及执行的计算——能准确反映用户实际需求的手段。如果没有这一点，系统可能会自信地报告某个地区的收入最高，而实际上，它可能误包含了试用账户，或者按错误的办公室对数据进行了分组。答案看起来是对的，但背后的推理逻辑却是破碎的。
为了测试这种隐藏的失败发生得有多频繁，研究人员利用一组包含一百个真实世界数据库问题的集合设计了一个受控实验。他们要求计算机系统使用三种不同的方法来回答这些问题。第一种方法是直接法：系统只需尝试编写获取答案的代码。第二种方法要求系统在编写代码之前先写一段简短的计划摘要。第三种方法则要求系统在被允许运行代码之前，首先创建一个详细的、结构化的“合同”，列出其打算使用的所有数据表、过滤器和数学运算。
结果揭示了“得到正确答案”与“正确完成工作”之间存在的显著差距。当系统使用直接法时，仅在 20% 的情况下得到了正确的最终数字。当系统使用摘要法时，这个数字略微上升至 22%。合同法表现最好，达到了 24% 的准确率。然而，当观察这些答案背后的工作质量时，情况发生了变化。研究人员发现，即使系统产生了正确的数字，其采取的步骤也往往是无效的。对于直接法，近 55% 的正确答案是由有缺陷或不完整的推理所支撑的。对于摘要法，这种隐藏的失败率甚至更高，接近 60%。只有合同法成功降低了这一风险，尽管其失败率仍接近 46%。
这些发现表明，系统可能会“由于偶然而正确”。研究人员发现，许多正确的答案实际上是“沉默的失败”，即计算机产生了一个看似合理的结论，但底层的计算过程并不符合用户的请求。这是危险的，因为人类在审查答案时，如果最终数字看起来正确，便没有任何理由怀疑其中存在错误。通过引入“执行合同”的概念——即在工作开始前建立一个清晰、结构化的计划记录——研究人员展示了捕捉这些错误的可能性。合同充当了一个检查点，强制系统在获准执行之前，先声明其关于要包含哪些数据以及如何计算结果的意图。
该研究得出结论，对于在金融、医疗或商业管理等领域中真正可靠的计算机系统而言，我们不能仅仅通过最终答案来评判它们。相反，我们必须评估它们得出答案所经过路径的完整性。一个能够展示其解题过程、证明其使用了正确数据，并证明其步骤与原始问题相匹配的系统，比一个仅仅提供正确数字的系统要可靠得多。研究人员建议，在未来，这些系统应当被要求留下可审计的计算记录，允许人类检查、重放并验证每一个决策背后的逻辑。这种从“检查结果”到“检查过程”的转变，对于构建人们在做出重要决策时可以信赖的工具至关重要。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。