Development of an Agentic Retrieval-Augmented Generation System with Hybrid Retrieval for Budget Planning and Validation
本研究提出了一种用于中小企业预算规划的具有混合检索能力的代理式检索增强生成系统，并通过对比评估证明，基于路由的代理式工作流在检索质量与基于证据验证的事实一致性之间提供了最佳平衡。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在组织管理那寂静且往往枯燥乏味的世界里，预算不仅仅是一份简单的数字清单；它是一个组织意图去做什么的承诺，也是其实际支出情况的记录。对于中小企业而言，履行这一承诺需要一个严谨的过程，即根据官方规则、过去的支出习惯以及市场现实来核查每一项拟定成本。这项被称为“预算验证”的任务之所以异常困难，是因为所需的信息是分散的。管理者可能需要交叉比对关于特定项目价格的正式政府法规、一份历史项目成本的电子表格，以及一份解释为何某项支出合理的叙述性备忘录。这些文件以不同的形式存在：有些是僵化的数字表格，而有些则是充满例外和条件的流式文本。当人类试图在这些数据的迷宫中搜寻证据以证明预算的合理性时，过程缓慢、易出错，并且经常留下证据缺口。
为了解决这个问题，研究人员转向了一种被称为“检索增强生成”（Retrieval-Augmented Generation）的人工智能技术。想象一下这样一个系统：它不仅仅是根据其训练内容来猜测答案，而是先去从一个文档库中寻找它所需的特定事实，然后再进行表达。然而，标准的这类技术在处理财务数据时表现不佳，因为它们将数字和文本视为同类事物，往往会忽略会计工作所需的精确数值。为了弥补这一差距，一支来自印度尼西亚和马来西亚的研究团队开发了一个专门的系统，旨在同时处理预算规划中的硬性数字和软性语境。他们构建了一个工具，既能从数据库中查找确切的成本数字，又能通过阅读叙述性指南来理解这些数字背后的规则。
研究人员尝试了三种不同的组织这种智能系统的方法，将这个计算机程序视为一个团队而非单个大脑。第一种方法使用了一个单体智能体（single agent），即一个负责寻找所有信息并撰写答案的孤胆工作者。第二种方法引入了一个路由程序（router），即一个交通控制器，它首先倾听用户的提问，以决定这是一个什么类型的问题——是关于规则的简单问题，是检查特定预算的请求，还是需要提供建议的需求。基于该决策，路由程序会将任务发送到特定的路径，以便使用专门的工具。第三种方法最为复杂，它使用了一个编排器（orchestrator）将单个问题分解为较小的部分，分配不同的工作者去寻找不同的证据片段，最后由一名最终的工作者将所有这些片段缝合在一起，形成一个完整的答案。
团队使用三十个模拟现实世界预算任务的情景测试了这三种方法。他们衡量了每个系统寻找正确信息的能力、遵循该信息的忠实程度（即是否凭空捏造），以及给出答案所需的时间。结果显示，单体工作者速度最快，完成一项任务约需二十七秒，但在寻找必要证据方面不够彻底。最复杂的协作团队耗时最长，超过八十六秒，虽然它找到了良好的信息，但协调所花费的额外时间并不总能带来更好的最终答案。中间的路径，即带有交通控制器的路径，被证明是最有效的。它响应时间约为七十八秒，但在寻找正确证据方面最为准确，并且在确保其提出的每一项主张都有真实文档支撑方面最为可靠。
这种被称为“基于路由的智能体检索增强生成”（Routing-Based Agentic RAG）的中间方法脱颖而出，成为该工作的最佳选择。它在寻找相关语境方面取得了最高分，并在保持与来源材料一致性方面表现出色，其忠实度得分达到 0.878，意味着它极少捏造事实。它还拥有与最复杂系统并列的最高精确度得分 0.731，表明其检索到的信息具有高度相关性。研究人员发现，通过根据用户的实际需求分离任务，系统可以针对每种情况应用正确的策略。当用户询问规则时，系统知道要严格查阅官方指南；当用户要求验证预算项目时，系统知道要调取历史数据进行对比；当用户寻求建议时，系统知道要将规则与过往经验相结合。
研究结论指出，对于预算验证这一至关重要的任务——即每一个数字都必须能够追溯到来源——获取正确证据的能力比速度更为重要。虽然一个简单、快速的系统可以流畅地回答问题，但它面临着遗漏证明预算合理性的具体细节的风险。路由系统通过将问题引导至最合适的路径，确保了答案不仅流畅，而且有据可查。研究人员指出，该系统的设计目的是支持人类决策者，而非取代他们。它提供证据和对比，但关于一项成本是否合理的最终判断仍由人类管理者做出。这项工作表明，对于处理复杂财务记录的组织而言，一个能够智能分类并检索数字与文本的系统，是为预算流程带来透明度和问责制的有力手段。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。