🤖 AI

AUDITFLOW: Executable Symbolic Environments for Structured Financial Reporting Verification

AuditFlow 是一个基于图谱驱动的多智能体框架，它通过将符号环境与自适应搜索及确定性验证相结合，将报告的事实与分类法概念相链接并进行数值重算，从而显著提高了结构化财务审计的准确性，在基准数据集上达到了 82.09% 的准确率。

原作者： Yan Wang, Xuguang Ai, Jaisal Patel, Xueqing Peng, Fengran Mo, Yupeng Cao, Haohang Li, Mingyu Cao, Lingfei Qian, Víctor Gutiérrez-Basulto

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yan Wang, Xuguang Ai, Jaisal Patel, Xueqing Peng, Fengran Mo, Yupeng Cao, Haohang Li, Mingyu Cao, Lingfei Qian, Víctor Gutiérrez-Basulto

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图核实白板上的一道复杂的数学题，但数字散落在不同的房间里，而解题规则则写在一本厚重的、落满灰尘的百科全书里。

这正是 AUDITFLOW 所要解决的挑战，只不过它核实的不是数学题，而是财务报告（例如上市公司向政府提交的文件）。

以下是该论文对这一概念的解释，通过简单的概念进行了拆解：

问题所在：为什么 AI 在处理金钱问题时会力不从心

目前的 AI 模型（例如那些能写文章或与你聊天的模型）非常擅长阅读文本。但财务审计不仅仅是关于“阅读”，它更多是关于数学和规则。

问题在于： 为了检查一个数字是否正确，AI 不能仅仅根据上下文进行“猜测”。它必须在申报文件中找到特定的数字，在庞大的会计百科全书（称为“分类法/Taxonomy”）中查找规则，亲自进行计算，然后对比结果。
失败的原因： 如果你要求标准的 AI 做这件事，它经常会产生“幻觉”（编造数字）或者因为试图通过文本进行“推理”而非实际计算，从而忽略了规则。论文指出，如果没有辅助，最优秀的 AI 也只能在 14% 的情况下做对。

解决方案：AUDITFLOW（“三位一体的审计团队”）

作者构建了一个名为 AUDITFLOW 的系统。他们没有要求一个 AI 完成所有工作，而是创建了一个符号化环境（数字化的工作空间）和一个由三个专业智能体组成的团队。

你可以把它想象成一个建筑工地：

环境（蓝图与工具）：
该系统构建了一个数字地图。一部分是静态地图（会计规则/百科全书），另一部分是动态地图（公司实际的财务报告）。
至关重要的一点是，AI 不会“猜测”数学运算。它使用类型化工具（例如计算器或尺子），这些工具是硬编码的，能够完美运行。AI 决定使用哪种工具，但实际的数学运算是由工具完成的。
团队（智能体）：
- 初级审计员 A（规则检查员）： 这个智能体首先查看规则。它会问：“会计百科全书说这个数字应该是多少？”它使用的是静态地图。
- 初级审计员 B（证据猎人）： 这个智能体首先查看事实。它深入挖掘公司的实际申报文件，以查找数字、检查是否与去年一致，并查看单位是否合理。它使用的是动态地图。
- 高级审计师（裁判）： 这个智能体倾听两名初级审计员的意见。如果两人达成一致，任务完成。如果两人意见不一（例如，一个说“违规”，另一个说“合规”），高级审计师会要求他们针对冲突的具体领域进行更深入的调查。

他们如何得出结论

该系统并不只是询问 AI：“你觉得怎么样？”
相反，它使用了一个叫做**证据聚合（Evidential Aggation）**的过程。

想象一下，两名初级审计员手里拿着证据卡。
如果两张卡都显示“违规”，系统就 100% 确定。
如果一张卡显示“违规”，而另一张卡表示“不确定”，系统会根据他们实际找到的证据计算出一个“信任分数”。
最终答案是判定结果（通过/失败）、期望值（数字应该是多少）以及信任分数的结合体。

结果：为什么这很重要

论文在真实财务申报数据集上对该系统进行了测试。

胜出者： AUDITFLOW 在 82% 的情况下回答正确。
失败者： 下一种最好的方法（尝试独自完成所有工作的单一 AI 智能体）仅有 67% 的正确率。
“神奇”的要素： 最重要的发现是，如果你移除确定性工具（硬编码的数学检查器）并让 AI 去“猜测”数学运算，其准确率会骤降至 17%。

核心结论

论文声称，对于像财务审计这样高风险的任务，你不能仅仅依赖 AI 的“直觉”或基于文本的推理。你需要将搜索（寻找信息）与计算（执行数学运算）分开。

AUDITFLOW 之所以奏效，是因为它将 AI 视为一名聪明的管理者——他知道如何使用计算器和规则手册，而不是试图让自己成为计算器本身。它迫使 AI 使用一个“符号化环境”，在这里，数学是由代码完成的，而不是由 AI 的大脑完成。

技术摘要：AUDITFLOW

问题陈述

结构化财务审计验证对大语言模型（LLM）智能体提出了重大挑战。与标准的基于文本的任务不同，财务审计的正确性取决于结构化证据，而非仅仅是自然语言。智能体必须将报告的事实与特定的分类法概念相联系，遍历复杂的计算或维度关系，重新计算预期值，并应用审计规则。

当前的方法往往会失败，因为它们依赖 LLM 进行最终的解释、算术运算或规则应用。基准测试（如 FinAuditing）显示，即使是最强的评估模型，在数值一致性任务上的准确率也仅为 13.86%。核心难点在于，正确性并不存储在单一句子中，而是产生于报告的事实与支配它们的结构化约束之间的相互作用。现有的工具增强型或多智能体框架通常将验证的重担留给了语言模型，而语言模型在处理确定性算术和严格规则遵循方面表现不佳。

方法论：AUDITFLOW

作者提出了 AUDITFLOW，这是一个基于图谱引导的多智能体框架，旨在将自适应搜索（由 LLM 智能体处理）与确定性验证（由符号环境处理）进行分离。

1. 双图符号环境

AUDITFLOW 构建了一个由两个互连图组成的符号环境 ( $E$ )：

静态监管图 ( $G^y_T$ )： 编码 US-GAAP 分类法。节点代表具有元数据（标签、定义、数据类型）的概念，边则编码呈现、计算和维度关系。
动态报表图 ( $G_F$ )： 编码特定的 XBRL 报表。节点代表报告的事实、上下文、期间和单位。
桥接边 (Bridge Edges)： 将报表图中的报告事实与其所属的分类法概念在静态图中相连，从而允许系统从一个特定的数值遍历到其监管约束并返回。

2. 类型化动作-观察接口

智能体通过类型化的、确定性的工具而非自由形式的图操作与该环境进行交互。工具分为以下几类：

检索 (Retrieval)： 获取概念元数据、事实和上下文。
遍历 (Traversal)： 导航计算树和维度结构。
取证 (Forensic)： 进行跨期间、维度和量级的比较。
确定性检查器 (Deterministic Checkers)： 执行终端规则特定的检查（例如，正负号一致性、计算树一致性、维度聚合）。这些检查器返回结构化的观察结果（结论、预期值、支持性事实），且 LLM 无法覆盖这些结果。

3. 三智能体审计协议

该框架采用了一种专门的多智能体工作流：

合规审计师 ( $A_1$ )： 采用“规范优先”的方法。它从分类法元数据和规则开始，然后检查报告的事实是否符合约束。它使用静态分类法工具。
取证审计师 ( $A_2$ )： 采用“证据优先”的方法。它从报告的事实开始，执行期间比较和维度分解，然后使用相同的确定性检查来确认结果。它同时使用静态和动态工具。
高级审计师 ( $A_s$ )： 审查 $A_1$ 和 $A_2$ 的报告。如果两者达成一致，系统继续执行；如果两者存在分歧，高级审计师会识别冲突来源（例如，缺失事实、错误的期间），并提供针对性的反馈，将初级审计师送回进行进一步调查。高级审计师负责管理交互过程，但不取代确定性工具。

4. 证据聚合

最终结论并非简单的投票，而是证据推理（Dempster-Shafer 理论）的结果。每个初级审计师的报告都被映射到假设集 {违规 (Violation), 一致 (Consistent), 无知 (Ignorance)} 上的质量函数。这些质量被融合以产生最终结论、预期值、证据链以及一个衡量未解决证据量的可信度分数 ( $\tau$ )。

核心贡献

定义了图谱引导的验证任务： 论文定义了一种新的任务形式，即答案取决于报表事实、分类法约束、数值检查和可检查的证据，而非仅仅是文本生成。
AUDITFLOW 框架： 一个双图、多智能体系统，将 US-GAAP 分类法知识与报表特定的证据相结合，并通过类型化的确定性工具暴露这些信息。
搜索与计算的分离： 作者证明，将 LLM 的角色（引导搜索）与环境的角色（执行确定性检查）分离，对于可靠的审计验证至关重要。

实验结果

该框架在 FinAuditing FinMR 任务的一个包含 67 个实例的子集上进行了评估，涵盖了三个数据质量委员会 (DQC) 规则族。

性能： 在 GPT-5.5 环境下，AUDITFLOW 实现了 82.09% 的联合审计准确率，比最强的基准（单智能体）高出 14.93 个百分点。它在所有测试的骨干模型（GPT-4o, Claude Sonnet 4.6, Qwen-397B）上均优于基于检索的方法（GraphRAG, TreeRAG）及现有基准（FinAuditing, Herculean）。
鲁棒性： 系统在不同的强力骨干模型下保持了高准确率（80.60%），表明该框架的有效性并不依赖于单一的专有模型。
消融实验：
- 确定性检查： 移除符号环境的确定性检查后，准确率从 82.09% 骤降至 17.91%，这证明了 LLM 无法可靠地替代验证步骤。
- 必要工具门控 (Required-Tool Gate)： 移除强制智能体在完成特定检查前不得结束任务的门控后，无效输出从 1.49% 上升至 17.91%。
- 证据聚合： 移除融合步骤后，准确率降至 77.61%。

意义与主张

论文指出，可靠的审计智能体必须围绕可执行的结构化环境构建，而非仅仅基于文本推理。其主要贡献在于证明了虽然 LLM 在处理复杂信息空间（搜索）方面非常有效，但在执行最终的、承载关键任务的验证步骤（计算）时却不可靠。

作者声称 AUDITFLOW 通过以下方式成功解决了财务 AI 中的“验证差距”：

将算术运算和规则应用卸载给确定性工具。
使用多智能体协议从互补的角度探索证据。
提供可检查的证据链和可信度分数，使审计过程透明且可审计。

论文总结道，这种设计模式——即在符号环境中实现搜索与计算的分离——对于那些正确性取决于结构化约束而非语义合理性的高风险领域至关重要。