💬 NLP

FinBalance: A Multi-Document Accounting Reconciliation Benchmark

该论文介绍了 FinBalance，这是一个基于不同行业和难度级别的源文档构建的多文档会计对账基准，研究表明当前的大型语言模型难以将源材料准确地对账为一致的资产负债表，且其报告的财务报表与根据其自身生成的条目所推导出的报表之间往往存在显著差异。

原作者： Sasank Tumpati, Devansh Agarwal, Ayush Kedia, Arjun Neekhra, Murari Mandal, Krishna Garg, Yash Sinha, Suman Gupta, Dhruv Kumar

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sasank Tumpati, Devansh Agarwal, Ayush Kedia, Arjun Neekhra, Murari Mandal, Krishna Garg, Yash Sinha, Suman Gupta, Dhruv Kumar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解财务谜题的侦探。你面前有一堆杂乱无章的线索：发票、银行对账单、合同和收据。你的工作不仅仅是阅读它们，而是要弄清楚到底发生了什么，为每一笔交易写下正式的报告（即“会计分录”），然后将它们全部汇总，创建一个最终的“资产负债表”（公司财务状况的快照）。

如果你发现一个线索与另一个线索相矛盾（例如，发票显示你支付了 100 美元，但银行对账单显示你支付了 120 美元），你必须立即标记这个错误。你不能视而不见，也不能靠猜测来得出答案。

这正是 FinBalance 所关注的内容。它引入了一种全新的“考试”形式，旨在测试人工智能（AI）是否具备这种现实世界的会计侦探能力。

问题所在：AI 擅长阅读，但不擅长对账

作者指出，目前大多数 AI 测试就像是给学生一本已经写好的教科书章节，然后问：“这篇文章的主旨是什么？”答案已经写在那里了，AI 只需要把它找出来即可。

但真正的会计工作要难得多。这就像是给学生一个装满皱巴巴收据、一张银行对账单和一份合同的鞋盒，然后对他们说：“理清其中的数学逻辑，写出正式报告，并告诉我是否有任何地方对不上。”

解决方案：FinBalance 基准测试

研究人员构建了一个庞大的、合成的“训练场”，名为 FinBalance。

设置： 他们创建了一个程序来扮演一名严谨的会计师。该程序生成了数千个虚构但真实的商业场景，涵盖 8 个不同的行业（如零售、医疗保健和科技）。
文档： 对于每个场景，它会生成一组包含文本内容的文档（模拟扫描后的 PDF）。其中一些是真实的证据，一些是“干扰项”（旨在误导你的假文件），还有一些则包含刻意的矛盾之处。
标准答案（Ground Truth）： 由于场景是由计算机生成的，因此 AI 知道确切的正确答案。它知道正确的会计分录、正确的最终资产负债表，以及哪些文档支撑了哪些数字。

测试过程：AI 的表现如何？

研究人员在 710 个此类会计谜题上，测试了目前最智能的六个 AI 模型。结果令人惊讶且令人汗颜：

“数学 vs. 报告”的差距：
想象一个学生能在脑海中完美地进行计算，但在试卷上写下的最终答案却是错误的。
- AI 模型在处理单个交易（“会计分录”）方面表现得相当出色。
- 然而，当它们尝试将这些数字汇总并编写最终的“资产负债表”时，往往会失败。
- 数据统计： 在六个模型中有四个出现了巨大的差距。它们可以根据自己的笔记重构出正确的财务图景，但提交的报告却是错误的。这就像一位厨师做出了完美的菜肴，却把它盛错了盘子，还贴错了标签。
“丢失收据”问题：
最大的失败并非在于数学计算，而在于将答案与证据联系起来。
- 当 AI 得出一个正确的数字时，它往往无法指出证明该数字的具体文档。
- 即使研究人员要求 AI “必须引用来源”，其表现也几乎没有改善。AI 难以在草堆中寻找针头，这并非因为它不想做，而是因为它无法区分真实的证据与干扰项。
“第二意见”策略：
研究人员尝试了一个聪明的解决方法。在 AI 提交答案后，他们运行了一个严格的计算器（“分类账”）来核对 AI 的数字，并将 AI 所陈述的内容与其自身数字所暗示的内容之间的差异展示给 AI。
- 结果： 这种“反馈”显著帮助 AI 修正了其最终报告。这就像老师说：“你说总额是 100 美元，但如果你把自己的清单加起来，应该是 120 美元。检查一下你的数学。”
- 代价： 这种修复也有副作用。当 AI 试图发现文档中的矛盾（错误）时，这种反馈有时反而会让它在识别错误方面表现得更差，因为它过于专注于修正数学计算，而忽略了意识到文档本身存在问题。

结论

论文得出结论：虽然 AI 在理解财务文本方面正在进步，但它尚未准备好成为一名可靠的会计师。它在以下方面表现挣扎：

将不同文档中的信息联系起来。
将其发现的内容汇总（相加）成一份一致的最终报告。
区分真实证据与虚假干扰项。

作者强调，这个基准测试是一个“压力测试”。如果一个 AI 无法完美解决这些干净的、由计算机生成的谜题，那么它肯定无法被信任去处理那些收据模糊、页面缺失且规则更加复杂的现实世界会计工作。

简而言之： 目前的 AI 是优秀的财务文档“阅读者”，但却是拙劣的“对账员”。它可以找到数字，但经常会丢失证据链，并且无法正确编写最终报告。

技术摘要：FinBalance：一个多文档会计对账基准测试

问题定义

目前的金融自然语言处理（NLP）基准测试主要评估基于预处理人工制品（如从申报文件中提取的表格或预计算的财务报表）的模型。模型通常被要求对这些已经结构化的输出进行回答问题或执行分析。然而，现实世界的会计工作流始于更早的阶段：它们需要将原始源文档（发票、银行对账单、合同、付款通知）对账为会计分录，将这些分录汇总为资产负债表，并在文档包内检测矛盾。

现有的基准测试未能测试这种“从源头到报表”的流水线。它们没有要求模型执行以下任务：

提取引用特定支持文档的平衡会计分录。
将分录汇总为符合会计等式的最终资产负债表。
识别并分类源文档之间的不一致性，而非默默地解决它们。

方法论：FinBalance 基准测试

作者引入了 FinBalance，这是一个旨在模拟完整会计对账流水线的合成但由人工编写的基准测试。

基准构建

生成器架构： 一个确定性生成器根据人工编写的规范来组合记录。这些规范定义了业务场景、文档模式、会计政策、税务/外汇（FX）处理以及不一致性模板。
数据组成： 生成器从这些规范中采样，创建包含以下内容的文档包：
- 过账文档： 发票、账单、对账单、凭证。
- 支持文档： 合同、费率表、证书。
- 调整文档： 期末应计项目、滚存（rollforwards）。
- 干扰项： 视觉上看似合理但中性的文档（重复项、作废通知）。
- 期初试算平衡表： 总账的初始状态。
标准答案（Ground Truth）： 由于生成器使用固定的复式记账总账，因此其生成的会计分录、最终资产负债表和不一致性代码是可计算、可审计且可复现的。生成后无需人工标注。
范围： 该基准涵盖八个行业（如零售、医疗保健、SaaS）、三个期间类型（月、季、年）和五个难度等级。它包含了复杂会计领域（如 ASC 606 收入确认、租赁、递延税、多司法管辖区税务）的概念标记。
不一致性处理： 一部分特定的记录（占主数据集的 32%）包含“强制不一致性”（例如，发票总额不匹配、无效的豁免证书）。对于这些记录，正确的模型输出是一个不一致性标记和代码，而不是一份对账后的资产负债表。

评估指标

论文引入了两个互补的指标，以区分分录生成与自我一致性：

$BS_{exact}$ ： 衡量模型的自报最终资产负债表是否与标准答案完全一致。
$BS_{recon}$ ： 解析模型生成的会计分录，通过确定性总账针对期初余额进行重演，并检查其隐含的资产负债表是否与标准答案一致。
- 两者的差异（ $BS_{recon} - BS_{exact}$ ）被定义为聚合差距（aggregation gap），用于指示模型是否能够生成正确的分录，但在汇总为一致报表方面存在问题。
分录匹配： 严格匹配要求正确的借贷科目、金额以及排序后的文档引用（ $doc\_refs$ ）。
不一致性代码匹配： 对于强制不一致性记录，衡量正确识别特定矛盾代码的速率。

实验设置

模型： 评估了六个当代大语言模型（LLM）：Gemini 3 Flash, GPT-5, Claude Haiku 4.5, Grok-4.3, DeepSeek Chat, 和 Qwen 3 235B。
消融研究： 作者测试了各种干预措施，包括：
- 引用压力（Citation Pressure）： 明确要求引用文档的提示词。
- 可见性（Visibility）： 移除账户列表或支持文档。
- 上下文压力（Context Stress）： 添加干扰项或延迟相关证据的出现。
- 总账反馈（Ledger Feedback）： 向模型提供其报告的资产负债表与其自身分录所隐含的资产负债表之间的差额，允许进行一次修正轮次。
- Best-of-3： 采样多个候选结果并选择最优者。
验证： 来自大型投资银行的金融专家和一名注册会计师审查了一部分记录，以验证基准设计的合理性、难度校准以及标签的正确性。

关键结果

1. 整体表现较低

在 710 条记录的评估集上，表现最好的模型（GPT-5）实现的精确最终资产负债表准确率（ $BS_{exact}$ ）仅为 46%。严格的文档溯源端到端准确率显著更低。

2. 聚合差距

一个关键发现是分录质量与最终报表一致性之间的分歧：

六个模型中有四个表现出 $BS_{recon}$ （重演分录）与 $BS_{exact}$ （自报报表）之间存在 26–41 个百分点的差距。
例如，DeepSeek Chat 的 $BS_{recon}$ 为 47.3%，但其 $BS_{exact}$ 仅为 6.7%。
这表明模型经常生成数值上看似合理的会计分录，但无法将其与证据绑定，也无法将其汇总为自洽的报表。GPT-5 是一个例外，表现出高度的自洽性（ $BS_{exact}$ 46.5% vs. $BS_{recon}$ 46.3%）。

3. 文档链接是主要的失败模式

检索歧义： 在账户和金额均正确的条目中，52% 的模型引用了错误的支撑文档。
提示词无效性： 显式的“引用压力”提示词仅将该错误率降低了 1.4 个百分点。
证据依赖： 当给予模型一个“仅限证据”的先验信息（隐藏干扰项）时，不匹配率下降了 26.4 个百分点，这表明失败在于选择正确的证据，而非遵循引用指令。

4. 总账反馈的影响

修复资产负债表： 提供总账反馈（报告的资产负债表与隐含的资产负债表之间的差额）使具有聚合差距的模型， $BS_{exact}$ 提升了 30–33 个百分点。
权衡： 这种改进是以牺牲为代价的。总账反馈导致较小模型的冲突代码检测率下降了 13–52 个百分点。反馈机制会使模型倾向于对矛盾文档进行对账，而不是将其标记为错误。

5. 难度与上下文

难度缩放： 准确率从难度等级 1 的 88% 锐减至等级 5 的 0%。
上下文 vs. 逻辑： 虽然添加干扰项（上下文压力）降低了准确率，但失败的主要驱动因素是会计依赖关系和文档选择的复杂性，而非仅仅是上下文的长度。

意义与主张

作者将 FinBalance 定位为不仅仅是一个已解决的问题，而是一个诊断测试平台和现实世界部署的受控前提条件。

基准测试的必要性： 论文认为，如果一个模型无法对完全明确且干净的文档包进行精确的对账，那么它不太可能在布局、OCR 错误或证据缺失更为混乱的现实会计环境中保持可靠。
合成但由人工编写： 虽然数据是合成的，但会计逻辑、政策和场景是由人工编写的，这确保了基准测试测试的是真正的领域推理，而非模型自创的模式。
诊断价值： 该基准揭示了在标准问答（QA）基准测试中无法观察到的特定失败模式（聚合差距、检索歧义）。
未来效用： 通过发布生成器（而非仅仅是静态数据集），作者能够创建新鲜的、分层的样本，以防止数据污染，并允许在无需人工重新标注的情况下扩展场景空间（新的行业、政策、矛盾）。

论文总结道，当前的 LLM 在处理全流程的文档溯源会计方面仍面临困难。虽然它们可以生成看似合理的条目，但无法一致地将这些条目与证据链接，也无法将其汇总为正确的最终报表，这凸显了当前能力与专业会计工作流需求之间的显著差距。