AuditFraudBench: Benchmarking Audit Judgment in Detecting Fraudulent Misstatements
本文介绍了 AuditFraudBench，这是一个通过真实的监管备案文件和执法公告构建的新型基准测试，旨在评估大语言模型通过识别利润来源归属、误导性叙述和欺诈模式来检测欺诈性错报的能力，并揭示了当前模型在审计判断所需的复杂推理方面仍面临困难。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你是一名正在试图破解谜题的侦探，但你的嫌疑人并不是小巷里的罪犯，而是一家试图将财务错误掩盖在堆积如山的文书工作中的巨型企业。
这篇论文介绍了一个全新的“考试”，名为 AuditFraudBench。它的设计目的是测试人工智能（AI）扮演那位侦探的角色究竟有多出色。具体来说，它测试的是 AI 是否能发现一家公司在试图隐瞒其盈利原因时的欺骗行为，即便这些谎言听起来非常具有说服力且完全符合规则。
以下是使用简单类比对该论文进行的拆解：
1. 问题所在：“礼貌的谎言”
目前的 AI 模型擅长数学计算和寻找明显的拼写错误。如果一家公司说：“我们赚了 100 万美元，”但数学计算显示只有“100 美元”，AI 能发现这一点。
但真正的欺诈更加狡猾。这就像一个成绩不理想的学生，在面对父母时说：“我真的很努力学习了，只是这次考试不公平，”而实际上他们根本没有学习。这个故事听起来很合理，语法也完美无瑕，甚至数字在内部逻辑上也是自洽的。问题在于，这个故事掩盖了成绩不佳的真实原因。
论文指出，目前的 AI 难以识别财务报告中这类“看似合理的谎言”。它们可以做数学题，但还无法判断 CEO 的解释是否只是一个巧妙的伪装，用来掩盖失误。
2. 解决方案：“真相 vs. 故事”考试
研究人员利用现实生活中的案例构建了一个特殊的题库，这些案例均由美国政府（SEC）抓获了造假的公司。他们拥有原始报告（谎言）、修正后的报告（真相）以及政府对实际情况的解释。
他们将此转化为了针对 AI 的三部分考试：
任务 1：“为什么”侦探（利润来源归因）
- 场景： 一家公司声称：“我们的利润增长是因为我们卖出了更多的产品！”
- 测试： AI 必须观察修正后的数字并指出：“不对。你们并没有卖出更多产品；你们只是把还没发生的销售额提前计入了。”
- 目标： AI 能找到资金的真实驱动力，还是会被公司的故事所蒙蔽？
任务 2：“润色”识别器（误导性叙述检测）
- 场景： 一家公司写道：“我们的业务正蓬勃发展！”
- 测试： AI 必须判断这段文字是否具有误导性。即便每一句话在技术层面上都是真实的，但它是否在隐瞒一个事实——即这种“蓬勃发展”仅仅发生在某个即将消亡的微小部门？
- 目标： AI 能否检测出公司是否在利用“润色（Spin）”手段让糟糕的局面看起来很美好？
任务 3：“犯罪特征”分类（欺诈模式分类）
- 场景： 政府表示：“这家公司将今年的开支挪到了明年，以使今年的账面看起来更好看。”
- 测试： AI 必须对这种手段进行分类。这是“收入时间差（Revenue Timing）”？是“做假账（Cooking the Books）”？还是“隐藏开支（Hiding Expenses）”？
- 目标： AI 能否识别出这种欺诈手段的类型？
3. 结果：AI 被难住了
研究人员在这些考试中测试了顶尖的 AI 模型（如 GPT、DeepSeek 和 Qwen）。以下是他们的发现：
- 擅长数学，拙于故事： AI 模型在任务 1 中表现得相当出色。它们通常能猜中正确答案（例如：“该解释具有误导性”）。
- 不擅长解释原因： 然而，当被要求解释为什么该解释具有误导性时，AI 就显得力不从心了。这就像一个学生在选择题上猜中了答案，却无法展示其解题过程。它们无法将数字与故事之间的逻辑联系起来。
- “润色”任务难度最大： 任务 2（识别误导性故事）是最难的。即使是最聪明的 AI 模型也会被那些微妙的技巧搞混——即公司并没有直接撒谎，但通过省略掉那些令人不安的部分来误导读者。
- 并非越大越好： 有趣的是，提高 AI 的“智能”（通过增大模型规模）并不总是有帮助。一个稍小的模型有时表现得和巨型模型一样好。这表明 AI 需要的是专门的会计逻辑训练，而不仅仅是通用的智能。
核心结论
论文得出结论：虽然 AI 在阅读财务报告方面正在进步，但它尚未准备好取代人类审计师去识别复杂的欺诈行为。它可以进行算术运算，但在理解文字背后的意图以及用于掩盖真相的“润色”手段方面，仍然面临困难。
AuditFraudBench 仅仅是一个新的衡量工具，用以测量 AI 究竟还需要走多远，才能真正像一名持怀疑精神的审计师那样思考。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。