Auditing the Auditor: Extraction Accuracy, Hallucination, and Abstention in Open-Weight LLMs for ESG Reporting A Longitudinal Empirical Benchmark Across 518 Corporate Disclosures (2010–2026)
这项针对五种开源权重大语言模型在 518 份 ESG 报告中的纵向基准测试表明，尽管模型能够可靠地总结叙述性政策，但在精确数值提取方面仍表现挣扎，并且在缺乏显式推理或严格指令的情况下频繁产生幻觉，这凸显了在自动化可持续性审计中改进弃权机制的紧迫需求。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代商业世界中，一家公司对环境的承诺、对员工的待遇以及其伦理治理，已不再仅仅是公共关系层面的问题。这些因素已成为硬性数据，在许多地方属于法律强制要求，并受到投资者的严密审查，因为投资者需要了解一家企业是真正实现了可持续发展，还是仅仅在装模作样。这种转变给审计人员带来了巨大的挑战。一份单一的可持续发展报告可能会长达数百页，充斥着密集的数字表格、脚注和不断变化的定义。为了理解如此庞大的信息量，金融机构正转向人工智能，特别是被称为“大语言模型”的一种计算机程序。这些程序经过海量文本训练，能够阅读文档以寻找特定答案，就像一位非常快速且博学多才的图书管理员。然而，若要让这些工具承担官方审计的职责，它们必须做得不仅仅是总结一个故事；它们必须能够提取精确的数字而不会凭空捏造，并且必须知道在答案根本不存在于文档中时如何承认这一点。
来自加纳大学的一个研究小组决定测试这些开源人工智能模型在这一高风险环境下的表现究竟如何。他们收集了大量共计 518 份真实的年度企业可持续发展报告，出版时间跨度从 2010 年到 2026 年，涵盖了既有的旧版自愿性报告以及最新的、受欧洲法律严格监管的强制性申报文件。研究人员从这个文档库中创建了一个严苛的测试，包含 120 个具体的审计问题。这些问题涵盖了从要求简单的政策摘要到要求提供温室气体排放量或用水量等精确数值的各种需求。随后，研究人员将这些问题输入到五种不同的领先人工智能模型中，模拟了一个真实场景：计算机首先搜索文档中的相关页面，然后尝试读取答案。至关重要的是，为了确保公平性，他们使用了一个独立的第三方人工智能系统来为答案评分，以防止模型为自己的工作给出高分。
结果显示，在机器对文字的理解与对数字的处理能力之间存在明显的鸿沟。当被要求总结公司的通用政策或承诺时，模型的表现相当出色，通常能高精度地捕捉到文本精髓。然而，当任务要求从复杂的表格中提取特定数字时——例如特定年份二氧化碳排放的具体量——它们的表现显著下降。即使研究人员为模型提供了报告中的正确页面，表现最好的模型也只能在约 73% 的情况下提取出正确的数字。困难之处往往不在于找到正确的页面，而在于正确读取表格，例如混淆母公司的总数与子公司的数值，或是误读计量单位。
或许最关键的发现涉及这些模型在答案缺失时的行为。在实际审计中，一家公司可能会漏报某项指标，或者搜索过程可能会意外抓取到错误年份的页面。研究人员通过这种方式进行了测试：给模型一个关于 2024 年危险废物的问题，但提供的文档页面却只讨论了 2022 年的水资源回收利用。在标准指令下，许多模型为了表现得“乐于助人”，会试图编造一个数字或用另一年份的类似数字进行替代，这种行为被称为“幻觉”。在某些模型中，这种情况发生的概率接近一半。然而，研究表明，这种危险的倾向可以在很大程度上得到修复。通过给予模型一条严格的指令，即如果不存在精确数据则回答“我无法回答”，编造数字的比例便大幅下降。此外，研究发现，一个设计为在回答前先进行“思考”推理的模型，即便没有严格指令，也能更自然地识别出这些不匹配情况并拒绝猜测。
该研究还探讨了企业报告性质的变化如何影响这些工具。研究人员发现，由欧洲法规要求的最新强制性报告，由于使用了标准化的表格和一致的标签，实际上比旧版的自愿性报告更容易被人工智能读取。一旦计算机在这些现代文档中找到了正确的章节，其准确性就会明显提高。这表明，随着监管迫使公司更清晰地组织其数据，这些工具也将变得更加可靠。最终，研究结论指出，虽然人工智能已经准备好协助总结公司讲述的可持续发展故事，但它尚未准备好取代人类审计师去核查那些硬性数字。最稳妥的方法是利用这些模型来起草摘要并标记潜在问题，但在核实最终数据时仍需保持“人工介入”，以确保数字是真实的，而非仅仅是一个极具说服力的猜测。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。