An Error Taxonomy for AI-Copilot Assisted Spreadsheet and Analytics Work

几十年来，电子表格一直是现代世界的无声引擎，是企业计算利润、追踪库存和规划预算的数字账本。这种工具如此普遍，以至于大多数人在使用它时并不会思考其运作原理，然而研究人员早已知晓它是脆弱的。早在20世纪90年代的研究就表明，绝大多数此类电子表格都至少包含一个严重的错误，这些错误往往隐藏在看似正确但计算结果错误的单个公式中。多年来，人们的假设很简单：这些错误之所以发生，是因为人类出现了手误或逻辑失误，比如输入了错误的数字或将公式拖到了错误的单元格。在专家眼中，解决方案始终是人工复核——即由另一个人检查工作，以便在造成损失前捕捉到这些失误。

但近年来，这些电子表格的构建方式发生了剧烈变化。自2023年左右起，一种新型的助手出现在这些工具内部：人工智能助手可以通过倾听人类的自然语言请求，来编写公式并构建复杂的报告。这项技术承诺提高工作效率，但也引入了一种新的不确定性。我们知道这些人工智能系统会犯错，有时即使结果看起来很合理，它们的数学计算也会出错。一个尚未得到解答的关键问题是：人类审核员能否像发现人类错误那样容易地发现人工智能的错误？如果人工智能生成了一个略有偏差但看起来合理的数字，疲惫的员工会注意到它，还是会信任那份精美的输出，从而让一个危险的错误溜过去？

一项新研究提出了一种回答该问题的方法，它不仅将人类审核员视为安全网，而是将其本身作为实验的对象。来自孟加拉国国立大学和东部大学的研究人员设计了一个受控对比实验，以观察错误的来源是否会改变被发现的可能性。他们并非简单地让计算机解决数学问题并观察其失败频率；相反，他们提出了一个场景，让真实的分析师以两种不同的方式构建电子表格。一组将手动构建他们的工作，亲自输入每一个公式。另一组则使用人工智能助手，根据他们的指令生成相同的公式。两组人都将被分配完全相同的任务，例如创建预算报告或汇总销售数据，以确保工作的难度对每个人都是完全一样的。

一旦电子表格构建完成，研究人员计划进行严格的审计。他们将检查每一个文件以寻找错误，并将错误分为特定的类型。他们会寻找“显性”错误，即明显的错误，如断开的链接或明显不相符的总计；以及“隐性”错误，后者更为棘手。隐性错误是指计算机产生了一个看起来完全正常但实际上是错误的结果，因为它使用了错误的数据或误解了规则。研究人员假设，虽然人工智能助手可能擅长避免明显的拼写错误，但它们经常产生这些隐性错误。它们往往能正确处理公式的结构，却误解了数据各部分之间微妙的关系，从而导致一个看似合理但错误的结果。

这项研究最显著的部分是第二层测试，其重点在于人类审核员。一组独立的分析师小组将在不知道哪些电子表格是由人类构建、哪些是由人工智能构建的情况下，在正常的、有时间压力的情况下进行审核。他们不会被告知存在错误；他们只需像在实际工作中那样检查工作即可。研究人员想要观察，如果错误来自人工智能，审核员是否更容易漏掉错误。驱动这项研究的假设是，人类在查看自动化输出时存在一种“信任偏差”。因为人工智能生成的作品通常看起来整洁且专业，审核员可能会对其产生更多的信心，从而减少对细节的审查，导致他们忽视了那些如果知道是人类所犯的错误就会轻易发现的问题。

由于该研究概述的是一项受控实验的方法而非报告已完成的结果，因此目前还没有最终数据。然而，其设计旨在测试一个特定且令人担忧的可能性：即人工智能引入的错误比人类造成的错误更难被发现，即使这些错误的严重程度相同。如果这项研究得到证实，则表明公司目前检查工作的方式是不够的。它意味着，如果人类在潜意识里比信任人更信任机器，那么仅仅让一个人盯着屏幕看是不够的。研究人员认为，如果人工智能的错误确实更难检测，那么采用这些工具的企业可能会增加做出错误决策的风险，即便从纸面上看，人工智能的技术水平更高或更准确。

这项研究旨在弥合两个极少交流的领域之间的鸿沟。一方面，关于电子表格错误的数十年研究已经为人类如何犯错绘制了清晰的地图。另一方面，大量新数据表明人工智能在执行这些相同任务时会失败。目前缺失的是一个直接的比较，用以衡量人类对两者的反应。通过使用相同的错误分类系统来衡量人类和机器产生的错误，并通过第三方发现错误的频率，该研究试图提供一个清晰的、基于证据的答案。它超越了询问“人工智能出错的频率是多少？”这一问题，转而探讨更具实践意义的问题：“人工智能成功瞒天过海的频率是多少？”

这项工作的意义远不止于电子表格本身。它触及了一个更广泛的问题，即人类如何在涉及高风险的环境中与智能机器互动。如果研究发现我们在审查人工智能工作时变得不再警觉，这表明我们用于决策的工具可能会在我们自身的判断中制造盲点。研究人员计划不仅测量错误是否被发现，还要测量审核员在判定文件正确时感受到的信心程度。这种“校准”至关重要；如果审核员对人工智能生成的工作感到同样自信，但在判断上其实准确度更低，这就指向了我们验证信息方式的一个根本性转变。

最终，这篇论文是对一个正在快速变化的现实世界中必不可少的实验提案。它意识到，当工作内容是由机器编写时，旧有的检查规则可能不再适用。通过建立一个公平的受控测试，作者希望为企业和分析师提供关于风险的清晰图景。他们并不是说人工智能是无用的或应该被禁止；相反，他们是在建议，在我们信任它处理最重要的数字之前，我们需要了解其失败的具体性质。目标是确保，当我们把更多的编写工作交给机器时，我们不会失去在真相隐藏在显眼之处时识别它的能力。