Forecasting AI Efficiency During Engagement Delivery: A Simulation Study of Estimate-to-Complete Methods in Accounting Services
本研究采用会计业务蒙特卡洛模拟,旨在证明动态的、基于活动层级的完工估算方法在预测人工智能驱动的效率方面显著优于静态规划,从而提供特定阶段的指导,以缓解由员工学习曲线和工作量波动引起的利润率风险。
原始论文采用 CC BY 4.0 许可(https://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
会计师事务所目前正处于将人工智能整合进日常工作的重大转型期。几十年来,这些事务所一直依赖详细的预算来预测各项任务所需的时间和成本,并根据这些预测设定费用。人工智能的到来有望加速常规工作,但现实情况却很复杂。效率提升并不均衡;有些任务的耗时大幅缩减,而有些则几乎没有变化,而且充分的收益往往只有在员工花费时间有效学习如何使用新工具之后才会显现。这造成了一个困难的规划问题:项目开始时制定的预算可能过于乐观或过于悲观,且这种误差可能直到工作接近尾声时才会变得明显。为了应对这一挑战,事务所需要一种在工作进行过程中检查进度的方法,根据实际发生的情况而非最初的期望来调整最终的成本预测。
Ali Cetin 最近的一项研究针对这一挑战进行了模拟,通过模拟数千次会计业务,以观察哪种方法在更新这些成本预测方面效果最好。该研究聚焦于一个被称为“完工估算”(estimate to complete)的具体过程,这简单来说就是观察已完成的工作量和剩余的工作量,然后计算出一个新的、更准确的项目总成本。作者建立了一个计算机模型,模拟了一个典型的十二个月会计业务流程,其中包含八种不同类型的任务和三个层级的员工。在这个虚拟世界中,AI 的效率被允许发生变化,员工被设定为会随着时间的推移而学习并变得更快,且工作量也被允许发生波动。通过运行一万次此类模拟,该研究可以测试六种不同的中期预测方法,以观察哪一种能使事务所的财务预测最接近现实。
模拟结果显示,固守原计划是一种糟糕的策略。当研究人员仅依赖初始预算而不进行更新时,最终的成本预测往往会出现显著偏差。然而,当团队根据实际表现每月更新其预测时,准确性得到了显著提升。到项目的第六个月时,最佳的更新方法将预测误差降低到了仅依赖原计划的一半。这一发现强调了一个关键点:由于人工智能带来的收益具有不确定性,且员工需要时间学习,仅靠项目开始时设定的预算是远远不够的。持续监控不仅是有帮助的,更是避免错过财务目标的必要手段。
研究还发现,并没有一种适用于项目所有阶段的“最佳”方法。最准确的方法在很大程度上取决于员工是否仍处于学习阶段。在项目初期,即员工正在适应新工具且速度仍在提升的过程中,最可靠的方法是一种平衡方案,即取原计划与最近一个月表现之间的中间值。这种结合方式防止了预测对学习新系统初期缓慢进展的过度反应。随着业务的推进以及员工表现趋于稳定,最佳方法也随之发生了转变。一旦学习曲线趋于平缓,采用观察过去三个月平均表现的方法就变得最为准确,它既能平滑掉随机的日常波动,又能反映当前的现实。
当工作性质发生变化时,另一个关键发现也随之浮现。在模拟中,研究人员引入了一种场景,即两种特定任务的工作量突然增加了 30%。当工作组合发生变化时,将预测视为一个单一、整体的工作块的方法无法捕捉到新的现实。只有当预测被分解到单个活动层面——即分别计算每项特定任务所需的时间时,预测才能保持准确。这表明,虽然在高水平的概览视角下一切稳定时可能行得通,但如果业务范围发生变化,事务所必须关注工作的细节,因为不同的任务从人工智能中获益的程度各不相同。
研究还揭示了规划中的一个常见陷阱:乐观主义。模拟显示,当事务所基于理想的 AI 表现来设定预算时,经常无法实现利润目标。在基础情景中,近 74% 的模拟项目最终的利润率低于预期。这是因为初始计划往往低估了员工学习工具所需的时间,以及有时对 AI 生成的工作进行审查所需的额外精力。研究建议,事务所应当预见到这些亏损,并利用每月评审来及早发现问题,而不是假设初始计划会始终成立。
最终,该论文为正在应对这一新局面的事务所提供了一份实用的分阶段指南。它建议,在业务的前三个月(即学习仍在进行的阶段),团队应使用一种平衡预测,将原计划与近期表现进行等权重结合。一旦团队进入稳定状态(通常在第四个月左右),他们应转向追踪过去三个月的平均表现。如果工作量或工作类型发生变化,团队必须转为详细的、逐项任务的预测,而非宽泛的概览。这些规则提供了一种简单且稳健的方式,让各种规模的事务所都能应对人工智能带来的不确定性,确保其财务规划能够立足于实际工作的现实。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。