Forecasting AI Efficiency During Engagement Delivery: A Simulation Study of Estimate-to-Complete Methods in Accounting Services
Deze studie maakt gebruik van een Monte Carlo-simulatie van accountancy-opdrachten om aan te tonen dat dynamische methoden voor de schatting van de resterende werkzaamheden op activiteitsniveau aanzienlijk beter presteren dan statische planning bij het voorspellen van AI-gestuurde efficiëntie, waarbij zij fase-specifieke begeleiding bieden om margerisico's veroorzaakt door leercurves van personeel en werkdrukvolatiliteit te mitigeren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Accountancykantoren navigeren momenteel door een aanzienlijke verschuiving nu zij kunstmatige intelligentie integreren in hun dagelijkse werkzaamheden. Decennialang hebben deze kantoren vertrouwd op gedetailleerde budgetten om te voorspellen hoe lang taken zullen duren en hoeveel ze zullen kosten, waarbij de vergoedingen werden vastgesteld op basis van die voorspellingen. De komst van AI belooft routinematig werk te versnellen, maar de realiteit is rommelig. De snelheidswinsten zijn niet uniform; sommige taken krimpen drastisch terwijl andere nauwelijks veranderen, en de volledige voordelen worden vaak pas zichtbaar nadat het personeel de tijd heeft genomen om de nieuwe hulpmiddelen effectief te leren gebruiken. Dit creëert een lastig planningsproble Graad: een budget dat aan het begin van een project is opgesteld, kan extreem optimistisch of pessimistisch zijn, en de fout wordt mogelijk pas duidelijk als het werk bijna is voltooid. Om dit te beheren, hebben kantoren een manier nodig om hun voortgang te controleren terwijl het werk nog gaande is, waarbij de uiteindelijke kostenvoorspellingen worden aangepast op basis van wat er daadwerkelijk gebeurt in plaats van wat er aan het begin werd gehoopt.
Een recente studie door Ali Cetin pakt precies deze uitdaging aan door duizenden accountancy-opdrachten te simuleren om te zien welke methode het beste werkt voor het bijwerken van deze kostenvoorspellingen. Het onderzoek richt zich op een specifiek proces genaamd "estimate to complete" (schatting van de resterende tijd/kosten), wat simpelweg het handeling is van het kijken naar het tot nu toe verrichte werk en het resterende werk, om vervolgens een nieuwe, nauwkeurigere totale kostenraming voor het project te berekenen. De auteur bouwde een computermodel dat het gedrag van een typische twaalfmaandse accountancy-opdracht nabootst, inclusief acht verschillende soorten taken en drie niveaus van personeel. In deze virtuele wereld kon de efficiëntie van de AI variëren, werd het personeel geprogrammeerd om na verloop van tijd sneller te worden, en mocht het volume van het werk fluctueren. Door deze simulatie tienduizend keer uit te voeren, kon de studie zes verschillende manieren testen om deze tussentijdse voorspellingen te maken om te zien welke de financiële prognoses van het kantoor het dichtst bij de realiteit hield.
De simulaties toonden aan dat vasthouden aan het oorspronkelijke plan een slechte strategie is. Wanneer de onderzoekers uitsluitend vertrouwden op het initiële budget zonder dit bij te werken, weken de uiteindelijke kostenvoorspellingen vaak aanzienlijk af. Echter, wanneer het team hun prognoses maandelijks bijwerkte op basis van de werkelijke prestaties, verbeterde de nauwkeurigheid drastisch. Tegen de zesde maand van een project hadden de beste bijwerkmethoden de voorspellingsfout met de helft verminderd in vergelijking met het enkel vertrouwen op het oorspronkelijke plan. Dit bevinding onderstreept een cruciaal punt: omdat de voordelen van AI onzeker zijn en personeel tijd nodig heeft om te leren, is een budget dat aan het begin wordt vastgesteld zelden voldoende. Continue monitoring is niet alleen nuttig; het is noodzakelijk om financiële doelstellingen niet te missen.
De studie ontdekte ook dat er niet één enkele "beste" methode is voor elke fase van een project. De meest nauwkeurige aanpak hangt sterk af van de vraag of het personeel zich nog in de leerfase bevindt. In de eerste maanden, wanneer werknemers net aan het wennen zijn aan de nieuwe tools en hun snelheid nog aan het verbeteren is, was de meest betrouwbare methode een gebalanceerde aanpak die het midden hield tussen het oorspronkelijke plan en de prestaties van de meest recente maand. Deze mix voorkwam dat de prognose overreageerde op de trage start die vaak optreedt bij het leren van een nieuw systeem. Naarmate de opdracht vorderde en de prestaties van het personeel stabiliseerden, verschoof de beste methode. Zodra de leercurve afvlakte, werd een methode die keek naar de gemiddelde prestaties over de laatste drie maanden de meest nauwkeurige, waardoor dagelijkse schommelingen werden afgevlakt terwijl de huidige realiteit nog steeds werd weerspiegeld.
Een ander belangrijk resultaat kwam naar voren toen de aard van het werk zelf veranderde. In de simulatie introduceerden de onderzoekers een scenario waarin het volume van twee specifieke taken plotseling met dertig procent toenam. Toen de mix van werk veranderde, slaagde een prognose die naar het project keek als één groot blok werk er niet in om de nieuwe realiteit te vatten. Het was alleen wanneer de prognose werd opgesplitst per individuele activiteit — door de tijd voor elke specieke taak apart te berekenen — dat de voorspelling accuraat bleef. Dit suggereert dat hoewel een overzichtelijk beeld kan werken wanneer alles stabiel is, kantoren naar de details van hun werk moeten kijken als de scope verschuift, omdat verschillende taken op verschillende manieren profiteren van AI.
Het onderzoek benadrukte ook een veelvoorkomende valkuil in de planning: optimisme. De simulaties toonden aan dat wanneer kantoren hun budgetten vaststelden op basis van ideale AI-prestaties, zij hun winstdoelstellingen regelmatig niet haalden. In het basisscenario eindden bijna drieëntachtig procent van de gesimuleerde projecten met een lagere winstmarge dan gepland. Dit kwam doordat de initiële plannen vaak de tijd die personeel nodig heeft om de tools te leren en de extra controle-inspanning die soms nodig is voor door AI gegenereerd werk, onderschatten. De studie suggereert dat kantoren deze tekorten moeten verwachten en hun maandelijkse beoordelingen moeten gebruiken om ze vroegtijdig op te merken, in plaats van aan te nemen dat het initiële plan stand zal houden.
Uiteindelijk biedt het artikel een praktische, gefaseerde gids voor kantoren die navigeren door dit nieuwe landschap. Het stelt voor dat tijdens de eerste drie maanden van een opdracht, wanneer het leren nog gaande is, teams een gecombineerde prognose moeten gebruiken die het oorspronkelijke plan en recente prestaties even zwaar laat wegen. Zodra het team is ingewerkt, meestal rond de vierde maand, moeten ze overschakelen naar het volgen van het gemiddelde van de prestaties van de laatste drie maanden. Als het volume of de aard van het werk verandert, moet het team overschakelen naar een gedetailleerde, taakgerichte prognose in plaats van een breed overzicht. Deze regels bieden een eenvoudige, robuuste manier voor kantoren van elke omvang om de onzekerheid van kunstmatige intelligentie te beheersen, zodat hun financiële planning geworteld blijft in de realiteit van het werk zoals dat daadwerkelijk wordt uitgevoerd.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.