Forecasting AI Efficiency During Engagement Delivery: A Simulation Study of Estimate-to-Complete Methods in Accounting Services

Wirtschaftsprüfungsgesellschaften navigieren derzeit durch einen bedeutenden Wandel, da sie künstliche Intelligenz in ihre tägliche Arbeit integrieren. Über Jahrzehnte hinweg haben sich diese Firmen auf detaillierte Budgets verlassen, um vorherzusagen, wie lange Aufgaben dauern werden und wie viel sie kosten werden, wobei die Gebühren auf Basis dieser Vorhersagen festgelegt wurden. Die Ankunft der KI verspricht, Routinearbeiten zu beschleunigen, aber die Realität ist unordentlich. Die Geschwindigkeitsgewinne sind nicht einheitlich; einige Aufgaben schrumpfen drastisch, während andere sich kaum verändern, und die vollen Vorteile zeigen sich oft erst, nachdem das Personal Zeit aufgewendet hat, um die neuen Werkzeuge effektiv zu nutzen. Dies schafft ein schwieriges Planungsproblem: Ein Budget, das zu Beginn eines Projekts erstellt wurde, könnte maßlos optimistisch oder pessimistisch sein, und der Fehler wird möglicherweise erst offensichtlich, wenn die Arbeit fast abgeschlossen ist. Um dies zu bewältigen, müssen Firmen eine Möglichkeit haben, ihre Fortschritte zu überprüfen, während die Arbeit noch stattfindet, indem sie ihre endgültigen Kostenprognosen basierend auf dem anstelle anpassen, was tatsächlich geschieht, anstatt auf das, was zu Beginn erhofft wurde.

Eine aktuelle Studie von Ali Cetin widmet sich genau dieser Herausforderung, indem sie tausende von Wirtschaftsprüfungsprozessen simuliert, um zu sehen, welche Methode bei der Aktualisierung dieser Kostenprognosen am besten funktioniert. Die Forschung konzentriert sich auf einen spezifischen Prozess namens „Estimate to Complete“ (Schätzung des Restaufwands), was im Grunde der Akt ist, die bisher geleistete Arbeit und die verbleibende Arbeit zu betrachten und dann eine neue, genauere Gesamtkostenberechnung für das Projekt vorzunehmen. Der Autor baute ein Computermodell, das das Verhalten eines typischen zwölfmonatigen Wirtschaftsprüfungsmandats nachahmt, komplett mit acht verschiedenen Arten von Aufgaben und drei Ebenen von Mitarbeitern. In dieser virtuellen Welt konnte die Effizienz der KI variieren, die Mitarbeiter wurden so programmiert, dass sie im Laufe der Zeit lernten und schneller wurden, und das Arbeitsvolumen durfte schwanken. Durch die Durchführung dieser Simulation zehntausend Mal konnte die Studie sechs verschiedene Wege der Erstellung dieser Prognosen während des Projekts testen, um zu sehen, welche Methode die Finanzprognosen der Firma am nächsten an die Realität brachte.

Die Simulationen ergaben, dass das Festhalten am ursprünglichen Plan eine schlechte Strategie ist. Wenn die Forscher sich ausschließlich auf das ursprüngliche Budget verließen, ohne es zu aktualisieren, waren die endgültigen Kostenprognosen oft erheblich daneben. Wenn das Team jedoch seine Prognosen monatlich auf Basis der tatsächlichen Leistung aktualisierte, verbesserte sich die Genauigkeit drastisch. Bis zum sechsten Monat eines Projekts reduzierten die besten Aktualisierungsmethoden den Prognosefehler im Vergleich zum bloßen Vertrauen auf den ursprünglichen Plan um die Hälfte. Dieser Befund unterstreicht einen entscheidenden Punkt: Da der Nutzen der KI ungewiss ist und das Personal Zeit benötigt, um zu lernen, ist ein zu Projektbeginn festgelegtes Budget selten ausreichend. Kontinuierliche Überwachung ist nicht nur hilfreich, sondern notwendig, um finanzielle Ziele nicht zu verfehlen.

Die Studie entdeckte auch, dass es nicht die eine „beste“ Methode für jede Projektphase gibt. Der genaueste Ansatz hängt stark davon ab, ob sich das Personal noch in der Lernphase befindet. In den ersten Monaten, wenn die Mitarbeiter sich gerade erst an die neuen Werkzeuge gewöhnen und ihre Geschwindigkeit noch steigt, war die zuverlässigste Methode ein ausgewogener Ansatz, der den ursprünglichen Plan und die Leistung des letzten Monats mittelte. Diese Mischung verhinderte, dass die Prognose übermäßig auf den langsamen Start reagierte, der oft beim Erlernen eines neuen Systems auftritt. Mit fortschreitendem Engagement und sobald sich die Leistung des Personals stabilisierte, verschob sich die beste Methode. Sobald die Lernkurve abflachte, wurde eine Methode, die die durchschnittliche Leistung der letzten drei Monate betrachtete, am genauesten; dies glättete zufällige tägliche Schwankungen, während es dennoch die aktuelle Realität widerspiegelte.

Ein weiterer wichtiger Befund ergab sich, als sich die Art der Arbeit selbst änderte. In der Simulation führten die Forscher ein Szenario ein, in dem das Volumen von zwei spezifischen Aufgaben plötzlich um dreißig Prozent anstieg. Als sich der Mix der Arbeit änderte, scheiterte eine Prognose, die das Projekt als einen einzigen, großen Block betrachtete, daran, die neue Realität zu erfassen. Es war nur möglich, wenn die Prognose nach einzelnen Aktivitäten aufgeschlüsselt wurde – indem die Zeit für jede spezifische Aufgabe separat berechnet wurde –, dass die Vorhersage genau blieb. Dies deutet darauf hin, dass eine oberflächliche Sichtweise zwar funktionieren kann, wenn alles stabil ist, Firmen jedoch die Details ihrer Arbeit betrachten müssen, wenn sich der Umfang ändert, da verschiedene Aufgaben unterschiedlich stark von KI profitieren.

Die Forschung hob auch eine häufige Falle in der Planung hervor: Optimismus. Die Simulationen zeigten, dass Firmen ihre Budgets häufig verfehlten, wenn sie die Budgets basierend auf einer idealen KI-Leistung festlegten. Im Basisszenario endeten fast vierundsiebzig Prozent der simulierten Projekte mit einer niedrigeren Gewinnspanne als geplant. Dies geschah, weil die ursprünglichen Pläne oft die Zeit unterschätzten, die das Personal zum Erlernen der Werkzeuge benötigt, sowie den zusätzlichen Prüfaufwand, der manchmal für KI-generierte Arbeit erforderlich ist. Die Studie legt nahe, dass Firmen diese Fehlbeträge erwarten und ihre monatlichen Überprüfungen nutzen sollten, um sie frühzeitig zu erkennen, anstatt davon auszugehen, dass der ursprüngliche Plan Bestand haben wird.

Letztendlich bietet das Papier einen praktischen, gestuften Leitfaden für Firmen, die sich in dieser neuen Landschaft bewegen. Es schlägt vor, dass Teams während der ersten drei Monate eines Mandats, wenn das Lernen noch stattfindet, eine gemischte Prognose verwenden sollten, die den ursprünglichen Plan und die jüngste Leistung gleichermaßen gewichtet. Sobald sich das Team eingespielt hat, normalerweise um den vierten Monat herum, sollten sie zum Tracking der durchschnittlichen Leistung der letzten drei Monate übergehen. Wenn sich das Volumen oder die Art der Arbeit ändert, muss das Team zu einer detaillierten Prognose auf Aufgabenbasis wechseln, anstatt eine breite Übersicht zu verwenden. Diese Regeln bieten eine einfache, robuste Möglichkeit für Firmen jeder Größe, die Unsicherheit der künstlichen Intelligenz zu managen und sicherzustellen, dass ihre Finanzplanung auf der Realität der tatsächlich geleisteten Arbeit basiert.