📈 economia

Forecasting AI Efficiency During Engagement Delivery: A Simulation Study of Estimate-to-Complete Methods in Accounting Services

Este estudo emprega uma simulação de Monte Carlo de engajamentos contábeis para demonstrar que métodos dinâmicos de estimativa de custo para completar ao nível de atividade superam significamente o planejamento estático na previsão de eficiência impulsionada por IA, oferecendo orientação específica por estágio para mitigar riscos de margem causados por curvas de aprendizado da equipe e volatilidade de carga de trabalho.

Autores originais: Ali Cetin

Publicado 2026-10-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ali Cetin

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

As empresas de contabilidade estão atualmente navegando por uma mudança significativa à medida que integram a inteligência artificial em seu trabalho diário. Durante décadas, essas empresas confiaram em orçamentos detalhados para prever quanto tempo as tarefas levariam e quanto custariam, definindo honorários com base nessas previsões. A chegada da IA promete acelerar o trabalho rotineiro, mas a realidade é complexa. Os ganhos de velocidade não são uniformes; algumas tarefas diminuem drasticamente enquanto outras mal mudam, e os benefícios totais muitas vezes só aparecem depois que a equipe passou tempo aprendendo a usar as novas ferramentas de forma eficaz. Isso cria um problema de planejamento difícil: um orçamento escrito no início de um projeto pode ser excessivamente otimista ou pessimista, e o erro pode não se tornar óbvio até que o trabalho esteja quase concluído. Para gerenciar isso, as empresas precisam de uma maneira de verificar seu progresso enquanto o trabalho ainda está acontecendo, ajustando suas previsões de custo final com base no que está realmente ocorrendo, em vez do que se esperava no início.

Um estudo recente de Ali Cetin aborda exatamente esse desafio ao simular milhares de engajamentos contábeis para ver qual método funciona melhor para atualizar essas previsões de custo. A pesquisa foca em um processo específico chamado "estimativa para concluir" (estimate to complete), que é simplesmente o ato de olhar para o trabalho feito até agora e o trabalho que resta, calculando então um novo e mais preciso custo total para o projeto. O autor construiu um modelo computacional que imita o comportamento de um engajamento contábil típico de doze meses, completo com oito tipos diferentes de tarefas e três níveis de pessoal. Neste mundo virtual, a eficiência da IA pôde variar, os membros da equipe foram programados para aprender e ficar mais rápidos com o tempo, e o volume de trabalho pôde flutuar. Ao executar esta simulação dez mil vezes, o estudo pôde testar seis maneiras diferentes de fazer essas previsões de meio de projeto para ver qual mantinha as previsões financeiras da empresa mais próximas da realidade.

As simulações revelaram que manter o plano original é uma estratégia ruim. Quando os pesquisadores confiaram apenas no orçamento inicial sem atualizá-lo, as previsões de custo final ficaram frequentemente erradas por uma margem significativa. No entanto, quando a equipe atualizou suas previsões mensalmente com base no desempenho real, a precisão melhorou dramaticamente. No sexto mês de um projeto, os melhores métodos de atualização reduziram o erro de previsão pela metade em comparação com apenas confiar no plano original. Essa descoberta ressalta um ponto crítico: como os benefícios da IA são incertos e a equipe precisa de tempo para aprender, um orçamento definido no início raramente é suficiente. O monitoramento contínuo não é apenas útil; é necessário para evitar perder as metas financeiras.

O estudo também descobriu que não existe um único método "melhor" para cada fase de um projeto. A abordagem mais precisa depende fortemente de se a equipe ainda está na fase de aprendizado. Nos primeiros meses, quando os funcionários estão apenas se acostumando com as novas ferramentas e sua velocidade ainda está melhorando, o método mais confiável foi uma abordagem equilibrada que dividia a diferença entre o plano original e o desempenho do mês mais recente. Essa mistura evitou que a previsão reagisse exageradamente ao início lento que frequentemente acontece ao aprender um novo sistema. À medida que o engajamento progredia e o desempenho da equipe se estabilizava, o melhor método mudava. Uma vez que a curva de aprendizado se estabilizava, um método que observava o desempenho médio dos últimos três meses tornava-se o mais preciso, suavizando as flutuações diárias aleatórias, mas ainda refletindo a realidade atual.

Outra descoberta importante surgiu quando a própria natureza do trabalho mudou. Na simulação, os pesquisadores introduziram um cenário onde o volume de duas tarefas específicas aumentou subitamente em trinta por cento. Quando a mistura de trabalho mudou, uma previsão que olhava para o projeto como um único bloco grande de trabalho falhou em capturar a nova realidade. Foi apenas quando a previsão foi detalhada por atividade individual — calculando o tempo para cada tarefa específica separadamente — que a previsão permaneceu precisa. Isso sugere que, embora uma visão de alto nível possa funcionar quando tudo está estável, as empresas devem observar os detalhes de seu trabalho se o escopo mudar, porque diferentes tarefas se beneficiam da IA em taxas diferentes.

A pesquisa também destacou uma armadilha comum no planejamento: o otimismo. As simulações mostraram que, quando as empresas definem seus orçamentos com base no desempenho ideal da IA, elas frequentemente perdem suas metas de lucro. No cenário base, quase setenta e quatro por cento dos projetos simulados terminaram com uma margem de lucro inferior à planejada. Isso aconteceu porque os planos iniciais frequentemente subestimavam o tempo necessário para a equipe aprender as ferramentas e o esforço de revisão extra que às vezes é necessário para o trabalho gerado por IA. O estudo sugere que as empresas devem esperar esses déficits e usar suas revisões mensais para detectá-los cedo, em vez de assumir que o plano inicial se manterá verdadeiro.

Em última análise, o artigo oferece um guia prático e por etapas para as empresas que navegam neste novo cenário. Sugere que, durante os primeiros três meses de um engajamento, quando o aprendizado ainda está ocorrendo, as equipes devem usar uma previsão híbrida que pese o plano original e o desempenho recente igualmente. Uma vez que a equipe tenha se estabelecido, geralmente por volta do quarto mês, elas devem mudar para o rastreamento do desempenho médio dos últimos três meses. Se o volume ou o tipo de trabalho mudar, a equipe deve mudar para uma previsão detalhada, tarefa por tarefa, em vez de uma visão ampla. Essas regras fornecem uma maneira simples e robusta para empresas de qualquer tamanho gerenciarem a incerteza da inteligência artificial, garantindo que seu planejamento financeiro permaneça fundamentado na realidade do trabalho conforme ele está sendo efetivamente realizado.

Resumo Técnico: Previsão da Eficiência de IA Durante a Entrega de Engajamentos

Declaração do Problema
As empresas de contabilidade que integram a IA generativa nos orçamentos de engajamento enfrentam um desafio crítico de planejamento: os ganhos de eficiência da IA são desiguais entre as tarefas, difíceis de prever ex-ante e sujeitos a uma curva de aprendizado à medida que a equipe se adapta às novas ferramentas. Consequentemente, os orçamentos iniciais dos engajamentos costumam conter um viés de otimismo sistemático, levando a quedas de margem que podem só se tornar evidentes tardiamente no ciclo de entrega. Embora as revisões mensais de Estimativa para Conclusão (ETC - Estimate-to-Complete) ofereçam um mecanismo de monitoramento durante o processo, as empresas carecem de orientação baseada em evidências sobre qual método de previsão empregar. As abordagens padrão de gestão de projetos — que variam desde confiar no plano original até extrapolar o desempenho recente — variam em precisão dependendo da estabilidade da eficiência da IA, da presença de aprendizado da equipe e de mudanças no volume de trabalho. Este artigo aborda a lacuna na determinação do método de ETC ideal sob essas incertezas específicas.

Metodologia
O estudo utiliza uma simulação de Monte Carlo para comparar a precisão de seis métodos distintos de previsão de ETC ao longo de 10.000 engajamentos mensais recorrentes simulados. A simulação é construída sobre um modelo de engajamento de 12 meses com oito atividades e três níveis de equipe, com honorários definidos para uma margem planejada de 30%.

Geração de Dados: Os parâmetros reais de IA (eficiência, adoção, supervisão) são extraídos de distribuições lognormais e normais em torno dos valores planejados para introduzir incerteza realista. As horas mensais são geradas usando uma fórmula de curva de aprendizado ( $e \times (1 - L \cdot e^{-t/\tau})$ ) e ruído multiplicativo para volume e tempo por unidade.
Cenários: Quatro cenários foram testados:
1. Base: Inclui efeitos de aprendizado e incerteza padrão.
2. Sem Aprendizado: Assume desempenho estável imediato.
3. Alta Incerteza de Supervisão: Aumenta a variância no esforço de revisão.
4. Mudança no Mix de Volume: Simula um aumento de 30% em duas atividades de alto volume a partir do mês 7, conhecido pela equipe na revisão do mês 6.
Métodos de Previsão: Seis métodos foram avaliados nos meses 3, 6 e 9:
1. Apenas Plano (Plan Only): Sem refaturamento (confiando no plano original).
2. Taxa de Execução do Último Mês (Latest-Month Run Rate): Extrapolando o desempenho do mês mais recente.
3. Média Cumulativa (Cumulative Average): Médias do desempenho desde o início até a data atual.
4. Média Móvel de Três Meses (Three-Month Moving Average): Média dos últimos três meses.
5. Mistura 50/50 (Blend): Uma mistura igual da taxa planejada e da taxa do último mês.
6. Agregado do Último Mês (Aggregate Latest-Month): Extrapolando o total de horas do engajamento sem diferenciação por atividade.
Métricas: A precisão foi medida usando o Erro Percentual Absoluto Médio (MAPE) da previsão de custo na conclusão em relação aos valores reais, juntamente com o viés e a capacidade de detectar quedas de margem versus falsos alarmes.

Principais Resultados
A simulação produz três descobertas primárias em relação à eficácia de diferentes estratégias de previsão:

A Refacturação Supera os Planos Estáticos: Confiar apenas no plano original resulta em erros significativos de previsão e perdas de margem. No cenário base, 73,9% dos engajamentos não atingem a margem alvo de 30%. No mês 6, os melhores métodos de refacturação reduzem o Erro Percentual Absoluto Médio (MAPE) para aproximadamente metade do plano estático (1,32% vs. 2,40%).
A Seleção do Método Depende da Fase de Aprendizado:
- Fase Inicial (Meses 1–3): Quando a equipe está aprendendo, métodos que utilizam médias de dados históricos (Cumulative Average) performam mal porque sobreponderam o desempenho inicial mais lento. A Mistura 50/50 do plano e do último mês é a mais precisa (MAPE 2,37%) e quase sem viés no mês 3.
- Fase Estabilizada (Mês 4+): Uma vez que o aprendizado se estabiliza, a Média Móvel de Três Meses torna-se o método de nível de atividade mais preciso (MAPE 1,32% no mês 6). Por outro lado, em um cenário de "Sem Aprendizado", a Média Cumulativa é superior no início, pois a média reduz o ruído no desempenho estável.
Previsão por Nível de Atividade é Crítica para Mudanças de Volume: Quando o mix de trabalho muda, as previsões de nível de engajamento falham. No cenário de mudança de mix de volume, uma previsão de última execução por nível de atividade alcançou um MAPE de 1,55% no mês de 6, enquanto a previsão agregada do engajamento falhou com um MAPE de 3,52%. Isso ocorre porque apenas os métodos de nível de atividade podem aplicar volumes atualizados a tarefas específicas com diferentes tempos de unidade ajustados pela IA.

Significância e Orientação Prática
O artigo conclui que planejar para a eficiência da IA é insuficiente sem um monitoramento robusto durante o processo. O estudo fornece um framework prático e em etapas para as empresas gerirem a entrega de engajamentos:

Meses 1–3 (Fase de Aprendizado): Utilizar uma mistura 50/50 da taxa planejada e do desempenho do último mês. Isso equilibra a necessidade de capturar melhorias sem reagir excessivamente às ineficiências iniciais.
Mês 4 em diante (Fase Estabilizada): Transicionar para uma média móvel de três meses para equilibrar responsividade com redução de ruído.
Mudanças de Escopo: Quando os volumes de trabalho ou o escopo mudam, as previsões devem ser feitas no nível de atividade utilizando volumes atualizados. A extrapolação de nível de engajamento é propensa a erros significativos nessas condições.
Valor Diagnóstico: Mesmo quando uma previsão de nível de engajamento é precisa para o total, os resultados de nível de atividade permanecem essenciais para diagnosticar quais tarefas específicas estão performando acima ou abaixo das expectativas da IA.

O autor enfatiza que estas descobertas derivam de dados simulados com parâmetros plausíveis, e não de dados empíricos de nível de empresa, e que pesquisas futuras são necessárias para validar estes métodos contra dados reais de tempo e produção. No entanto, a simulação demonstra que uma abordagem dinâmica e em etapas para a previsão de ETC é um componente necessário para capturar o valor econômico da IA nos serviços contábeis.

Mais como este