Audit Detection Risk Reduction Using Machine Learning: Evidence from 3.3 million Transactions

Resumo Técnico: Redução do Risco de Detecção de Auditoria Usando Aprendizado de Máquina

Definição do Problema
O estudo aborda a limitação crítica do risco de detecção na auditoria do setor público, especificamente no contexto das Normas Internacionais de Auditoria (ISA). Sob a ISA 200, o risco de detecção é a probabilidade de que os procedimentos de auditoria falhem em identificar distorções relevantes. As auditorias tradicionais do setor público dependem fortemente da Amostragem de Unidade Monetária (MUS), onde as contas são selecionadas proporcionalmente ao seu valor monetário. Em entidades com milhares de contas, uma amostra padrão de 20% deixa uma parte significativa de contas com saldos menores sem exame. Os autores observam que, em seu estudo de caso, essa abordagem resulta em um risco de detecção variando de 38,05% a 52,7%, implicando que aproximadamente metade das contas anômalas permanece sem revisão. Além além disso, as pesquisas existentes de aprendizado de máquina (ML) em auditoria frequentemente dependem de conjuntos de dados proprietários ou sintéticos que carecem de validação contra resultados oficiais de auditoria e, frequentemente, falham em abordar o problema da "verdade fundamental" (ground truth), onde dados rotulados de fraude não estão disponíveis antes da conclusão da auditoria.

Metodologia
Os autores propõem e avaliam um framework de ML de quatro camadas projetado para reduzir o risco de detecção sem exigir dados de treinamento pré-rotulados. O estudo utiliza um conjunto de dados de 3.329.189 transações de razão geral de uma empresa de utilidade pública do setor energético de Mongólia ao longo de três anos fiscais (FY2023–FY2025), compreendendo 9.909 linhas de contas únicas e um fluxo de débito cumulativo de MNT 16,34 trilhões.

A arquitetura do framework opera da seguinte forma:

1. Preparação de Dados (Camada 1): Razões gerais baseadas em Excel são ingeridas, e as identidades de saldo de débito-crédito são verificadas (ISA 500). As características (features) são escalonadas usando StandardScaler ajustado apenas nos anos de treinamento (FY2023–FY2024) para evitar o vazamento de dados (data leakage) para o ano de retenção (FY2025).
2. Rotulagem de Ensemble Não Supervisionada (Camada 2): Para superar a falta de uma verdade fundamental rotulada, o sistema gera "pseudo-rótulos" usando um ensemble de três métodos não supervisionados:
   • Isolation Forest: Utiliza 200 estimadores com um parâmetro de contaminação de 0,10.
   • Análise de Z-score: Sinaliza contas com valores absolutos de z-score > 2,0 no giro de débito/crédito.
   • Triagem de Razão Débito-Crédito: Sinaliza contas acima do percentil 95 da razão débito-crédito.
   • Regra de Votação: Uma conta é rotulada como anômala se o Isolation Forest a sinalizar, OU se ambos os métodos de Z-score e razão de giro a sinalizarem independentemente.
3. Classificação Supervisionada (Camada 3): Os dados pseudo-rotulados treinam três classificadores supervisionados: Random Forest (RF), Gradient Boosting (GB) e Árvore de Decisão (DT). Os modelos são avaliados usando validação cruzada estratificada de 5 dobras (5-fold) e uma retenção temporal estrita (os dados de FY2025 são retidos de todo o treinamento).
4. IA Explicável (XAI) e Alinhamento com ISA (Camada 4): Valores SHAP (SHapley Additive exPlanations) são mapeados para requisitos específicos da ISA (por exemplo, mapeando log_abs_change para procedimentos analíticos da ISA 520). Isso gera documentação pronta para auditoria que traduz a importância das características de ML para a linguagem profissional de auditoria.

Principais Resultados

• Desempenho vs. Linha de Base: O modelo Random Forest alcançou um F1 score de 0,966 e um AUC de 0,999. Crucialmente, ele reduziu o Risco de Detecção para 2,01%, uma melhoria de 19 vezes sobre a linha de base de 20% da MUS (38,05%–52,7%).
• Significância Estatística: O teste de McNemar confirmou a superioridade do modelo de ML sobre a MUS com um valor qui-quadrado de 1.666,63 (p < 0,001). A vantagem direcional (razão b/c) foi de 107,2, o que significa que para cada conta que a MUS detectou e a RF perdeu, a RF detectou 107 contas que a MUS perdeu.
• Validação: Contra relatórios oficiais do Escritório Nacional de Auditoria (NAO) para FY2023 e FY2024, o framework alcançou um alinhamento de verdade positiva de 85% a 90% com as distorções materiais documentadas.
• Generalização Temporal: Nos dados não vistos de FY2025 (retenção temporal), o modelo Random Forest manteve um F1 de 0,955 com precisão perfeita (1,000).
• Eficiência: O tempo de processamento para a população total caiu de 310–357 horas (MUS) para 4,5 horas (ML), uma redução de 98,7%.
• Transferência entre Setores: Quando aplicado a outros cinco setores sem retreinamento, o modelo alcançou um F1 médio de 0,741, superando a linha de base da MUS em quatro dos cinco setores.

Achados Inovadores: O Efeito de Mascaramento por Agregação
Uma contribuição significativa do artigo é a documentação do "efeito de mascaramento por agregação" em relação à Lei de Benford.

• Nível de Transação: A análise de 3,3 milhões de transações individuais revelou desvios estatisticamente significativos da Lei de Benford (Qui-quadrado = 15,51, p < 0,05).
• Nível de Conta: Quando os mesmos dados foram agregados ao nível de conta (9.909 linhas), o Desvio Absoluto Médio (MAD) caiu para 0,0052, situando-se abaixo do limite para "conformidade próxima" (0,006).
• Implicação: Os autores argumentam que o teste de Benford padrão no nível de conta suprime anomalias no nível de transação, podendo levar a falsos negativos na detecção de fraude. Eles concluem que a análise em nível duplo é necessária para atender aos objetivos de detecção de risco de fraude da ISA 240.

Significância e Alegações
O artigo alega quatro contribuições primárias:

1. Arquitetura de Auto-Rotulagem: Demonstra um framework implantável que gera dados de treinamento via votação de ensemble não supervisionada, resolvendo a barreira da "verdade fundamental" que impede a implantação de ML no primeiro ciclo de auditoria de um engajamento.
2. Validação Oficial: Ao contrário de estudos anteriores que utilizam dados sintéticos, este framework é validado contra relatórios de auditoria governamentais oficiais (NAO), alcançando alto alinhamento com distorções materiais confirmadas.
3. Insight sobre a Lei de Benford: Fornece evidência empírica de que a agregação mascara anomalias de distribuição de dígitos, desafiando a prática padrão de aplicar a Lei de Benfor apenas no nível de conta.
4. Acessibilidade Operacional: O sistema é lançado como "Audit AI v10.0", uma aplicação web de código aberto compatível com ambientes baseados em Excel, não exigindo taxas de licenciamento. Isso visa reduzir a lacuna de capacidade analítica entre grandes e pequenos escritórios de auditoria.

Os autores mantêm um tom modesto quanto à generalização, reconhecendo que a validação é baseada em uma única organização de caso e que o framework é atualmente limitado a dados financeiros estruturados, excluindo evidências narrativas ou em PDF. Eles sugerem que pesquisas futuras devem focar em validação longitudinal multiorganizacional e na integração de componentes de aprendizado ativo.