Machine learning reduces audit detection risk in 3.3 million public sector general ledger transactions

Imagine que você é um detetive tentando encontrar uma única moeda falsa escondida em um saco enorme de 3,3 milhões de moedas reais. No mundo da auditoria financeira, este é o desafio diário: encontrar erros ou fraudes em pilhas gigantescas de registros de dinheiro. Tradicionalmente, os auditores usavam um método chamado "Amostragem de Unidade Monetária" (MUS). Pense nisso como um caçador de tesouros que só cava nos montes de terra maiores e mais óbvios porque assume que o ouro deve estar lá. Eles ignoram os pequenos e silenciosos bolsões de areia, assumindo que estão seguros. Mas e se a moeda falsa estiver escondida em um desses pequenos bolsões ignorados? Esse é o risco: perder as coisas ruins porque você só olhou para as coisas grandes.

Para resolver isso, cientistas estão recorrendo ao "Aprendizado de Máquina" (Machine Learning), que é como dar ao detetive um assistente robô superinteligente e incansável. Este assistente pode ler cada registro no saco, não apenas os grandes. Ele procura padrões que os olhos humanos podem perder, como um ritmo estranho nos números ou uma transação que parece "fora do lugar". O objetivo é reduzir o "risco de detecção", que é simplesmente a chance de o detetive perder o crime. Se o robô puder encontrar a moeda falsa no pequeno bolso, a auditoria torna-se muito mais segura e rápida. Este artigo faz uma grande pergunta: este assistente robô consegue realmente encontrar os erros nos registros de dinheiro governamentais reais melhor do que o antigo método de "cavar os grandes montes" e consegue explicar por que os encontrou de uma forma que os auditores humanos confiem?

O Super-Scanner: Como a IA Encontrou a Agulha no Palheiro

Neste estudo, uma equipe de pesquisadores da Mongólia construiu um "super-scanner" de quatro camadas para verificar os registros financeiros de uma utilidade pública de energia. Eles não testaram apenas com números inventados; eles alimentaram o sistema com um conjunto de dados massivo e real contendo 3.329.189 transações de dinheiro individuais de três anos (2023, 2024 e 2025). Isso foi uma montanha de dados totalizando MNT 16,34 trilhões (isso é muito Tugrik!).

O Jeito Antigo vs. O Jeito Novo
Os pesquisadores compararam seu novo sistema de aprendizado de máquina com o padrão antigo, que é como o método de "cavar os grandes montes" mencionado anteriormente. No modo antigo, os auditores escolheriam uma amostra aleatória de 20% das contas para verificar. O estudo descobriu que esse método antigo deixava uma lacuna enorme: ele tinha um "risco de detecção" (a chance de perder um erro) entre 38,05% e 52,7%. Em português claro, isso significa que, em quase metade dos casos, o método antigo poderia ter perdido a fraude ou os erros inteiramente.

O novo sistema de aprendizado de máquina, no entanto, agiu como uma rede que captura tudo. Ele processou todas as 3,3 milhões de transações em apenas 4,5 horas. Para colocar em perspectiva, o método antigo teria levado auditores humanos entre 310 e 357 horas para fazer o mesmo trabalho. Isso é uma redução de tempo de 98,7%!

Como o Robô Aprendeu (Sem um Professor)
Geralmente, ensinar um robô a detectar fraudes exige mostrar a ele milhares de exemplos de registros "bons" e "ruins" primeiro. Mas, na vida real, os auditores não sabem quais registros são ruins até depois de terminarem a auditoria. É um dilema de causa e efeito.

Os autores resolveram isso com um truque inteligente chamado sistema de "autolabelagem" (self-labeling). Imagine um grupo de três detetives diferentes (Isolation Forest, Z-score e análise de Turn-ratio) olhando para os dados de forma independente. Se pelo menos dois deles concordarem que um registro parece suspeito, o sistema o marca como "anômalo". Isso cria um conjunto de dados de treinamento do nada, permitindo que o robô principal (um modelo Random Forest) aprenda a identificar os vilões sem precisar de uma chave de resposta pré-escrita.

Os Resultados: Uma Melhoria de 19 Vezes
Quando testaram este sistema, os resultados foram impressionantes. O modelo Random Forest alcançou um F1 score de 0,966 e um AUC de 0,999, reduzindo o "risco de detecção" para apenas 2,01%. Esta é uma melhoria de 19 vezes sobre o método antigo. Para provar que isso não foi sorte, eles realizaram um teste estatístico (teste de McNemar) que mostrou que, para cada erro que o método antigo detectou, o novo modelo de aprendizado de máquina detectou 107 erros que o método antigo perdeu. A matemática era tão clara que a chance de isso acontecer por acidente era menor que 0,001.

A Surpresa do "Mascaramento por Agregação"
Uma das descobertas mais fascinantes do artigo é algo que os autores chamam de "efeito de mascaramento por agregação". Eles testaram uma regra clássica chamada Lei de Benford, que prevê como os números devem começar (como quantos 1s, 2s ou 3s devem aparecer no início dos números na vida real).

Quando olharam para as 3,3 milhões de transações individuais, os números eram estranhos e quebravam a Lei de Benford (um sinal de potencial manipulação). Mas, quando agruparam essas mesmas transações em resumos de conta (como somar todas as transações de uma conta bancária), a estranheza desapareceu! Os números pareciam perfeitamente normais.

É como se você olhasse para uma multidão de pessoas individualmente e visse algumas usando chapéus vermelhos e outras azuis. Mas, se você tirar uma foto da multidão inteira de longe, as cores se misturam em um cinza monótono. O estudo descobriu que, se os auditores olharem apenas para a "foto cinza" (o resumo da conta), eles perdem os "chapéus vermelhos" (a fraude ao nível da transação). Isso sugere que, para realmente pegar a fraude, os auditores precisam olhar para as transações individuais, não apenas para os grandes resumos.

O Robô Consegue se Explicar?
Uma grande preocupação com a IA é que ela seja uma "caixa preta" — ela dá uma resposta, mas não diz o porqu em razão dela. Os pesquisadores corrigiram isso adicionando uma camada que traduz a matemática do robô para a "linguagem do auditor". Em vez de dizer "A característica X tem um peso alto", o sistema diz: "Esta conta foi sinalizada porque o saldo saltou 847% em um ano, o que viola a regra da ISA 520".

Quando auditores reais do Escritório Nacional de Auditoria revisaram essas explicações, 94% disseram que elas eram perfeitas e poderiam ser usadas em relatórios oficiais sem mudar uma única palavra. Isso prova que o robô não está apenas adivinhando; ele está raciocinando de uma forma que os profissionais humanos entendem.

Funciona em Outros Dados?
A equipe também testou se o seu robô conseguiria lidar com dados de outros setores (como diferentes departamentos governamentais) sem ser retreinado. Embora tenha funcionado melhor na utilidade de energia para a qual foi treinado, ainda assim teve um desempenho significativamente superior ao antigo método de "amostragem de 20%" em outros setores, capturando a maioria dos erros mesmo sem treinamento específico para esses novos grupos.

A Conclusão
Este artigo mostra que o aprendizado de máquina não é apenas uma ideia futurista; é uma ferramenta prática que pode escanear 3,3 milhões de transações em 4,5 horas, encontrar erros com separação quase perfeita (AUC=0,999) e alta precisão (F1=0,966), além de explicar suas descobertas em inglês simples (claro, em linguagem acessível). Também nos alerta que olhar apenas para grandes resumos não é suficiente — precisamos dar zoom nos pequenos detalhes para pegar a fraude escondida no ruído. Os autores inclusive disponibilizaram seu sistema como um software de código aberto e gratuito, para que outros auditores possam usar este "super-scanner" para tornar o mundo do dinheiro público mais seguro.