ERP-RiskBench: Leakage-Safe Ensemble Learning for Financial Risk

Este artigo apresenta o ERP-RiskBench, um novo framework experimental e reprodutível para detecção de riscos financeiros em sistemas ERP, que utiliza um ensemble de aprendizado de máquina com protocolos rigorosos de prevenção de vazamento de dados para superar as limitações de estudos anteriores e fornecer um modelo robusto e interpretável para auditoria e governança.

O essencial

Imagine que uma empresa é como uma cidade gigante e movimentada. Dentro dessa cidade, existem milhões de transações diárias: compras de materiais, pagamentos de fornecedores, salários de funcionários e entregas de produtos. Tudo isso é registrado em um grande sistema chamado ERP (o "cérebro" digital da empresa).

O problema é que, assim como em qualquer cidade, existem ladrões tentando enganar o sistema. Eles podem criar faturas falsas, dividir compras grandes em várias pequenas para burlar aprovações ou desviar dinheiro. O desafio para os auditores é encontrar essas agulhas no palheiro entre milhões de fardos de palha.

Este artigo, chamado ERP-RiskBench, é como um novo manual de instruções para construir um "detetive de IA" muito mais inteligente e honesto para encontrar esses ladrões.

Aqui está a explicação simples do que eles fizeram, usando analogias do dia a dia:

1. O Problema: Detetives que "Trapaceiam"

Antes, muitos estudos sobre como usar Inteligência Artificial (IA) para achar fraudes cometiam um erro grave: eles trapaceavam na prova.

• A analogia: Imagine um professor que dá a prova de matemática aos alunos, mas deixa as respostas no quadro antes de começar. Quando os alunos fazem a prova, tiram nota 10. O professor diz: "Olhem como nossos alunos são gênios!". Mas na vida real, eles não sabem nada.
• Na pesquisa: Os antigos estudos misturavam dados de "treino" com dados de "teste". A IA "via" o futuro antes de aprender, inflando os resultados. O artigo diz: "Chega de trapacear! Vamos fazer um teste justo".

2. A Solução: O "Laboratório à Prova de Vazamentos"

Os autores criaram um novo laboratório chamado ERP-RiskBench. Eles construíram um sistema onde a IA é treinada de forma rigorosa:

• Separação Total: Eles separaram os dados como se fossem duas caixas fechadas. A caixa de "treino" e a caixa de "teste". Nada pode vazar de uma para a outra.
• O Teste de Estresse: Eles não apenas testaram a IA com dados normais. Eles criaram cenários difíceis, como:
  • O Ladrão Muda de Tática: E se o ladrão começar a usar um método novo que a IA nunca viu?
  • Dados Sujos: E se faltarem números nas faturas?
  • O Tempo Passa: E se o comportamento dos fornecedores mudar com o tempo?
    Isso garante que o detetive de IA não seja apenas bom na teoria, mas funcione na rua.

3. O Time de Detetives: O "Ensemble" (Equipe)

Eles não confiaram em apenas um modelo de IA. Eles criaram uma equipe de especialistas (chamada de Stacking Ensemble).

• A analogia: Imagine que você tem um problema complexo. Você não contrata apenas um detetive. Você contrata:
  • Um especialista em contabilidade (que olha os números).
  • Um especialista em comportamento (que olha quem está agindo).
  • Um especialista em padrões (que olha o histórico).
  • E um chefe de equipe (o "Meta-Learner") que ouve a opinião de todos e toma a decisão final.
• O Resultado: Essa equipe combinada (usando técnicas chamadas Gradient Boosting) foi muito melhor em achar fraudes do que qualquer detetive trabalhando sozinho.

4. A Regra de Ouro: "Não é só achar, é não errar"

A IA pode achar fraudes, mas ela também pode gritar "Ladrão!" quando é apenas um erro inocente. Isso custa dinheiro e tempo da empresa.

• O Custo: O artigo explica que é muito mais caro deixar um ladrão passar (falso negativo) do que investigar um inocente (falso positivo).
• A Calibração: Eles ensinaram a IA a dizer não apenas "É ladrão", mas "Tenho 80% de certeza". Isso permite que a empresa decida: "Se a chance for maior que 70%, investigamos. Se for 50%, deixamos passar". Isso economiza recursos.

5. A Transparência: "Por que você suspeita?"

Em uma empresa, você não pode simplesmente demitir alguém porque um computador disse "ele é suspeito". Você precisa de uma explicação.

• O "Glassbox" (Caixa de Vidro): Eles usaram uma IA que funciona como uma caixa de vidro. Você pode ver exatamente o que ela está pensando.
• A Descoberta: A IA descobriu que a melhor maneira de achar fraudes é olhar para a "Três Vias de Conferência".
  • Analogia: É como checar se o pedido de compra, a entrega do caminhão e a nota fiscal batem. Se o pedido foi de 100 reais, a entrega foi de 100, mas a nota fiscal veio de 150... ALERTA! A IA aponta isso imediatamente.

Resumo Final: O Que Aprendemos?

1. Pare de trapacear: Se você não separar bem os dados de treino e teste, seus resultados são mentirosos.
2. Equipes vencem solitários: Um time de IAs trabalhando juntas é melhor que uma única IA superpotente.
3. O contexto importa: O que funciona hoje pode não funcionar amanhã. O sistema precisa ser testado contra mudanças de tempo e táticas.
4. Transparência é vital: A IA precisa explicar por que ela está suspeitando, especialmente em finanças.

Em suma, este artigo é um guia de boas práticas para que empresas usem Inteligência Artificial para proteger seu dinheiro de verdade, sem ilusões e com total transparência.

Resumo técnico

1. Problema e Contexto

A detecção de riscos financeiros em sistemas de Planejamento de Recursos Empresariais (ERP) é uma aplicação crítica, mas frequentemente negligenciada, do aprendizado de máquina. Estudos existentes nesta área sofrem de três deficiências metodológicas principais:

• Descrições vagas de conjuntos de dados: Falta de transparência na origem e estrutura dos dados.
• Vazamento de dados (Data Leakage): Pipelines de pré-processamento que aplicam normalização, seleção de características ou oversampling antes da divisão dos dados, inflando artificialmente o desempenho do modelo.
• Práticas de avaliação inadequadas: Uso de métricas como "acurácia" em cenários de classes desbalanceadas (onde a fraude é rara), ignorando a dependência temporal e de entidades (ex: o mesmo fornecedor aparece em múltiplas transações).

O objetivo do artigo é preencher essas lacunas propondo um framework experimental rigoroso, reprodutível e seguro contra vazamentos para detecção de riscos financeiros em ERP.

2. Metodologia

A. O Benchmark ERP-RiskBench

Os autores construíram um conjunto de dados composto e padronizado chamado ERP-RiskBench, agregando quatro fontes distintas para cobrir diferentes aspectos do risco:

1. BPI Challenge 2019 (P2P): Log de eventos reais de compras (Purchase-to-Pay) de uma multinacional.
2. Fraude em Cartão de Crédito: Dados públicos para testar extremos de desbalanceamento de classe (0,17% de fraude).
3. PaySim: Dados simulados de dinheiro móvel para servir como proxy de fraude.
4. ERP-Synth (Novo): Um conjunto de dados sintéticos gerados com injeção controlada de tipologias de risco (ex: faturas duplicadas, compras fracionadas) e aumentados via CTGAN (Conditional Tabular GAN).

O esquema unificado inclui camadas de transação, processo (agregados de ciclo de vida) e contexto (fornecedor/usuário).

B. Protocolo Experimental "Leakage-Safe" (Seguro contra Vazamento)

A contribuição metodológica central é a imposição estrita de protocolos para evitar vazamento de informações:

• Divisão de Dados: Utilização de divisões temporais e conscientes de grupos (Time + Group Aware). Os dados são ordenados cronologicamente, e 20% do final são reservados como holdout. Dentro dos 80% restantes, as dobras de validação cruzada garantem que todos os registros de um mesmo fornecedor ou ordem de compra fiquem na mesma dobra, evitando que o modelo "veja" o futuro ou o mesmo entidade em treino e teste.
• Validação Cruzada Aninhada (Nested Cross-Validation):
  • Loop Externo (K=5): Para estimativa imparcial de desempenho.
  • Loop Interno (K=3): Para otimização de hiperparâmetros e seleção de características.
  • Regra de Ouro: Todas as etapas de imputação, escalonamento, seleção de características e resampling (SMOTE/CTGAN) são ajustadas apenas nos dados de treino da dobra interna. O conjunto de validação recebe apenas transformações.

C. Modelos e Estratégias

O estudo compara quatro famílias de modelos:

1. Baselines Lineares: Regressão Logística.
2. Ensembles de Árvores: Random Forest, XGBoost, LightGBM, CatBoost.
3. Ensemble de Stacking: Combinação dos modelos de árvores acima com um meta-aprendiz (Regressão Logística) treinado em previsões out-of-fold.
4. Modelos Profundos (Deep Learning): TabNet e FT-Transformer.
5. Interpretabilidade: Explainable Boosting Machine (EBM) como alternativa de "caixa de vidro".

A avaliação foca em métricas robustas para classes desbalanceadas: Coeficiente de Correlação de Matthews (MCC), AUPRC (Área sob a Curva Precision-Recall) e análise de decisão sensível a custos (usando calibração de probabilidades via Platt Scaling).

3. Principais Contribuições

1. ERP-RiskBench: Um benchmark público e reprodutível que combina dados reais e sintéticos com tipologias de risco injeção controlada.
2. Protocolo de Validação Rigoroso: Demonstração de como a divisão de dados (temporal/grupo) e a validação aninhada previnem o vazamento de dados, corrigindo estimativas de desempenho infladas comuns na literatura.
3. Análise de Sensibilidade Operacional: Avaliação não apenas da precisão, mas do custo operacional real, considerando a assimetria entre o custo de uma falsa alarme e o de uma fraude não detectada.
4. Reprodutibilidade Total: Fornecimento de uma lista de verificação completa (checklist) cobrindo proveniência de dados, sementes aleatórias, hiperparâmetros e versões de software.

4. Resultados Chave

• Desempenho do Modelo: O Ensemble de Stacking (combinando XGBoost, LightGBM, CatBoost e Random Forest) obteve consistentemente os melhores resultados em MCC e AUPRC em todos os conjuntos de dados.
  • LightGBM e XGBoost foram os competidores mais próximos.
  • Modelos de Deep Learning (TabNet, FT-Transformer) tiveram desempenho inferior ou variável, especialmente em dados sintéticos e com conjuntos de treino menores.
  • O EBM ofereceu desempenho competitivo com interpretabilidade total, sendo uma alternativa viável para ambientes de auditoria.
• Impacto da Divisão de Dados: A descoberta mais crítica foi que o protocolo de divisão de dados tem um impacto maior no desempenho reportado do que a escolha do modelo ou técnicas de resampling.
  • Divisões aleatórias estratificadas inflaram o MCC em 0,08 a 0,12 em comparação com a divisão temporal+grupo. Isso sugere que muitos estudos anteriores podem estar superestimando sua eficácia.
• Aumento de Dados: O uso de SMOTE e CTGAN dentro das dobras de treino melhorou significativamente a recall da classe minoritária. O CTGAN trouxe um benefício incremental sobre o SMOTE ao capturar estruturas não lineares, mas com custo computacional maior.
• Calibração: A calibração de probabilidades (Platt Scaling) não melhorou as métricas de classificação (como MCC), mas foi essencial para definir limiares de decisão baseados em custos operacionais.
• Robustez: O ensemble de Stacking mostrou-se mais robusto a mudanças de tipologia de fraude e degradação de qualidade de dados (missingness) do que modelos únicos ou redes neurais profundas.

5. Significado e Implicações

• Para a Comunidade Acadêmica: O paper serve como um alerta contra práticas experimentais relaxadas em aprendizado de máquina aplicado. Ele estabelece um novo padrão de rigor para estudos de detecção de fraude, enfatizando que a metodologia de divisão de dados é tão importante quanto a arquitetura do modelo.
• Para a Indústria e Auditoria:
  • Oferece um "blueprint" operacional para implantar detecção de riscos em ERP, integrando explicações (SHAP) para justificativa de auditoria.
  • Demonstra que a interpretabilidade (via EBM ou SHAP) não precisa ser sacrificada em favor da precisão.
  • Destaca a necessidade de monitoramento de drift (mudança de distribuição) e re-treinamento contínuo, dado que fraudadores adaptam seus comportamentos.
• Conclusão Final: A detecção de risco financeiro em ERP exige mais do que apenas algoritmos avançados; exige um pipeline de dados disciplinado que respeite a temporalidade e a estrutura das entidades. O framework proposto fornece as ferramentas para construir sistemas de detecção que são não apenas precisos, mas também auditáveis e operacionalmente viáveis.