Detection, Attribution, Narration: An End-to-End Pipeline for Explainable Money Mule Identification

Resumo Técnico: Detecção, Atribuição, Narração: Um Pipeline de Ponta a Ponta para Identificação Explicável de Contas "Money Mule"

Definição do Problema
As contas de "money mule" (laranjas) são facilitadores críticos de fraudes financeiras, mas detectá-las em escala continua sendo um desafio devido à natureza heterogênea dos dados transacionais e comportamentais. A detecção tradicional em instituições financeiras baseia-se em regras determinísticas e baseadas em limiares (ex: limites de velocidade transacional). Embora interpretáveis, esses sistemas baseados em regras sofrem de um compromisso rígido entre precisão e recall: o endurecimento das regras reduz os falsos positivos, mas permite que "mules" sofisticados evadam a detecção, enquanto o afrouxamento delas sobrecarrega as filas de analistas. Além disso, sistemas baseados em regras frequentemente operam em características individuais isoladamente, falhando em capturar as anomalias multidimensionais e sutis características do comportamento de um "money mule". Existe uma lacuna operacional crítica: a detecção por si só é insuficiente; cada cliente sinalizado requer revisão humana. Consequentemente, a utilidade de um sistema de detecção depende não apenas de sua precisão estatística, mas de quão rapidamente e com quanta confiança os analistas podem realizar a triagem dos alertas, um requisito frequentemente subestimado na literatura acadêmica.

Metodologia
Os autores apresentam um pipeline de ponta a ponta composto por três estágios sequenciais projetados para abordar tanto a detecção quanto a explicabilidade:

1. Engenharia de Características e Classificação:

   • Dados: O sistema ingere dados de transações bancárias centrais, registros de onboarding, metadados de dispositivo/canal e feeds de listas de monitoramento (watchlists).
   • Características (Features): 280 características engenheiradas são construídas ao nível do cliente, organizadas em cinco grupos: Padrões transacionais, Demografia da conta, Topologia de rede/grafo, Comportamento temporal e Dispositivo/Sessão/Canal. Essas características são agregadas em múltiplas janelas temporais (7, 30, 90 e 180 dias) para capturar tanto surtos de curto prazo quanto deriva de longo prazo.
   • Modelo: Um classificador LightGBM é treinado para classificação binária. Para lidar com o desequilíbrio de classes, utiliza-se a amostragem negativa (negative sampling) para atingir uma proporção de 1:5 entre positivos e negativos, com a aplicação de scale_pos_weight durante o treinamento.
   • Calibração: Os escores de probabilidade brutos são ajustados usando Platt scaling para garantir que os escores previstos (ex: 0,8) reflitam fielmente as probabilidades empíricas, o que é crucial para o ranking de alertas.

2. Camada de Atribuição (TreeSHAP):

   • Para clientes que excedem o limiar de alerta, as previsões do modelo são decompostas usando TreeSHAP.
   • Para equilibrar contexto com concisão, as 10 principais características por magnitude absoluta de SHAP são selecionadas para cada previsão.
   • Para cada característica selecionada, o sistema extrai o nome da característica, o valor bruto, o valor de contribuição SHAP e a direção da influência.

3. Camada de Narração (LLM):

   • Um Modelo de Linguagem de Grande Escala (LLM) de pesos abertos, hospedado localmente, converte as atribuições estruturadas de SHAP em narrativas de linguagem natural para os analistas.
   • Implantação: Os modelos são implantados on-premise (NVIDIA H100 GPU) para garantir a residência de dados e conformidade. Três modelos foram avaliados: Gemma-3-27B, GPT-OSS-120B e Qwen3-Next-80B-A3B.
   • Engenharia de Prompt: O prompt inclui o contexto da previsão, as tuplas de evidência do top-10 SHAP e instruções estritas para gerar um esquema JSON fixo (bandeiras vermelhas, razões, referências de evidência). O LLM é restringido a citar apenas as características fornecidas e evitar especulações.
   • Seleção: O GPT-OSS-120B foi selecionado para produção devido à sua superior precisão factual, plausibilidade de tipologia e velocidade de inferência (apesar de possuir o maior número de parâmetros, sua arquitetura Mixture-of-Experts e o comprimento menor das respostas resultaram em menor latência).

Principais Contribuições

• Classificador de ML de Alta Dimensionalidade: Um modelo LightGBM treinado em 280 características engenheiradas com análise de calibração demonstrando estimativas de probabilidade confiáveis.
• Explicabilidade Aumentada por LLM: Um pipeline inovador que traduz atribuições quantitativas de SHAP em narrativas de linguagem natural voltadas para o analista, preenchendo a lacuna da "última milha" entre a saída do modelo e a ação operacional.
• Validação de Produção Real: O sistema foi implantado em um ambiente de Prevenção à Lavagem de Dinheiro (AML) real, fornecendo métricas reais de taxas de rendimento (yield rates) e volumes de alertas, que raramente são relatados na literatura acadêmica.
• Insights Operacionais: Orientação prática sobre a integração de componentes de ML e LLM em fluxos de trabalho regulamentados, incluindo estratégias para mitigar alucinações de LLM e garantir a governança do modelo.

Resultos

• Desempenho de Classificação: Em um conjunto de teste mantido (held-out), o modelo alcançou uma precisão de 0,909 e um recall de 0,816 em um limiar operacional de 0,8. O Erro de Calibração Esperado (ECE) para a região de alto escore foi de 0,021.
• Taxa de Rendimento de Produção (Yield Rate): Em implantação real, o sistema alcançou uma taxa de rendimento de 89%, um aumento significativo em relação aos 61% do sistema baseado em regras anterior. Isso indica que 89% dos alertas revisados pelos analistas foram confirmados como verdadeiros "money mules".
• Cobertura e Volume: O volume mensal de alertas aumentou de 211 (baseado em regras) para 302 (pipeline de ML). Essa expansão reflete uma cobertura mais ampla de verdadeiros positivos, em vez de aumento de ruído, correspondendo a um aumento de 60% na detecção adversa incremental além dos fluxos de trabalho existentes.
• Importância das Características: A análise global de SHAP revelou que a Demografia da Conta (ex: idade do cliente, tempo de conta) e os Padrões Transacionais (ex: razões crédito-débito) foram os principais impulsionadores. Notavelmente, contas financeiramente inativas e perfis demográficos específicos foram sinais fortes.
• Avaliação do LLM: Entre os modelos testados, o GPT-OSS-120B obteve a pontuação mais alta em precisão factual (4,20/5) e plausibilidade de tipologia. O feedback dos analistas indicou que as narrativas geradas pelo LLM reduziram significamente a carga cognitiva durante a triagem, em comparação com as visualizações brutas de SHAP, permitindo uma formação de hipóteses mais rápida.

Significância e Alegações
O artigo afirma que o principal gargalo na detecção de AML é frequentemente não a precisão do modelo, mas a usabilidade das explicações. Ao integrar uma camada de narração por LLM, o pipeline consegue traduzir atribuições de características complexas em insights acionáveis, impulsionando diretamente a adoção pelos analistas. Os autores sustentam que modelos de pesos abertos implantados on-premise podem satisfazer rigorosos requisitos de residência de dados sem sacrificar a qualidade da explicação, tornando esta abordagem viável para instituições impossibilitadas de usar APIs externas. Além disso, o estudo demonstra que modelos de ML podem superar sistemas baseados em regras não apenas em precisão, mas em escalabilidade; o pipeline de ML permite o aumento do volume de alertas com apenas uma perda marginal na taxa de rendimento, enquanto sistemas baseados em regras lutam para escalar sem inflar desproporcionalmente os falsos positivos. O trabalho conclui que, embora existam riscos residuais relativos a alucinações de LLM e qualidade de rótulos, restrições de prompt estruturadas e revisão humana periódica oferecem um caminho prático para implantar esses sistemas em ambientes financeiros regulados e de alto risco.