PolicyShift-AML: Auditing Selective-Label Policy Dependence in Anti-Money-Laundering Transaction Monitoring
O artigo apresenta o PolicyShift-AML, um protocolo de auditoria controlada que revela como o desempenho offline de modelos de Prevenção à Lavagem de Dinheiro (AML) frequentemente reflete políticas de escrutínio institucional em vez do verdadeiro status do evento, ao mesmo tempo em que propõe um estimador não negativo de positivo-não rotulado que melhora significativamente o recall latente sob seleção de rótulos dependente de política em comparação com os baselines padrão.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo de alto risco do setor bancário, uma guerra silenciosa trava uma batalha a cada segundo contra a lavagem de dinheiro. Os bancos utilizam sistemas automatizados para escanear milhões de transações, buscando padrões que sugiram atividades ilegais. No entanto, esses sistemas enfrentam um ponto cego fundamental: raramente veem o quadro completo. Eles veem apenas as transações que um sistema de alerta sinaliza para revisão humana. A vasta maioria das transações, mesmo aquelas que poderiam ser suspeitas, passa sem ser vista. Isso cria uma visão distorcida da realidade, onde um modelo computacional aprende a reconhecer as próprias regras de investigação do banco, em vez do comportamento real dos criminosos. Se o banco altera suas regras sobre o que deve ser sinalizado, o desempenho do modelo pode desmoronar, não porque os criminosos mudaram, mas porque o modelo foi treinado em um recorte específico e estreito de dados. Esse problema, conhecido como rotulagem seletiva, significa que um sistema que parece perfeito em um teste pode falhar completamente no mundo real porque memorizou os hábitos do investigador em vez do crime em si.
Um pesquisador da Universidade de Trabzon desenvolveu uma nova maneira de testar esses sistemas, removendo a confusão para observar o quanto eles realmente dependem das regras específicas usadas para treiná-los. O estudo, intitulado PolicyShift-AML, não utiliza dados bancários reais, que costumam ser desordenados e juridicamente restritos. Em vez disso, utiliza uma simulação massiva e cuidadosamente construída de 3 milhões de transações. Neste laboratório digital, os pesquisadores criaram um fluxo fixo de eventos "latentes", representando o estado verdadeiro de se uma transação era de fato suspeita ou não. Eles então executaram cinco políticas de investigação diferentes sobre este mesmo fluxo. Cada política agiu como um banco diferente com regras distintas para decidir quais transações deveriam ser investigadas, embora todas as cinco políticas tenham sido projetadas para revisar o mesmo número total de transações. Ao manter a verdade subjacente constante enquanto alteravam apenas as regras para o que é rotulado como suspeito, a equipe pôde isolar exatamente o quanto o sucesso de um modelo dependia da política específica de treinamento, e não da capacidade real de detectar crimes.
Os resultados revelaram uma vulnerabilidade significativa na forma como esses modelos são avaliados atualmente. Quando os pesquisadores treinaram modelos usando dados de uma política de investigação específica e depois os testaram no fluxo fixo de eventos reais, o desempenho variou drasticamente dependendo de qual política foi usada para o treinamento. Para um tipo comum de modelo, a capacidade de encontrar as 500 principais transações suspeitas variou de um mínimo de cerca de 26% a um máximo de quase 38% simplesmente ao mudar a política de treinamento. Essa variação de 26% a 29% no desempenho demonstra que o modelo não estava aprendendo uma verdade universal sobre a lavagem de dinheiro; ele estava aprendendo as peculiaridades específicas do método de investigação ao qual foi alimentado. Ainda mais revelador foi a descoberta de que os métodos de avaliação padrão são perigosamente otimistas. Quando um modelo é testado usando apenas os rótulos nos quais foi treinado, ele parece ter um desempenho muito superior ao seu desempenho real contra a verdadeira verdade de base (ground truth). Em um cenário, um modelo padrão apresentou uma taxa de sucesso aparente mais de 10 pontos percentuais maior do que sua capacidade real de encontrar ameaças reais, criando uma falsa sensação de segurança para as instituições que dependem dele.
Para enfrentar isso, o estudo introduziu um método mais robusto para treinar modelos que possam lidar com essas partes faltantes de informação. Essa abordagem, conhecida como aprendizado positivo-não rotulado (positive-unlabeled learning), trata as transações não investigadas não como inofensivas, mas como desconhecidas que precisam ser ponderadas cuidadosamente contra as conhecidas como suspeitas. Os pesquisadores construíram um novo estimador que leva em conta a probabilidade de uma transação ser selecionada para revisão, corrigindo o viés introduzido pela política de investigação. Em simulações com um atraso realista de trinta dias entre uma transação e a confirmação de se ela era verdadeiramente suspeita, este novo método alcançou uma taxa de sucesso de cerca de 40% na identificação das 500 principais ameaças. Este foi um avanço substancial em relação aos modelos padrão, que orbitavam em torno de 23% sob as mesmas condições. O novo método provou ser tão preciso na simulação que quase igualou o desempenho de um sistema "oráculo" — um modelo teórico perfeito que conhece as probabilidades reais antecipadamente — sugerindo que, com as correções matemáticas adequadas, os modelos podem aprender a enxergar além das limitações de seus dados de treinamento.
O estudo também testou se adicionar um histórico de interações passadas entre contas, representado como um grafo de conexões, tornaria os modelos mais estáveis. Embora esses recursos baseados em grafos fossem essenciais para que o novo método funcionasse bem, eles não tornaram os modelos imunes à política de treinamento. Os modelos ainda mostraram sensibilidade à forma como foram treinados, refutando a ideia de que dados de rede complexos por si só poderiam resolver o problema da dependência de política. Além disso, os pesquisadores testaram um cenário onde um tipo específico de comportamento criminoso estava completamente oculto dos dados de treinamento. Mesmo com técnicas avançadas, os modelos não conseguiram identificar esses padrões ocultos de forma confiável sem exemplos para aprender, destacando que nenhum nível de correção estatística pode identificar uma ameaça que possui presença zero no histórico de treinamento. As descobertas sugerem que, embora ferramentas estatísticas melhores possam melhorar significativamente a detecção, elas não podem substituir a necessidade de dados diversos e representativos.
Em última análise, esta pesquisa serve como um teste de estresse crítico para as defesas da indústria financeira. Ela mostra que o desempenho de um modelo não é um número fixo, mas uma variável que muda conforme as regras usadas para gerar seus dados de treinamento. O estudo argumenta que bancos e reguladores devem ir além das simples pontuações de precisão e, em vez disso, auditar como seus modelos se comportam sob diferentes políticas de investigação. Ao compreender que um sistema pode ser excelente em encontrar o tipo específico de fraude que suas regras atuais capturam, mas ruim em encontrar outros, as instituições podem evitar a implantação de ferramentas que são frágeis e enganosas. O trabalho não pretende alegar ter resolvido a lavagem de dinheiro, mas fornece um framework claro e reproduzível para expor as suposições ocultas nos sistemas atuais, garantindo que, quando um modelo for implantado, ele esteja pronto para a complexidade do mundo real, e não apenas para a visão estreita de seu treinamento.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.