Explainable AML Triage with LLMs: Evidence Retrieval and Counterfactual Checks

1. O Problema

O monitoramento de transações para combate à lavagem de dinheiro (AML) gera um volume massivo de alertas que devem ser triados rapidamente por investigadores. O cenário atual enfrenta dois desafios principais:

• Carga Operacional e Falsos Positivos: Sistemas baseados em regras tradicionais geram muitos alertas de baixo risco, sobrecarregando analistas e aumentando custos operacionais, enquanto padrões genuinamente perigosos podem ser perdidos no ruído.
• Riscos de Conformidade e "Alucinações" de LLMs: Embora os Grandes Modelos de Linguagem (LLMs) possam resumir evidências e redigir justificativas, o uso não restrito é arriscado em fluxos de trabalho regulados. LLMs tendem a alucinar (inventar fatos, números ou políticas), falhar na proveniência das informações e gerar explicações que não são fiéis à decisão real, o que viola requisitos de auditoria e governança.

O objetivo central é transformar a triagem de AML de uma tarefa de classificação pura para uma tarefa de decisão baseada em evidências, onde cada conclusão deve ser auditável, defensável e vinculada a fontes verificáveis.

2. Metodologia

Os autores propõem um framework de triagem explicável que trata a decisão como um processo restrito por evidências, composto por três pilares principais:

A. Recuperação de Evidências (RAG - Retrieval-Augmented Generation)

O sistema não permite que o LLM gere texto livremente. Em vez disso, ele utiliza um módulo de recuperação para construir um "pacote de evidências" ($B(a)$) para cada alerta, contendo:

• Políticas e Tipologias: Documentos institucionais e guias de monitoramento.
• Contexto do Cliente (KYC): Perfis de risco, beneficiários e histórico.
• Gatilhos do Alerta: Metadados da regra ou modelo que disparou o alerta.
• Subgrafos de Transações: Sequências de transações relevantes e contrapartes.
• Memória de Casos: Casos anteriores e notas de investigadores.
• Restrições de Proveniência: O LLM é instruído a citar apenas IDs de evidências presentes no pacote recuperado. Um verificador automático valida se as citações existem e se os dados numéricos/temporais são consistentes com as fontes.

B. Contrato de Saída Estruturada

O LLM deve produzir uma saída estruturada contendo:

• Disposição: {Arquivar, Monitorar, Escalar}.
• Confiança/Uncerteza: Indicadores calibrados.
• Justificativa (Rationale): Texto natural onde cada parágrafo deve conter pelo menos uma referência a uma evidência recuperada.
• Separação de Evidências: Distinção explícita entre evidências que suportam a decisão e aquelas que contradizem ou estão faltando.

C. Verificações Contrafactuais (Counterfactual Checks)

Para garantir que a explicação seja fiel à lógica de decisão e não apenas decorativa, o sistema aplica verificações contrafactuais:

• Perturbações Mínimas: O sistema altera minimamente e de forma plausível os dados de entrada (ex: remover um contraparte de alto risco, alterar um indicador de estruturação).
• Validação de Fidelidade: Verifica-se se a decisão do modelo e a justificativa mudam coerentemente com a alteração. Se o modelo remove um dado crítico, ele deve parar de citá-lo e ajustar a conclusão. Se o modelo mantém a mesma decisão apesar da remoção do fator chave, a explicação é considerada não fiel.

3. Principais Contribuições

1. Formulação de Triagem Baseada em Evidências: Formalização da triagem de AML como uma tarefa de explicação ancorada em recuperação (RAG), exigindo proveniência explícita para reduzir afirmações não fundamentadas.
2. Camada de Robustez Contrafactual: Introdução de verificações específicas para AML que testam a estabilidade da recomendação do modelo sob perturbações relevantes para conformidade, validando a causalidade da explicação.
3. Blueprint de Avaliação Reprodutível: Definição de uma metodologia de avaliação utilizando benchmarks sintéticos públicos (SynthAML10, AMLSim) para medir qualidade de triagem, fidelidade das evidências e robustez, superando a barreira da falta de dados bancários reais públicos.

4. Resultados Experimentais

O sistema foi avaliado em benchmarks sintéticos (SynthAML10 e AMLSim) comparado a baselines de regras, ML tabular, ML baseado em grafos e variantes de LLM (apenas LLM, apenas RAG).

• Eficácia de Triagem: O método completo (RAG + Contrafactual) alcançou o melhor desempenho geral, com PR-AUC de 0,75 e F1 de Escala de 0,62. Isso supera significativamente o baseline de regras (F1 0,29) e modelos de grafos (F1 0,56), principalmente ao aumentar a precisão sem sacrificar o recall.
• Auditabilidade e Proveniência:
  • Validade de Citação: O sistema completo atingiu 0,98 (vs. 0,62 no LLM puro), indicando quase nenhuma citação fabricada.
  • Suporte de Evidência: 0,88 (vs. 0,54 no LLM puro), mostrando que as justificativas estão fortemente ancoradas nos dados recuperados.
• Robustez Contrafactual:
  • Taxa de Flip (CF-Flip Rate): 0,58, indicando que o sistema consegue identificar condições mínimas que alterariam a decisão.
  • Fidelidade na Remoção: 0,76, demonstrando que o modelo ajusta sua lógica quando evidências críticas são removidas.
• Redução de Erros: A taxa de inconsistência numérica caiu de 0,11 (LLM puro) para 0,03, e alucinações de política de 0,14 para 0,02.

5. Significado e Implicações

O estudo demonstra que LLMs não devem ser usados como geradores de texto livres em ambientes regulados de FinTech. O valor real reside na integração em sistemas governados:

• Confiabilidade Regulatória: Ao forçar o modelo a citar fontes específicas e validar a decisão através de cenários "e se", o sistema torna-se auditável e defensável perante reguladores.
• Suporte à Decisão Humana: O sistema não substitui o analista, mas reduz a carga cognitiva ao fornecer justificativas estruturadas, evidências citadas e incertezas explícitas, permitindo que o humano foque na análise de alto nível.
• Equilíbrio entre Custo e Precisão: A abordagem sugere que a combinação de recuperação de dados, verificação de consistência e testes contrafactuais cria um sistema que é não apenas mais preciso, mas também mais seguro e confiável do que modelos de aprendizado de máquina tradicionais ou LLMs soltos.

Em resumo, o artigo estabelece que para que LLMs sejam viáveis em AML, eles devem operar dentro de um framework de "caixa de ferramentas" que prioriza a proveniência, a verificação de consistência e a fidelidade explicativa acima da geração de texto fluente.