Resumo Técnico: Rumo à Detecção de Fraude Auditável

Declaração do Problema

As instituições financeiras enfrentam um desafio duplo na detecção de fraudes: a necessidade de escalar com o aumento dos volumes de transações, mantendo simultaneamente transparência, documentação e supervisão humana suficientes. Embora sistemas de IA agêntica sejam cada vez mais propostos como ferramentas para automatizar a coleta de evidências e a revisão de alertas, permanece incerto se tais agentes melhoram a qualidade da decisão além dos classificadores subjacentes nos quais dependem. Além disso, há evidências limitadas sobre como os recursos estruturais derivados de grafos e os sinais de anomalia se comportam especificamente em casos "difíceis" (aqueles com pontuações intermediárias do classificador) e como o desacordo entre um agente e um classificador pode ser aproveitado para determinar quando a revisão humana é necessária. Este trabalho aborda essas lacunas avaliando um pipeline de detecção de fraude em camadas que integra classificação baseada em gradiente, recursos de grafos, sinais de anomalia e um agente de investigação de LLM limitado.

Metodologia

Dados e Pré-processamento

O estudo utiliza o conjunto de dados PaySim, um conjunto de dados sintético de transações de dinheiro móvel contendo mais de 6,3 milhões de transações. Uma etapa crítica de pré-processamento envolveu a identificação e remoção de um atalho de saldo específico do simulador. A análise revelou que a diferença entre a alteração do saldo da conta de origem registrada e o valor da transação era quase determinística para transações fraudulentas devido ao processo de simulação. Para evitar uma performance de linha de base inflada, os campos de saldo de origem foram excluídos do conjunto de recursos, enquanto os campos de saldo de destino foram mantidos, pois não exibiam o mesmo artefato.

Arquitetura do Sistema

O pipeline proposto consiste em quatro etapas principais:

1. Engenharia de Recursos (Feature Engineering):
   • Recursos Tabulares: Atributos de transação corrigidos (ex: valor, tipo, tempo).
   • Recursos de Grafo: Derivados de um grafo de transações onde as contas são nós e as transferências são arestas. Os recursos incluem estatísticas estruturais engenheiradas (ex: grau do nó, contrapartes distintas) e embeddings node2vec aprendidos do subgrafo de contas recorrentes.
   • Sinal de Anomalia: Um autoencoder de classe única treinado exclusivamente em transações legítimas. O erro de reconstrução é usado como um recurso único para capturar desvios do comportamento normal.
2. Detecção de Linha de Base (Baseline): Um ensemble de árvores de decisão de gradiente XGBoost serve como o classificador primário. Ele é treinado nos recursos tabulares corrigidos e é compatível com TreeSHAP para atribuição de importância local de recursos.
3. Camada de Investigação Agêntica: Um agente de LLM limitado (Llama 3.3 70B) é ativado apenas para casos onde o classificador produz uma pontuação intermediária (0,2 a 0,8). O agente acessa quatro ferramentas:
   • Detalhes da transação.
   • Pontuação do classificador e as 5 principais atribuições SHAP.
   • Contexto de grafo para as contas de origem/destino.
   • Distâncias no espaço de recursos para os casos de referência de fraude e legítimos mais próximos.
     O agente deve inspecionar pelo menos duas fontes de evidência e emitir um veredito estruturado (Fraude, Não Fraude ou Escalar) com uma justificativa escrita.
4. Política de Escalonamento: Uma regra exploratória sinaliza casos para revisão humana se o agente discordar do classificador e a pontuação do classificador for extrema (≥0,65 ou ≤0,35).

Desenho Experimental

• Comparação de Modelos: Quatro variantes foram avaliadas em uma divisão de treino/teste estratificada de 80/20: Linha de Base Rígida (apenas tabular), Aumentada por Grafo, Aumentada por Autoencoder e Combinada.
• Experimento de Anel Controlado: Um experimento sintético introduziu 40 anéis de fraude de múltiplas contas (5 contas, 6 transferências cada) para testar a capacidade de recursos de grafo em detectar padrões coordenados que modelos tabulares podem perder.
• Avaliação do Agente: O agente foi testado em uma amostra de caso-controle equilibrada de 60 casos (30 fraudes, 30 legítimos) selecionados do subconjunto de pontuação intermediária. O desempenho foi comparado contra um simples limiar (thresholding) da pontuação do classificador (limiar = 0,5).

Principais Resultados

Desempenho de Detecção

• Conjunto de Teste Completo: Após a correção do atalho de saldo, a linha de base tabular rígida alcançou a maior Precisão Média (0,7677). Nem os recursos de grafo nem o sinal do autoencoder melhoraram o desempenho no conjunto de teste completo; de fato, a variante aumentada por grafo mostrou uma ligeira diminuição (0,7611).
• Subconjunto Difícil: Dentro do subconjunto de casos que receberam pontuações intermediárias (0,2–0,8), o modelo aumentado pelo autoencoder alcançou a maior Precisão Média (0,0138), superando a linha de base (0,0062) e o modelo aumentado por grafo (0,0086).
• Experimento de Anel Controlado: O modelo aumentado por grafo detectou com sucesso todos os 39 transações injetadas dos anéis de fraude sintéticos, enquanto a linha de base rígida detectou apenas 30 (76,9% de recall). Isso indica que recursos estruturais engenheirados são eficazes na identificação de padrões recorrentes de múltiplas contas, embora não tenham melhorado o desempenho agregado nos casos de fraude nativos do PaySim.

Desempenho da Investigação Agêntica

• Acurácia: Na amostra de 60 casos, o agente alcançou 65,0% de acurácia (39/60 corretos), enquanto o limiar direto da pontuação do classificador alcançou 71,7% de acurácia (43/40 corretos).
• Análise de Desacordo: O agente discordou do classificador em 8 casos. Em 6 desses 8 casos, o agente substituiu uma decisão correta do classificador por um veredito incorreto. Nos 2 casos restantes, ele corrigiu um erro do classificador.
• Qualidade da Justificativa: Apesar de tomar decisões incorretas, o agente produziu justificativas escritas coerentes e plausíveis em todos os casos, muitas vezes priorizando incorretamente a distância para os casos de referência em relação à pontuação do classificador.
• Regra de Escalonamento: A regra exploratória baseada em desacordo sinalizou 2 dos erros do agente para revisão humana sem sinalizar nenhuma decisão correta do agente nesta amostra, sugerindo que o desacordo pode servir como um sinal para escalonamento, embora este achado seja limitado pelo pequeno tamanho da amostra.

Significância e Alegações

O artigo conclui que os componentes de um sistema de fraude em camadas contribuem com valor apenas sob condições específicas, e que uma justificativa plausível de um agente de investigação não é evidência de uma decisão melhor.

1. Valor Condicional de Sinais: Recursos de grafo e sinais de anomalia não melhoram a detecção universalmente. Sua utilidade é condicional: sinais de autoencoder podem ajudar a classificar a fraude dentro de casos incertos, enquanto recursos de grafo são críticos para detectar padrões coordenados de múltiplas contas (anéis de fraude) que atributos de transação individuais ignoram.
2. Limites da Investigação Agêntica: O acesso a contexto adicional (valores SHAP, dados de grafo, casos de referência) e a capacidade de gerar justificativas estruturadas não permitiram que o agente de LLM superasse o classificador subjacente. De fato, o agente frequentemente introduziu erros enquanto mantinha um alto grau de confiança e coerência. Isso sugere que agentes atuando como "reorganizadores" de saídas de modelos existentes podem não melhorar inerentemente a qualidade da decisão.
3. Auditabilidade vs. Correção: O estudo distingue entre auditabilidade (a capacidade de reconstruir o processo de decisão) e correção. Um erro auditável continua sendo um erro. O valor do agente nesta arquitetura é enquadrado como uma camada de investigação e documentação limitada que prepara evidências para revisão humana, em vez de um tomador de decisão autônomo.
4. Escalonamento como Mecanismo de Controle: O desacordo entre o agente e o classificador, combinado com pontuações fortes do classificador, pode servir como um sinal transparente para escalar casos para revisão humana, embora isso exija validação em dados independentes.

Os autores enfatizam que estes achados são baseados em dados sintéticos e em uma configuração experimental específica. Eles pedem validação futura em dados de transações reais com divisões temporais e estudos de usuários com analistas de fraude para determinar se tais sistemas melhoram a eficiência operacional ou a qualidade da revisão em ambientes de produção.