Resumo Técnico: Transformer Contrastivo Temporal para Detecção de Crimes Financeiros

1. Declaração do Problema

As instituições financeiras enfrentam um mandato duplo na monitorização de transações: detetar fraudes de pagamento em tempo real e identificar padrões indicativos de branqueamento de capitais (AML). Embora ambos os problemas envolvam a deteção de comportamentos anómalos através de sequências de eventos financeiros, os padrões atuais da indústria dependem fortemente de sistemas separados baseados em regras ou de modelos de aprendizagem supervisionada que avaliam transações amplamente de forma isolada. Estas abordagens clássicas sofrem de duas limitações primárias:

1. Generalização: Características criadas manualmente e regras baseadas em limiares lutam para se adaptar a padrões adversários em evolução, exigindo manutenção manual contínua.
2. Escassez e Heterogeneidade de Dados: Dados rotulados em contextos de fraude e AML são escassos e altamente desequilibrados, limitando a eficácia de abordagens totalmente supervisionadas. Além disso, os dados de transação são intrinsecamente heterogéneos, combinando identificadores categóricos, valores monetários contínuos, intervalos temporais e agregados derivados, tornando difícil a construção de representações unificadas.

O artigo postula que os comportamentos de fraude e branqueamento manifestam-se como padrões estruturados e sequenciais que se desenrolam ao longo do tempo, e não como anomalias isoladas, necessitando de modelos que possam capturar o contexto temporal sem depender de rótulos escassos.

2. Metodologia: O Transformer Contrastivo Temporal (TCT)

Os autores propõem o Transformer Contrastivo Temporal (TCT), um quadro de aprendizagem de representações auto-supervisionado concebido para mapear sequências de transações para vetores de incorporação compactos utilizando dados não rotulados. A arquitetura integra dois componentes complementares:

2.1 Arquitetura

• Backbone Transformer de Fusão Temporal (TFT): O modelo utiliza a arquitetura TFT, reaproveitada de previsão de múltiplos horizontes para aprendizagem de representações. Inclui:
  • Rede de Seleção de Variáveis (VSN): Atribui pesos de importância suave às características de entrada, permitindo que o modelo selecione adaptativamente as variáveis relevantes.
  • Codificação Temporal Hierárquica: Uma estrutura recorrente de dois estágios. Um codificador de curto prazo (LSTM/GRU) processa subsequências locais para capturar dinâmicas de granularidade fina. Um codificador de longo prazo processa depois resumos dessas subsequências para modelar tendências de longo prazo.
  • Separação Estático-Dinâmica: Para evitar que o modelo aprenda atalhos baseados na identidade estática da entidade (por exemplo, atributos específicos do cliente) em vez da evolução comportamental, a implementação atual exclui características estáticas do objetivo contrastivo, focando-se exclusivamente em características transacionais dinâmicas.

2.2 Objetivo de Treino: Codificação Preditiva Contrastiva (CPC)

O modelo é treinado utilizando um objetivo auto-supervisionado de Codificação Preditiva Contrastiva.

• Mecanismo: O codificador gera um vetor de contexto a partir de subsequências de transações passadas. Uma função preditiva projeta este contexto para uma representação latente futura.
• Função de Perda: O modelo é treinado para distinguir o verdadeiro estado latente futuro (par positivo) de um conjunto de amostras negativas (estados futuros de outras sequências no mini-lote) utilizando a perda InfoNCE.
• Objetivo: Este objetivo maximiza a informação mútua entre o contexto e os estados latentes futuros, forçando o codificador a aprender estruturas temporais preditivas e dinâmicas comportamentais sem alvos rotulados.

2.3 Aplicação a Montante

Após o pré-treino, os parâmetros do codificador são congelados. As incorporações resultantes são utilizadas como características de entrada para um classificador supervisionado com gradiente impulsionado (XGBoost) para gerar pontuações de risco para deteção de fraude. As incorporações também podem ser utilizadas em métodos de deteção de anomalias não supervisionados.

3. Contribuições Principais

• Proposta de Quadro: Introdução do TCT, um quadro inovador que combina a arquitetura TFT com objetivos CPC especificamente para sequências de transações financeiras.
• Abordagem Auto-supervisionada: Demonstração de um método para aprender representações temporais a partir de grandes quantidades de dados de transação não rotulados, abordando a escassez de dados de fraude/AML rotulados.
• Avaliação Empírica: Uma avaliação rigorosa das incorporações aprendidas contra baselines fortes e engenharia de domínio em um cenário realista de deteção de crimes financeiros.

4. Resultados Experimentais

O estudo foi conduzido num conjunto de dados real de pagamentos retalhistas compreendendo milhões de transações. Os modelos foram avaliados utilizando AUC-ROC num conjunto de teste retido.

• Desempenho Apenas com Incorporações: As incorporações do TCT, quando utilizadas em isolamento com um classificador XGBoost, alcançaram um AUC-ROC de 0,8644. Isto indica que o modelo captura com sucesso estruturas temporais não triviais e sinais comportamentais.
• Desempenho da Baseline: Uma baseline forte utilizando 30 características comportamentais criadas por especialistas (frequência de transação, recência, novidade, etc.) alcançou um AUC-ROC de 0,9245.
• Desempenho Combinado: Quando as incorporações do TCT foram concatenadas com as características de engenharia de domínio, o modelo resultante alcançou um AUC-ROC de 0,9205.
• Análise:
  • A adição de incorporações aprendidas não produziu uma melhoria mensurável sobre a forte baseline baseada em características (uma ligeira diminuição de 0,004 no AUC, interpretada como negligenciável dada a divisão única).
  • A análise da curva ROC mostrou um comportamento global quase idêntico entre a baseline e o modelo combinado, com desvios locais menores.
  • A análise do espaço de incorporação (UMAP) revelou que as representações aprendidas capturam implicitamente padrões estruturais (como clusters comportamentais relacionados à idade) sem supervisão explícita, e que as transações fraudulentas exibem maior variabilidade no espaço de incorporação em comparação com as legítimas.

5. Significado e Alegações

O artigo mantém uma postura modesta e realista relativamente às suas descobertas:

• Paridade como Progresso: O significado principal não é a conquista imediata de ganhos de desempenho de última geração, mas a demonstração de que representações temporais auto-supervisionadas podem aproximar o poder preditivo de características de engenharia de domínio. Alcançar a paridade com uma baseline forte e manualmente criada utilizando apenas representações aprendidas é apresentado como um marco intermediário significativo.
• Sobreposição de Representações: A falta de valor aditivo ao combinar incorporações com características criadas por engenharia sugere que as representações aprendidas atuais sobrepõem-se em grande parte às abstrações de características existentes. O modelo captura os mesmos sinais comportamentais que os especialistas já codificaram manualmente.
• Direção Futura: Os resultados posicionam o TCT como uma direção promissora para reduzir a dependência da engenharia manual de características. Os autores argumentam que, embora a abordagem ainda não esteja pronta para produção, valida a viabilidade de aprender sinais temporais a partir de dados não rotulados. O trabalho futuro é identificado como necessário para refinar objetivos de treino, incorporar mineração de negativos difíceis e integrar estruturas relacionais (baseadas em grafos) para desbloquear valor aditivo além das características de engenharia atuais.

Em conclusão, o artigo estabelece que a aprendizagem de representações temporais auto-supervisionada é um caminho viável para automatizar a engenharia de características na deteção de crimes financeiros, mesmo que a iteração atual ainda não tenha superado o desempenho da experiência de domínio estabelecida.