TransactionGPT

O artigo apresenta o TransactionGPT (TGPT), um modelo fundamental treinado em bilhões de transações reais que utiliza uma arquitetura inovadora de 3D-Transformer para compreender trajetórias de pagamentos e superar modelos existentes na detecção de anomalias e na geração de transações futuras, oferecendo maior precisão e eficiência em comparação com modelos de linguagem grandes ajustados.

O essencial

Imagine que o Visa tem um "cérebro" gigante que aprendeu a entender o comportamento de bilhões de pessoas ao redor do mundo apenas olhando para o histórico de compras delas. Esse cérebro é chamado de TransactionGPT (ou TGPT).

Aqui está a explicação do papel, traduzida para uma linguagem simples e cheia de analogias:

1. O Problema: Um Quebra-Cabeça Muito Complexo

Pense nas suas compras diárias. Você vai ao mercado, depois ao posto de gasolina, depois ao restaurante. Cada compra tem muitas informações:

• O que você comprou? (Metadata)
• Onde foi? (Entidades, como o nome da loja)
• Quando foi? (Tempo)
• Detalhes extras? (Se você usou cupom, se é um cliente VIP, etc.)

Antes do TGPT, os computadores tinham dificuldade em juntar todas essas peças. Era como tentar montar um quebra-cabeça onde algumas peças são de plástico, outras de madeira, e algumas têm formatos estranhos. Os modelos antigos ou eram muito simples (ignorando detalhes) ou muito pesados (demoravam horas para pensar).

2. A Solução: O Arquiteto de 3 Dimensões (3D-Transformer)

O TGPT é como um arquiteto genial que construiu uma casa especial para organizar essas informações. Em vez de usar apenas uma sala, ele criou uma estrutura de 3 andares (3D) que trabalham juntos:

• Andar 1 (O Relógio): Foca no tempo. Ele olha para a sequência das compras: "Ah, a pessoa foi ao mercado de manhã e ao posto de gasolina à tarde". Ele entende o ritmo da vida da pessoa.
• Andar 2 (O Cartão de Visita): Foca nos detalhes da loja. Ele analisa o nome da loja, a categoria e o local. Ele sabe que "Starbucks" é diferente de "Walmart".
• Andar 3 (O Detetive de Dados): Foca nos números e regras específicas. Ele olha para valores, códigos e características técnicas que ajudam a prever o futuro.

A Mágica do "Token Virtual":
O grande desafio era fazer esses três andares conversarem sem criar um caos. Se eles tentassem falar todos de uma vez, a "conversa" ficaria muito barulhenta e lenta.
O TGPT inventou um tradutor mágico (chamado Virtual Token Layer). Imagine que, em vez de cada pessoa gritar sua opinião, elas escrevem um resumo curto e inteligente em um bilhete. Esses bilhetes (tokens virtuais) são passados de um andar para o outro, permitindo que o sistema entenda tudo sem se perder no ruído. Isso torna o processo super rápido e eficiente.

3. O Que Ele Sabe Fazer?

Com esse cérebro treinado em bilhões de transações reais, o TGPT consegue fazer coisas impressionantes:

• Prever o Futuro: Se você costuma comprar café às 8h da manhã, o TGPT sabe que, se você não comprar hoje, algo está estranho. Ele pode até "adivinhar" qual loja você vai visitar a seguir.
• Caçar Golpes (Detecção de Anomalias): Se você mora no Brasil e, de repente, o TGPT vê uma compra de um carro de luxo na Rússia às 3 da manhã, ele levanta a mão e diz: "Isso não parece você!". Ele é muito melhor em achar fraudes do que os sistemas antigos.
• Entender o "Gosto" das Lojas: Ele consegue agrupar restaurantes que ficam perto uns dos outros ou que têm clientes parecidos, mesmo sem saber o endereço exato, apenas olhando para os padrões de quem come lá.

4. Por que é Melhor que os "Gigantes" de Texto (LLMs)?

Muitas pessoas tentaram usar modelos de Inteligência Artificial feitos para escrever poemas ou responder perguntas (como o ChatGPT) para analisar transações bancárias.

• O Problema: Pedir para um modelo de texto ler uma tabela de números é como pedir para um músico de jazz tocar uma partitura de música clássica. Ele consegue, mas é ineficiente, lento e gasta muita energia.
• O TGPT: É como um instrumento feito sob medida para essa música. Ele é muito mais rápido (300 vezes mais rápido em alguns testes), consome menos energia e é muito mais preciso porque foi treinado especificamente para entender números e padrões de compras, não palavras.

Resumo Final

O TransactionGPT é como um detetive superinteligente que nunca dorme. Ele olha para o histórico de compras de todo o mundo, entende os hábitos das pessoas, aprende a diferença entre uma compra normal e uma fraude, e faz tudo isso de forma extremamente rápida e eficiente, graças a uma arquitetura nova que organiza as informações em três camadas que conversam perfeitamente entre si.

É um passo gigante para tornar o pagamento mais seguro e inteligente no futuro!

Resumo técnico

Resumo Técnico: TransactionGPT (TGPT)

1. Problema e Motivação

O artigo aborda a lacuna na aplicação de Modelos de Base (Foundation Models) no domínio de dados de transações de pagamento. Embora modelos baseados em Transformers tenham revolucionado áreas como NLP e Visão Computacional, sua aplicação em dados de pagamento é limitada devido à natureza complexa e específica do domínio.

Os principais desafios identificados são:

• Estrutura de Dados MMTT: Os dados de transação são Multi-Modais, Temporais e Tabulares (MMTT). Diferente de séries temporais tradicionais (valores escalares) ou texto, cada transação contém campos heterogêneos (metadados, entidades como ID de comerciante, e features específicas de tarefas downstream) com cardinalidades e escalas muito diferentes.
• Inadequação de Modelos Existentes:
  • Modelos de linguagem (LLMs) são computacionalmente caros e ineficazes, pois os dados de transação possuem pouca riqueza semântica linguística.
  • Modelos tabulares existentes lidam apenas com dados de pequena escala ou exigem nomes de colunas semanticamente ricos.
  • Modelos de séries temporais não conseguem capturar a complexidade multidimensional e de alta cardinalidade das transações.
• Requisitos Industriais: É necessário um modelo que seja escalável, eficiente em termos de latência e capaz de suportar diversas tarefas downstream (detecção de anomalias, previsão, representação).

2. Metodologia: Arquitetura TransactionGPT

O TransactionGPT (TGPT) é um modelo de base treinado em bilhões de transações reais da rede de pagamentos da Visa. Sua inovação central é uma arquitetura 3D-Transformer combinada com um mecanismo de Token Virtual.

2.1 Evolução da Arquitetura

Os autores evoluíram o modelo de 1D para 3D para lidar com as diferentes modalidades de dados:

1. TGPT-1D: Utiliza um único Transformer temporal para capturar dependências entre transações. As interações dentro da transação são feitas por um MLP tabular (ineficiente para dados complexos).
2. TGPT-2D: Adiciona um segundo Transformer dedicado aos metadados (interação entre campos dentro da mesma transação), substituindo o MLP.
3. TGPT-3D: Introduz um terceiro Transformer dedicado exclusivamente às Features (características específicas de tarefas downstream). Isso é crucial porque as features possuem requisitos de embedding diferentes dos metadados (ex: IDs de comerciantes com milhões de valores únicos vs. features numéricas de baixa cardinalidade).

2.2 Fusão de Modalidades e Token Virtual (VTL)

O maior desafio é fundir embeddings de tamanhos e dimensões diferentes (metadados grandes vs. features pequenas) sem criar gargalos de informação ou custos computacionais proibitivos.

• Solução Proposta: O Virtual Token Layer (VTL).
• Mecanismo: O VTL transforma um conjunto de embeddings em um número arbitrário de "tokens virtuais" suaves. Ele utiliza dois canais:
  • Linear: Combinação linear ponderada (softmax) para preservar a informação original e permitir propagação de gradiente.
  • Não Linear: Um MLP para rescalonar e aumentar a capacidade expressiva.
• Aplicação:
  • Tokenização de Features: Features são convertidas em tokens virtuais de alta dimensão para se fundirem com metadados.
  • Tokenização de Transação: O resultado é convertido em tokens de transação virtuais para entrada no Transformer Temporal.
• Benefício: Permite fusão eficaz de modalidades, controle flexível da largura de banda de informação e redução da complexidade computacional do Transformer Temporal.

2.3 Treinamento e Objetivos

• Objetivo Auto-supervisionado: Prever propriedades futuras da transação (tempo, valor, comerciante, MCC) baseada no histórico.
• Objetivo Supervisionado: Classificação para tarefas downstream (ex: detecção de fraude).
• Otimização: Combinação de perdas auto-supervisionadas e supervisionadas, com técnicas como Weight Tying (para reduzir parâmetros em classes de alta cardinalidade) e embeddings compostos para lidar com milhões de comerciantes.

3. Principais Contribuições

1. TransactionGPT (TGPT): O primeiro modelo de base treinado em escala de bilhões de transações para entender e gerar trajetórias de transações de consumo.
2. Arquitetura 3D-Transformer: Uma estrutura inovadora que codifica hierarquicamente features, metadados e padrões temporais, resolvendo conflitos de embedding entre diferentes tipos de dados.
3. Mecanismo de Token Virtual (VTL): Uma técnica de fusão de modalidades que supera os gargalos de informação e custo computacional, permitindo a integração eficiente de dados heterogêneos.
4. Análise de Escalabilidade e Eficiência: Demonstra que modelos especializados em MMTT superam LLMs genéricos em precisão e velocidade de inferência para tarefas de transação.

4. Resultados Experimentais

Os modelos foram avaliados em três tarefas principais usando conjuntos de dados reais da Visa:

4.1 Geração de Transações e Detecção de Anomalias (T-JGC)

• Desempenho: O TGPT-3D-FMT (com fusão completa via VTL) superou o modelo de produção atual em 22% na métrica de detecção de anomalias (AD).
• Geração: Alcançou alta precisão na previsão de MCCs (~50%) e comerciantes (>30%) em um espaço de 3 milhões de opções.
• Comparação: Superou modelos baselines como Transformers4Rec e Feat-Transformer. A fusão de modalidades (3D) foi crítica, especialmente para detecção de anomalias.

4.2 Geração de Trajetória de Jantar (T-RES)

• O modelo conseguiu prever o próximo restaurante e a localização futura com alta precisão, mesmo sem ingestão direta de dados de localização, demonstrando que aprendeu similaridades espaciais e padrões de mobilidade.
• Visualização UMAP mostrou que os embeddings agrupam corretamente restaurantes por cidade e aeroporto.

4.3 Previsão de MCC vs. LLMs (T-MCC)

• Eficiência: O TGPT-2D (56M parâmetros) superou o melhor LLM de peso aberto (Llama-2-7B, 7B parâmetros) em precisão de previsão de MCC.
• Velocidade: O TGPT foi 300x mais rápido na inferência (0.27 ms vs 84.9 ms) e usou 92% menos parâmetros.
• Isso prova que modelos especializados em dados tabulares/temporais são mais eficientes que LLMs genéricos para este domínio.

4.4 Lei de Escala

• O desempenho do TGPT melhorou consistentemente com o aumento do volume de dados de treinamento, indicando que o modelo ainda tem potencial de escala (scaling law) para capacidades ainda maiores.

5. Significado e Impacto

O trabalho estabelece um novo paradigma para a modelagem de dados de pagamento:

• Validação Prática: Demonstra que modelos de base são viáveis e superiores para dados de transação em escala industrial, superando modelos de produção existentes.
• Eficiência Operacional: Oferece uma alternativa muito mais rápida e barata do que o uso de LLMs para tarefas de previsão de transações.
• Guia para a Indústria: Fornece diretrizes práticas sobre arquitetura, fusão de modalidades e treinamento para dados MMTT, que podem ser aplicados em outros setores com dados tabulares temporais complexos.
• Futuro: Abre caminho para a integração de conhecimento de LLMs (via embeddings iniciais) com modelos de base especializados, potencializando ainda mais a compreensão de dinâmicas de transação.

Em resumo, o TransactionGPT é um marco na aplicação de IA generativa ao setor financeiro, provando que uma arquitetura especializada (3D-Transformer + VTL) é essencial para extrair valor de dados de pagamento complexos, superando tanto modelos tradicionais quanto soluções genéricas baseadas em LLM.