PRAGMA: Revolut Foundation Model

O artigo apresenta o PRAGMA, uma família de modelos de base pré-treinada com base em Transformers para sequências de eventos bancários heterogêneos, que oferece representações gerais de alto desempenho para tarefas downstream como avaliação de crédito, detecção de fraudes e previsão de valor vitalício.

O essencial

Imagine que o banco é como um grande detetive tentando entender a vida de cada cliente. Tradicionalmente, para tomar decisões (como aprovar um empréstimo ou detectar uma fraude), o banco usava "receitas" separadas para cada caso. Era como ter um cozinheiro diferente para fazer apenas bolo, outro apenas para fazer sopa e outro apenas para assar pão. Cada um era bom na sua tarefa, mas nenhum deles entendia o "sabor geral" da cozinha inteira.

O PRAGMA, apresentado neste artigo, é como um Super-Chefe de Cozinha que aprendeu a cozinhar tudo ao mesmo tempo, provando milhões de pratos diferentes antes de tentar fazer qualquer coisa nova.

Aqui está a explicação do funcionamento desse "Super-Chefe" usando analogias do dia a dia:

1. O Problema: A Bagunça dos Dados

A vida financeira de uma pessoa é uma mistura caótica de coisas:

• Eventos: Você comprou um café, transferiu dinheiro, clicou num botão no app, recebeu um e-mail.
• Perfil: Você tem 30 anos, mora no Reino Unido, usa um iPhone e tem um plano "Metal".

Os modelos antigos tentavam ler isso como se fosse um livro de texto. O problema? Se você tentar ler "Transferência de 100 libras" como texto, o computador perde a noção de que "100" é um número grande e "libras" é uma moeda. É como tentar entender uma receita de bolo lendo apenas as letras soltas, sem entender que "2 xícaras" é uma medida e "farinha" é um ingrediente.

2. A Solução: O PRAGMA (O Tradutor Universal)

Os criadores do PRAGMA (da Revolut e da NVIDIA) criaram um modelo que não lê o texto, mas entende a estrutura dos dados. Eles usaram uma técnica chamada Tokenização Chave-Valor-Tempo.

• A Analogia do Lego: Imagine que cada evento financeiro é um bloco de Lego.
  • A Chave (Key) é a cor do bloco (ex: "Tipo de transação").
  • O Valor (Value) é o que está escrito no bloco (ex: "Pagamento de cartão").
  • O Tempo (Time) é a ordem em que você encaixou os blocos.

O PRAGMA aprende a montar essas estruturas de Lego de forma que o computador entenda: "Ah, quando alguém faz um pagamento de cartão depois de ver uma tela de confirmação, isso é normal. Mas se fizer antes, é suspeito!"

3. Como ele aprende? (O Treinamento)

O PRAGMA foi treinado com uma técnica chamada Modelagem Mascarada.

• A Analogia do Jogo da Memória: Imagine que você tem um diário de 20 anos de vida financeira. O computador pega esse diário, cobre aleatoriamente algumas páginas (esconde alguns eventos) e pede para você adivinhar o que estava escrito ali, olhando apenas para o que veio antes e depois.
• Ao fazer isso bilhões de vezes com dados de 26 milhões de pessoas, o PRAGMA aprende padrões profundos. Ele entende que "pessoas que fazem X, Y e Z geralmente têm risco de não pagar o empréstimo" ou "esse padrão de gastos é típico de fraude".

4. A Magia: Um Modelo para Tudo

O grande trunfo do PRAGMA é que ele é um Modelo de Fundação.

• Antes: O banco tinha que treinar um modelo do zero para cada tarefa (um para fraude, outro para crédito, outro para vender produtos). Era lento e custoso.
• Agora: O PRAGMA já sabe "cozinhar" tudo. Para uma tarefa nova, o banco só precisa fazer um ajuste fino (como dar um tempero extra no prato pronto).
  • Eles usam uma técnica chamada LoRA (Adaptação de Baixo Rank), que é como usar um "adesivo" inteligente no modelo. Você não precisa reescrever todo o livro, apenas cola algumas páginas novas para ensinar o modelo a focar no que é importante para aquela tarefa específica.

5. Os Resultados: O Que Aconteceu?

O papel mostra que esse "Super-Chefe" é incrível:

• Crédito: Ele prevê quem vai pagar o empréstimo muito melhor do que os especialistas antigos (+130% de melhoria em alguns casos!).
• Fraude: Ele pega mais fraudes e deixa menos clientes inocentes serem bloqueados.
• Engajamento: Ele sabe exatamente qual e-mail enviar para um cliente que desistiu de um empréstimo para fazê-lo voltar.

O único ponto fraco: O PRAGMA olha para a vida de uma pessoa de cada vez. Ele não consegue ver a "rede" de conexões entre várias pessoas (como em casos de lavagem de dinheiro onde um grupo age em conjunto). Para isso, ele ainda precisa de ajuda de outros sistemas.

Resumo Final

O PRAGMA é como transformar o banco de uma fábrica de ferramentas separadas em uma inteligência central. Ele lê a história inteira da sua vida financeira (compras, navegação, saldo, idade) e entende o contexto melhor do que qualquer especialista humano ou modelo antigo.

Agora, em vez de ter 100 modelos diferentes lutando para entender seus dados, o banco tem um único cérebro que aprendeu com tudo e pode ser adaptado rapidamente para qualquer decisão, economizando tempo, dinheiro e, principalmente, entendendo melhor o cliente.

Resumo técnico

1. O Problema

Os sistemas financeiros modernos geram volumes massivos de dados transacionais e de eventos que codificam sinais econômicos ricos. No entanto, modelar esses dados de forma eficiente apresenta desafios únicos que as arquiteturas de linguagem padrão (LLMs) não conseguem resolver diretamente:

• Heterogeneidade e Estrutura: Os registros bancários são tabelas variáveis com campos mistos (categóricos, numéricos e texto livre), diferindo da natureza sequencial uniforme do texto.
• Limitações da Serialização Textual: Transformar registros estruturados em texto para alimentar Transformers padrão infla o comprimento das sequências (cada nome de campo e delimitador vira tokens) e fragmenta valores numéricos, perdendo magnitude e ordem, o que é crítico para o raciocínio financeiro.
• Histórias Longas e Irregulares: As histórias dos usuários são longas, com ciclos diários/semanais fortes e eventos de tempos irregulares.
• Falta de Modelos Gerais: Trabalhos anteriores focam em fontes únicas de eventos ou em tarefas específicas (como apenas recomendação ou apenas detecção de fraude), ignorando o estado estático do perfil do usuário e a transferência entre múltiplas tarefas bancárias.

2. Metodologia: PRAGMA

O PRAGMA é uma família de modelos de base (foundation models) do tipo encoder projetada especificamente para histórias de usuários bancários multi-fonte.

2.1. Tokenização (Esquema Chave-Valor-Tempo)

Para lidar com a heterogeneidade dos dados, o modelo não trata tudo como texto. Cada ponto de dados é decomposto em três componentes:

• Tipo Semântico (Chave): Representado por um único token (ex: Type, Amount).
• Valor: Codificado de forma específica ao tipo:
  • Numéricos: Mapeados para "buckets" de percentis (aprendidos durante o treinamento).
  • Categóricos: Mapeados para um único token (evitando a fragmentação de códigos como MCC).
  • Textuais: Tokenizados com subpalavras (BPE).
• Coordenada Temporal: Codificada de duas formas:
  1. Tempo decorrido desde o último evento (transformação logarítmica suave para lidar com eventos de longo prazo).
  2. Componentes cíclicos (hora do dia, dia da semana, dia do mês) para capturar padrões temporais.

2.2. Arquitetura do Modelo

O PRAGMA utiliza uma arquitetura de três blocos principais:

1. Profile State Encoder: Processa o estado estático do perfil do usuário (ex: plano, saldo, região) e eventos de "vida inteira" (ex: data da primeira recarga).
2. Event Encoder: Codifica independentemente cada evento da história do usuário.
3. History Encoder: Funde as saídas dos dois encoders anteriores, contextualizando a sequência completa para gerar uma representação densa do registro do usuário.

O modelo é pré-treinado com Masked Language Modeling (MLM), onde subconjuntos aleatórios de tokens (eventos inteiros, chaves ou valores) são mascarados e o modelo deve reconstruí-los. Isso permite que o modelo aprenda representações bidirecionais ricas.

2.3. Adaptação para Tarefas (Fine-tuning)

Após o pré-treinamento, o modelo é adaptado para tarefas downstream de duas formas eficientes:

• Probing de Embeddings: O backbone é congelado e um cabeçalho linear leve é treinado sobre os embeddings extraídos.
• LoRA (Low-Rank Adaptation): Apenas uma pequena fração dos parâmetros (2-4%, nas camadas de atenção e MLP) é atualizada, permitindo especialização rápida sem esquecer o conhecimento prévio.

2.4. Infraestrutura de Treinamento

Para lidar com 24 bilhões de eventos e 207 bilhões de tokens, foram empregadas técnicas de engenharia avançada:

• Sequence Packing: Empacotamento de eventos em buffers planos para evitar padding excessivo.
• Dynamic Batching: Agrupamento de registros com base no número de eventos para criar batches retangulares eficientes.
• Truncamento Inteligente: Limitação de eventos por usuário mantendo a recência temporal.

3. Principais Contribuições

• Primeiro Encoder de Base para Bancos: Introdução do PRAGMA, escalando de 10M a 1B de parâmetros, o maior backbone de encoder publicado para sequências de eventos bancários de consumo.
• Arquitetura Híbrida: Combinação inovadora de tokenização chave-valor-tempo com um design de dois ramos (perfil + eventos) fundidos em um encoder de história.
• Eficiência de Adaptação: Demonstração de que o fine-tuning com LoRA em um backbone pré-treinado supera ou iguala o treinamento do zero, reduzindo drasticamente o custo computacional e a necessidade de engenharia de features manual.
• Escalabilidade e Generalização: Validação de que um único modelo pode servir como camada de representação universal para tarefas discriminativas diversas.

4. Resultados

O modelo foi avaliado em seis tarefas downstream distintas, superando consistentemente modelos específicos para cada tarefa (baselines):

• Pontuação de Crédito (Credit Scoring): Melhoria de +130,2% no PR-AUC e +12,4% no ROC-AUC. O modelo é excepcional em identificar sinais de baixa frequência e alto valor.
• Engajamento em Comunicação: Melhoria de +79,4% no PR-AUC, crucial para reativar usuários que abandonaram aplicações de crédito.
• Detecção de Fraude (Fraud Detection): Aumento de +16,7% na precisão e +64,7% no recall.
• Recomendação de Produtos: Ganho de +40,5% no mAP.
• Efeito de Escala: O modelo grande (1B parâmetros) trouxe ganhos significativos em tarefas complexas como pontuação de crédito, enquanto modelos menores (10M) já ofereciam representações competitivas para tarefas como previsão de valor de vida (LTV).
• Limitação Identificada: O modelo teve desempenho inferior em Anti-Lavagem de Dinheiro (AML). Isso ocorre porque a AML depende de estruturas relacionais entre múltiplos registros (rede), enquanto o PRAGMA processa histórias de eventos de forma isolada (por registro).

5. Significado e Impacto

O PRAGMA estabelece um novo paradigma para a inteligência artificial no setor financeiro:

• Unificação de Modelos: Permite consolidar múltiplos modelos específicos e de alta manutenção em um único sistema compartilhado, reduzindo a complexidade operacional.
• Representação Geral: Demonstra que sequências de eventos bancários heterogêneos podem admitir representações transferíveis, assim como texto e visão, apesar de suas estruturas complexas.
• Eficiência Operacional: A capacidade de usar probing linear ou LoRA reduz o tempo de treinamento e o custo de inferência, tornando a IA de ponta viável para aplicações em tempo real em bancos.
• Futuro: O trabalho aponta para a necessidade de futuras extensões que capturem interações entre registros (grafos de rede) para tarefas como AML, fechando a lacuna entre representações isoladas e contextos relacionais complexos.

Em resumo, o PRAGMA oferece uma camada de representação de propósito geral para aplicações financeiras, superando a necessidade de engenharia de features manual e alcançando desempenho superior em uma ampla gama de tarefas críticas de risco e negócios.