PRAGMA: Revolut Foundation Model

El artículo presenta PRAGMA, una familia de modelos fundacionales basados en Transformers que, mediante pre-entrenamiento auto-supervisado en secuencias de eventos bancarios heterogéneos, genera representaciones versátiles que logran un rendimiento superior en tareas financieras clave como la puntuación crediticia, la detección de fraude y la predicción del valor de vida del cliente.

Lo esencial

Imagina que un banco es como un gigantesco diario de vida de millones de personas. Cada vez que alguien hace una compra, envía dinero, abre una app o recibe un correo, se escribe una nueva línea en ese diario.

El problema es que estos diarios son un caos: están escritos en diferentes idiomas, tienen números, fechas, textos largos y abreviaturas, y no siguen un orden fijo. Antes, para entender a un cliente y predecir cosas (como si podría pagar un préstamo o si está intentando estafar), los bancos tenían que contratar a un ejército de "detectives" (ingenieros de datos) para leer cada diario a mano, buscar patrones específicos y crear reglas complicadas para cada tarea. Era lento, costoso y difícil de escalar.

PRAGMA es la solución que propone este paper. Es como un super-intelecto artificial que ha leído millones de esos diarios financieros y ha aprendido a entender el "idioma" del dinero y el comportamiento humano sin necesidad de que nadie le explique las reglas.

Aquí te explico cómo funciona con algunas analogías sencillas:

1. El "Traductor Universal" (Tokenización)

Imagina que el banco te habla en un código extraño: "20-11-02, tarjeta, pago, 14.99, libras".
Un modelo de lenguaje normal (como los que usas para chatear) trataría de leer esto como si fuera una historia de Harry Potter, lo cual no funciona bien con números y fechas.

PRAGMA tiene un traductor especial. En lugar de ver "14.99" como una palabra, lo ve como un "nivel de gasto" (como subir una escalera). En lugar de ver "tarjeta" como un texto, lo entiende como un "tipo de acción".

• La analogía: Es como si PRAGMA no leyera las palabras de un libro, sino que entendiera la estructura de la historia: quién hizo qué, cuándo y con qué herramienta. Separa la "etiqueta" (Key), el "valor" (Value) y el "tiempo" (Time) para entender el contexto perfecto.

2. Dos Mentes en Uno (Arquitectura)

PRAGMA tiene dos cerebros trabajando juntos:

• El Cerebro de la Identidad (Perfil Estático): Recuerda cosas que no cambian mucho, como "¿Qué plan tiene el cliente?", "¿Cuánto dinero tiene en la cuenta hoy?", "¿Qué país vive?". Es como saber si alguien es un estudiante o un ejecutivo.
• El Cerebro de la Acción (Historial de Eventos): Recuerda todo lo que ha hecho el cliente: compras, transferencias, clics en la app. Es como ver la película de sus últimos meses.

Estos dos cerebros se unen en un Cerebro Maestro (History Encoder) que combina la identidad de la persona con sus acciones recientes para formar una "foto mental" completa de quién es y qué necesita.

3. El Entrenamiento "Adivina la Palabra" (Pre-entrenamiento)

Para aprender, PRAGMA no leen libros de texto. Se leen a sí mismos.

• La analogía: Imagina que le mostramos a PRAGMA un historial de transacciones y le tapamos con un parche negro una parte (por ejemplo, ocultamos el monto de una compra). La misión de PRAGMA es adivinar qué había debajo del parche basándose en todo lo demás que vio antes y después.
• Al hacer esto millones de veces con datos reales, aprende patrones profundos: "Si alguien hace X, Y y Z, es muy probable que la siguiente acción sea W".

4. El "Chupete" para Adaptarse Rápido (LoRA)

Una vez que PRAGMA es un experto general, ¿cómo lo adaptamos para una tarea específica, como detectar fraudes?

• La analogía: Imagina que PRAGMA es un chef experto en cocinar de todo. Si quieres que cocine solo sushi, no necesitas reentrenarlo desde cero (lo cual sería lento y costoso). En su lugar, le pones un "chupete" (LoRA): una pequeña capa de adaptación que le dice: "Oye, hoy solo vamos a hacer sushi, ajusta un poquito tu técnica".
• Esto permite que el mismo modelo base sirva para todo: desde predecir si alguien pagará su tarjeta de crédito, hasta detectar estafas o recomendar productos, sin tener que construir un modelo nuevo para cada cosa.

¿Qué resultados obtuvo?

El paper muestra que este modelo "generalista" es mucho mejor que los modelos antiguos que hacían una sola tarea.

• Detección de Fraude: Es como tener un guardia de seguridad que no solo mira si algo es raro, sino que entiende el contexto completo de la persona. Mejoró la detección en un 64% en algunos casos.
• Puntuación de Crédito: Identificó mejor a quienes podrían no pagar, encontrando señales que los humanos o modelos viejos ignoraban.
• Recomendaciones: Sugirió productos que los clientes realmente querían, porque entendió sus hábitos de vida, no solo sus compras pasadas.

La única limitación (El caso del "Lavado de Dinero")

El paper admite una debilidad: PRAGMA mira a cada persona en aislamiento.

• La analogía: Si dos personas están lavando dinero, pero se comunican entre sí, PRAGMA podría no verlo porque solo mira el "diario" de una persona a la vez. Necesitaría ver la red completa de conexiones entre todas las personas para detectar ese tipo de crimen complejo. Por ahora, para eso sigue siendo mejor tener un sistema especializado.

En resumen

PRAGMA es como un bibliotecario universal que ha leído todos los diarios financieros del mundo. En lugar de tener que contratar a un experto diferente para cada pregunta (uno para fraudes, otro para créditos), ahora tienes a un solo experto que entiende el lenguaje de los datos financieros y puede responder a casi cualquier pregunta con una precisión increíble, ahorrando tiempo y dinero al banco.

Resumen técnico

Resumen Técnico: PRAGMA – Modelos Fundacionales para Historias de Usuarios Bancarios

1. El Problema

Los sistemas financieros modernos generan cantidades masivas de datos transaccionales y de eventos que codifican señales económicas ricas. Sin embargo, modelar eficientemente estas historias de usuarios bancarios multi-fuente presenta desafíos únicos que las arquitecturas estándar (como los LLMs de texto o modelos de series temporales genéricos) no abordan adecuadamente:

• Heterogeneidad de Datos: A diferencia del texto, los registros bancarios son tabulares, con campos mixtos (categóricos, numéricos y texto libre) y longitudes variables.
• Estructura Irregular: Las historias son de "cola larga" en duración, irregulares en el tiempo y presentan ciclos diarios/semanales fuertes.
• Limitaciones de la Serialización de Texto: Convertir registros estructurados a texto plano infla la longitud de la secuencia (cada nombre de campo y delimitador consume tokens) y fragmenta los valores numéricos, perdiendo magnitud y orden, lo cual es crítico para el razonamiento financiero.
• Falta de Modelos Generales: Los trabajos anteriores se centran en fuentes de datos únicas, omiten el estado estático del perfil del usuario o se evalúan en tareas muy específicas (ej. solo detección de fraude o solo recomendación), sin un modelo de fondo ("backbone") generalizable.

2. Metodología

PRAGMA es una familia de modelos fundacionales basados en Transformers de solo codificador (encoder-only), diseñados para aprender representaciones transferibles a partir de historias de eventos bancarios crudos.

2.1. Tokenización Desacoplada (Key-Value-Time)

Para manejar la heterogeneidad, PRAGMA no trata todo como texto. Utiliza un esquema de tokenización de tres componentes para cada punto de datos:

1. Tipo Semántico (Clave): Se tokeniza como un solo token (vocabulario de ~60 tokens) para que el modelo entienda el significado del campo (ej. "Amount", "Currency").
2. Valor: Se codifica según su tipo:
   • Numéricos: Mapeados a "buckets" de percentiles (aprendidos durante el entrenamiento).
   • Categóricos: Mapeados a un solo token (ej. códigos MCC).
   • Texto: Tokenizados con subpalabras (BPE).
3. Coordenada Temporal: Se codifica de dos formas:
   • Tiempo transcurrido: Logaritmo suave del tiempo desde el último evento (para eventos de larga duración).
   • Ciclos calendario: Hora del día, día de la semana, etc., para capturar patrones cíclicos.

2.2. Arquitectura del Modelo

PRAGMA utiliza un diseño de dos ramas que convergen en un codificador de historia:

1. Codificador de Estado del Perfil (Profile State Encoder): Procesa atributos estáticos o de "toda la vida" (ej. saldo, plan de suscripción, antigüedad de la cuenta) con sus respectivas marcas de tiempo.
2. Codificador de Eventos (Event Encoder): Procesa independientemente cada evento en la historia (transacciones, navegación en la app, comunicaciones).
3. Codificador de Historia (History Encoder): Fusiona las salidas de las dos ramas anteriores. Utiliza RoPE (Rotary Positional Embeddings) para codificar la distancia temporal relativa entre eventos y el estado del perfil.

El modelo se entrena con un objetivo de Modelado de Máscara (MLM): se enmascaran tokens aleatorios, eventos completos o tipos de claves, y el modelo debe reconstruirlos. Esto permite que cada token atienda tanto al contexto pasado como futuro.

2.3. Adaptación a Tareas (Fine-tuning)

Una vez pre-entrenado, PRAGMA se adapta a tareas específicas mediante dos métodos eficientes:

• Sonda de Embeddings (Embedding Probe): Se congela el modelo base y se entrena una capa lineal ligera sobre los embeddings extraídos.
• Ajuste Fino con LoRA (Low-Rank Adaptation): Se actualiza solo un pequeño porcentaje de parámetros (2-4%, específicamente en proyecciones QKV y capas MLP) manteniendo el resto del modelo congelado. Esto evita el olvido catastrófico y reduce costos computacionales.

2.4. Infraestructura de Entrenamiento

• Datos: 26 millones de registros de usuarios (24 mil millones de eventos, 207 mil millones de tokens) de 111 países.
• Empaquetado de Secuencias (Sequence Packing): Para evitar el desperdicio de cómputo por relleno (padding), los eventos se empaquetan en buffers planos y se procesan con kernels de atención de longitud variable.
• Escalabilidad: Se entrenaron variantes de 10M, 100M y 1B de parámetros.

3. Contribuciones Clave

1. PRAGMA: La familia de modelos de codificador más grande publicada para secuencias de eventos bancarios de consumo (hasta 1B de parámetros). Combina tokenización clave-valor-tiempo con un diseño de doble rama (perfil + eventos).
2. Receta de Pre-entrenamiento Eficiente: Un enfoque basado en MLM, empaquetado de secuencias y agrupación dinámica que permite manejar historias largas e irregulares sin pérdida de información crítica.
3. Evaluación Exhaustiva: Demostración de que un solo modelo pre-entrenado supera a modelos específicos de tareas en múltiples dominios (crédito, fraude, LTV, etc.), reduciendo la necesidad de ingeniería de características manual.
4. Validación de LoRA: Evidencia de que el ajuste fino con LoRA iguala o supera el entrenamiento desde cero, permitiendo consolidar múltiples modelos en uno solo.

4. Resultados

Los resultados se reportan como mejoras relativas respecto a modelos específicos de tareas (baselines):

• Rendimiento General: PRAGMA supera consistentemente a los baselines en todas las tareas evaluadas.
  • Puntuación de Crédito (Credit Scoring): Mejora del +130.2% en PR-AUC y +12.4% en ROC-AUC.
  • Compromiso en Comunicaciones: Mejora del +79.4% en PR-AUC.
  • Detección de Fraude: Mejora del +64.7% en Recall.
  • Recomendación de Productos: Mejora del +40.5% en mAP.
• Efecto de la Escala: El aumento de parámetros (de 10M a 1B) ofrece ganancias significativas en tareas complejas como la puntuación de crédito (+35.2% en PR-AUC para el modelo grande vs. pequeño), mientras que modelos más pequeños son suficientes para tareas como la predicción de LTV.
• Importancia del Estado del Perfil: La rama dedicada al perfil estático es crucial para tareas donde los atributos estáticos son discriminativos (ej. Crédito y Fraude), aportando mejoras de hasta +31.8% en PR-AUC. En tareas puramente basadas en patrones de transacciones (ej. LTV), su impacto es menor pero positivo.
• Limitaciones: El modelo tiene dificultades en tareas altamente relacionales como la Lucha contra el Lavado de Dinero (AML), donde se requiere información de red entre múltiples registros. En este caso, PRAGMA rindió un 47.1% peor que el baseline, ya que procesa historias de forma aislada.

5. Significado e Impacto

El artículo demuestra que las secuencias de eventos bancarios multi-fuente, a pesar de su estructura heterogénea y temporalidad irregular, admiten representaciones transferibles similares a las del texto y la visión.

• Eficiencia Operativa: Permite reemplazar múltiples modelos específicos de alto mantenimiento por un único sistema compartido, reduciendo la complejidad de ingeniería y los costos de infraestructura.
• Generalización: La capacidad de aprender de datos crudos sin ingeniería de características manual extensiva acelera el despliegue de nuevas soluciones financieras.
• Futuro: El trabajo establece una base para futuros modelos que integren interacciones entre registros (grafos) para resolver tareas relacionales como el AML, cerrando la brecha actual.

En resumen, PRAGMA establece un nuevo estándar para la representación de datos financieros, demostrando que los modelos fundacionales pueden ser la capa de representación universal para aplicaciones bancarias.