PRAGMA: Revolut Foundation Model

Ce papier présente PRAGMA, une famille de modèles de fondation pré-entraînés sur des séquences d'événements bancaires hétérogènes qui, grâce à une architecture Transformer et un objectif d'apprentissage auto-supervisé, fournissent des représentations polyvalentes permettant d'obtenir des performances supérieures sur diverses tâches financières telles que le scoring de crédit, la détection de fraude et la prédiction de la valeur à vie.

L'essentiel

🏦 PRAGMA : Le "Super-Instinct" de la Banque

Imaginez que vous travaillez dans une banque. Chaque jour, des millions de personnes font des milliers de choses : elles envoient de l'argent, achètent des actions, consultent leur application, ou reçoivent des emails.

Traditionnellement, pour comprendre un client et prédire s'il est fiable (crédit), s'il est en danger (fraude) ou ce qu'il veut acheter (recommandation), les banques construisaient un petit robot spécialisé pour chaque tâche.

• Un robot pour le crédit.
• Un robot pour la fraude.
• Un robot pour les ventes.

C'est comme si vous aviez un couteau suisse avec 50 lames différentes, mais que vous deviez en changer à chaque fois que vous voulez couper, visser ou ouvrir une bouteille. C'est lourd, lent et coûteux.

PRAGMA, c'est l'idée de remplacer ces 50 robots par un seul "Super-Cerveau" capable de tout comprendre.

---

🧠 Comment fonctionne ce Super-Cerveau ?

1. L'Entraînement : Lire des millions de vies (sans les connaître)

Pour devenir intelligent, PRAGMA a été "nourri" avec l'historique de 26 millions de clients (anonymisés), soit 24 milliards d'événements.

• L'analogie : Imaginez un étudiant qui lit tous les journaux intimes, tous les reçus de caisse et tous les emails de millions de personnes pendant 25 mois. Il ne connaît pas les noms, mais il comprend les patterns (les habitudes).
• Le défi : Les données bancaires sont chaotiques. Ce n'est pas du texte simple comme un livre. C'est un mélange de chiffres, de dates, de catégories ("achat", "virement") et de textes libres.
• La solution de PRAGMA : Au lieu de transformer tout cela en texte (ce qui rendrait les phrases trop longues et confuses), PRAGMA utilise un système de "Clé-Valeur-Temps".
  • Clé : "Montant"
  • Valeur : "100 €"
  • Temps : "Il y a 2 jours"
    C'est comme si le modèle apprenait à lire les étiquettes d'un colis plutôt que de lire tout le contenu du colis mot par mot.

2. L'Architecture : Deux mémoires, une synthèse

PRAGMA est construit comme un cerveau humain avec deux zones de mémoire qui travaillent ensemble :

1. La Mémoire des Événements (Le Fil d'Actu) : Elle regarde ce que le client a fait récemment (achats, virements).
2. La Mémoire du Profil (La Carte d'Identité) : Elle regarde qui est le client (âge, type de compte, région, solde).
   • L'analogie : Si vous voyez quelqu'un acheter du pain tous les matins (événement), c'est bien. Mais si vous savez aussi qu'il habite à 500 mètres d'une boulangerie (profil), vous comprenez pourquoi il achète du pain. PRAGMA combine ces deux infos pour avoir une image complète.

3. L'Adaptation : Le "Couteau Suisse" qui se transforme

Une fois entraîné, PRAGMA est un expert généraliste. Mais comment l'utiliser pour une tâche précise ?

• Méthode 1 (Sonde) : On prend les "pensées" du modèle (ses embeddings) et on y accroche un petit module simple pour faire une prédiction. C'est rapide.
• Méthode 2 (LoRA) : C'est comme ajouter un petit "patch" ou un "sticker" intelligent sur le cerveau géant. On n'entraîne pas tout le cerveau (ce qui prendrait des mois), on ne modifie que 2 à 4 % des connexions pour le spécialiser.
  • Résultat : On obtient un expert en fraude ou un expert en crédit en quelques heures, sans avoir à réapprendre tout depuis zéro.

---

🚀 Les Résultats : Pourquoi c'est révolutionnaire ?

Les auteurs ont testé PRAGMA sur 6 tâches différentes (crédit, fraude, recommandation, etc.) et voici ce qui se passe :

1. Il bat les spécialistes : Dans presque tous les cas, le "Super-Cerveau" unique fait mieux que les petits robots spécialisés construits à la main.
   • Exemple : Pour détecter les clients à risque de défaut de paiement, PRAGMA a amélioré la détection de 130 % par rapport aux anciennes méthodes. C'est énorme !
2. Il économise de l'énergie : Au lieu d'entraîner 10 modèles différents, on en entraîne un seul. C'est plus écologique et moins cher.
3. Il comprend le contexte : Là où un modèle classique verrait juste "100 € dépensés", PRAGMA comprend "100 € dépensés un mardi soir sur une carte de crédit, alors que le client a un solde faible".

⚠️ Les Limites (Le "Mais...")

Le papier admet une faiblesse importante : PRAGMA est un peu aveugle aux relations entre les gens.

• L'analogie : PRAGMA regarde l'histoire d'une seule personne. Il ne voit pas si cette personne envoie de l'argent à un ami qui est lui-même un escroc.
• Pour la lutte contre le blanchiment d'argent (AML), qui repose sur les réseaux de connexions entre les gens, PRAGMA est moins performant que les méthodes actuelles. Il faut encore apprendre au modèle à regarder "autour" de la personne, pas juste "en elle".

🎯 En résumé

PRAGMA, c'est comme passer d'une bibliothèque où chaque livre est écrit par un auteur différent (modèles séparés) à une bibliothèque universelle où un seul bibliothécaire surdoué a lu tous les livres et peut répondre à n'importe quelle question, qu'il s'agisse de finance, de fraude ou de marketing.

C'est une avancée majeure qui permet aux banques de devenir plus intelligentes, plus rapides et plus sûres, en utilisant une seule technologie pour comprendre la complexité de la vie financière de millions de gens.

Résumé technique

1. Problématique et Contexte

Les systèmes financiers modernes génèrent des volumes massifs de données transactionnelles et événementielles riches en signaux économiques. Cependant, la modélisation efficace de ces données historiques bancaires multi-sources pose plusieurs défis majeurs que les architectures standard (comme les LLM classiques) ne résolvent pas bien :

• Hétérogénéité des données : Les historiques utilisateurs combinent des événements de longueurs variables (transactions, navigation in-app, communications) avec des états de profil statiques (durée du compte, plan, solde).
• Limitations de la sérialisation textuelle : Transformer ces enregistrements structurés en texte pour les alimenter dans un Transformer standard gonfle considérablement la longueur des séquences (chaque nom de champ et délimiteur devient des tokens) et dégrade la représentation des valeurs numériques (fragmentées en chiffres, perdant leur magnitude et leur ordre).
• Absence de modèles unifiés : Les travaux antérieurs se concentrent soit sur des tableaux fixes (TabTransformer), soit sur des séquences d'interactions simples (SASRec, BERT4Rec), ou sur des ledgers de transactions isolés. Il manquait un encodeur fondamental capable de gérer simultanément des événements multi-sources, des états de profil statiques et des contraintes de confidentialité strictes pour une large gamme de tâches discriminatives.

L'objectif est de créer un modèle fondamental capable d'apprendre des représentations transférables directement à partir de séquences d'événements bruts, sans ingénierie de caractéristiques (feature engineering) manuelle extensive.

2. Méthodologie : L'Architecture PRAGMA

PRAGMA est une famille de modèles encodeurs (basés sur l'architecture Transformer) pré-entraînés avec un objectif de modélisation masquée (Masked Language Modeling - MLM).

A. Tokenisation Clé-Valeur-Temps

Pour gérer l'hétérogénéité des données financières, les auteurs proposent un schéma de tokenisation décomposé en trois composantes pour chaque point de données :

1. Type Sémantique (Clé) : Représenté par un seul token (ex: Type, Amount, Currency).
2. Valeur : Encodée selon son type :
   • Numérique : Bucketisé par percentiles (les seuils sont appris).
   • Catégoriel : Un seul token (pour les valeurs à faible cardinalité comme les codes MCC).
   • Textuel : Tokenisé par sous-mots (BPE) pour les champs libres.
3. Coordonnée Temporelle : Encodée de deux manières :
   • Temps écoulé depuis le dernier événement (transformé logarithmiquement pour gérer les longues périodes).
   • Composantes cycliques (heure, jour de la semaine, jour du mois) pour capturer les cycles journaliers et hebdomadaires.

B. Architecture du Modèle

Le modèle utilise une architecture à deux branches fusionnées par un encodeur d'histoire :

1. Encodeur d'État de Profil (Profile State Encoder) : Traite les attributs statiques et les événements "tout au long de la vie" (ex: date de création du compte) avec des embeddings temporels spécifiques (RoPE).
2. Encodeur d'Événements (Event Encoder) : Traite chaque événement de l'historique de manière indépendante avant de les contextualiser.
3. Encodeur d'Histoire (History Encoder) : Fusionne les sorties des deux branches précédentes. Il utilise une attention bidirectionnelle pour contextualiser l'ensemble de l'historique utilisateur.

Le modèle est disponible en trois tailles : PRAGMA-S (10M), PRAGMA-M (100M) et PRAGMA-L (1B) de paramètres.

C. Pré-entraînement et Adaptation

• Objectif : Modélisation masquée (MLM) où le modèle doit reconstruire des tokens masqués (au niveau du token, de l'événement entier, ou du type de clé).
• Infrastructures : Utilisation de techniques d'ingénierie avancées comme le sequence packing (remplissage dynamique sans padding) et le dynamic batching pour gérer des historiques de longueur très variable (jusqu'à 24 milliards d'événements).
• Adaptation (Fine-tuning) : Deux modes sont proposés pour les tâches en aval :
  • Probe d'embedding : Le modèle est gelé, seul un classifieur linéaire léger est entraîné sur les embeddings extraits.
  • LoRA (Low-Rank Adaptation) : Mise à jour d'une petite fraction des paramètres (2-4%) pour spécialiser le modèle sans oublier les connaissances générales.

3. Contributions Clés

1. Premier Encodeur Fondamental Bancaire Multi-Sources : PRAGMA est, à notre connaissance, le plus grand encodeur publié pour les séquences d'événements bancaires grand public, allant de 10M à 1B de paramètres.
2. Tokenisation Spécifique au Domaine : Une approche qui préserve la structure tabulaire et les relations numériques, contrairement à la sérialisation textuelle naïve.
3. Architecture à Double Branche : Une conception novatrice séparant explicitement l'état de profil statique de l'historique dynamique, permettant de capturer à la fois les signaux temporels et contextuels.
4. Efficacité de l'Adaptation : Démonstration que le LoRA fine-tuning sur un backbone pré-entraîné égale ou dépasse l'entraînement complet à partir de zéro, tout en réduisant considérablement l'empreinte de calcul et de stockage.

4. Résultats Expérimentaux

Les évaluations ont été menées sur six tâches bancaires distinctes (scoring de crédit, détection de fraude, engagement communication, recommandation de produits, transactions récurrentes, valeur à vie). Les résultats sont présentés en amélioration relative par rapport à des modèles spécifiques à la tâche (baselines).

• Performance Globale : PRAGMA surpasse systématiquement les modèles spécifiques à la tâche, même avec une seule architecture partagée.
  • Scoring de crédit : +130,2 % d'amélioration sur la métrique PR-AUC (crucial pour les classes minoritaires).
  • Engagement communication : +79,4 % sur PR-AUC.
  • Détection de fraude : +64,7 % sur le Rappel (Recall) et +16,7 % sur la Précision.
  • Recommandation de produits : +40,5 % sur le mAP.
• Impact de l'Échelle : L'augmentation de la taille du modèle (de 10M à 1B) apporte des gains significatifs sur les tâches complexes comme le scoring de crédit (+35,2 % PR-AUC pour le modèle L vs S), tandis que les modèles plus petits suffisent pour des tâches comme la prédiction de la valeur à vie.
• Importance de l'État de Profil : L'ablation de la branche "État de Profil" montre une baisse drastique de performance sur le scoring de crédit (-31,8 % PR-AUC), confirmant que les attributs statiques sont essentiels pour certaines tâches discriminatives.
• Limites : Le modèle sous-performe sur la détection de blanchiment d'argent (AML) (-47,1 %), car cette tâche dépend de structures relationnelles inter-enregistrements (réseaux) que PRAGMA, traitant les historiques de manière isolée, ne capture pas nativement.

5. Signification et Conclusion

PRAGMA démontre que les séquences d'événements bancaires multi-sources peuvent bénéficier de représentations transférables, similaires à celles du texte ou de la vision, malgré leur structure hétérogène et irrégulière.

• Impact Opérationnel : Cela permet de consolider de nombreux modèles spécifiques à la tâche en un seul système partagé, réduisant la maintenance et les coûts de calcul.
• Efficacité : L'utilisation de techniques comme LoRA permet une spécialisation rapide avec un coût minimal.
• Futur : Le travail ouvre la voie à l'intégration de structures relationnelles (pour l'AML) et à l'extension de ces modèles à d'autres domaines financiers ou non financiers générant des flux d'événements complexes.

En résumé, PRAGMA établit une nouvelle référence pour la modélisation des données bancaires, passant d'une approche basée sur l'ingénierie manuelle de caractéristiques à une approche fondée sur l'apprentissage de représentations profondes à partir de données brutes.