PRAGMA: Revolut Foundation Model

Dit paper introduceert PRAGMA, een familie van foundation modellen voor multi-bron banktransacties die via zelftoezicht op grote datasets een universele representatielaag biedt voor diverse financiële toepassingen zoals kredietwaardigheid, fraudeopsporing en waardeprognoses.

De kern

Wat is PRAGMA?

Stel je voor dat een bank een enorme bibliotheek heeft. In deze bibliotheek staat niet alleen een boekje over je spaarrekening, maar ook een dagboek van elke keer dat je je app opende, elke keer dat je betaalde, elke keer dat je een email ontving en zelfs hoe je je voelt over je spaarplan.

Vroeger moesten banken voor elke vraag een nieuwe, specifieke "detective" aanwerven.

• Voor het voorspellen of iemand een lening niet terugbetaalt? Een detective voor krediet.
• Voor het opsporen van oplichting? Een detective voor fraude.
• Voor het raden welke producten je leuk vindt? Een detective voor aanbevelingen.

Elke detective moest zijn eigen boekjes lezen en zijn eigen notities maken. Dat was duur, traag en inefficiënt.

PRAGMA is als een super-detective die eerst een enorme training heeft gevolgd. Deze detective heeft miljoenen van die dagboeken gelezen om een algemeen inzicht te krijgen in hoe mensen zich gedragen. Zodra hij die training heeft afgerond, kan hij bijna elke vraag beantwoorden zonder dat je hem opnieuw hoeft te trainen. Hij is een "basismodel" (foundation model) dat alles begrijpt van jouw financiële leven.

Hoe werkt het? (De Drie Sleutels)

Het probleem met bankgegevens is dat ze heel rommelig zijn. Het zijn geen nette zinnen zoals in een boek, maar een mix van cijfers, datums, codes en tekst. Als je dit gewoon als tekst zou invoeren in een AI, zou het als een auto zijn die probeert te rijden door een modderpoel: de wielen (de AI) haken vast in de details.

PRAGMA lost dit op met drie slimme trucs:

1. De "Sleutel-Waarde-Tijd" Code:
   Stel je voor dat elke transactie een pakketje is.

   • Sleutel (Key): Wat is het? (Bijv. "Betaling").
   • Waarde (Value): Hoeveel? (Bijv. "€10").
   • Tijd (Time): Wanneer? (Bijv. "Vorige dinsdag").
     PRAGMA leert deze drie dingen apart te begrijpen, net zoals een kok die weet dat je eerst de ingrediënten moet snijden, dan de pan moet verwarmen en pas dan kunt koken. Het model ziet niet alleen de "€10", maar begrijpt dat het een uitgaande betaling was op een dinsdag.

2. Twee Hoofden, Één Brein:
   PRAGMA heeft twee speciale delen die samenwerken:

   • Het Profiel-Hoofd: Dit onthoudt wie je bent (bijv. "Je hebt al 5 jaar een rekening", "Je bent 30 jaar oud"). Dit is statisch, zoals je geboortedatum.
   • Het Gebeurtenis-Hoofd: Dit onthoudt wat je doet (je transacties, je app-gebruik). Dit is dynamisch en verandert elke seconde.
     Aan het einde worden deze twee hoofden samengevoegd in een Geschiedenis-Brein. Dit zorgt ervoor dat het model niet alleen kijkt naar wat je nu doet, maar ook begrijpt wie je bent terwijl je het doet.

3. Het "Verberg-en-Verdwaal" Spel (Masked Modelling):
   Tijdens de training krijgt PRAGMA een spelletje. Het model krijgt een lange lijst met transacties, maar sommige stukjes worden zwart geverfd (verhuld). De taak van PRAGMA is om te raden wat er onder die zwarte vlekken staat.

   • Voorbeeld: "Op dinsdag betaalde hij €10 bij [VERHULD]."
   • PRAGMA: "Ah, waarschijnlijk was het een supermarkt of een tankstation, gezien zijn eerdere aankopen."
     Door dit miljoenen keren te oefenen, leert het model de patronen in het menselijk gedrag. Het leert dat als iemand veel kleine bedragen uitgeeft op vrijdagavond, dat vaak iets anders betekent dan op maandagochtend.

Waarom is dit zo goed?

De auteurs hebben getest of deze ene super-detective beter is dan al die specifieke detectives. Het antwoord is een volmondig JA.

• Snelheid: Omdat hij al zo veel heeft geleerd, hoeft hij voor een nieuwe taak (zoals fraudedetectie) maar een heel klein beetje extra te leren (dit noemen ze LoRA fine-tuning). Het is alsof je een ervaren arts een korte cursus geeft over een nieuwe ziekte, in plaats van hem opnieuw medisch te laten studeren.
• Kwaliteit: In tests voor kredietverlening en fraudeopsporing sloeg PRAGMA de oude systemen op zijn hoofd. Hij vond bijvoorbeeld veel meer oplichters die de oude systemen over het hoofd zagen.
• Flexibiliteit: Je kunt één model gebruiken voor alles: van het voorspellen van je levensverwachting (LTV) tot het raden welke nieuwe app-functie je leuk vindt.

Waar zit de beperking?

Het model is niet perfect voor alles. Er is één taak waar het minder goed in is: Anti-Money Laundering (Geldwitwassen).

Waarom? Omdat geldwitwassen vaak gaat over een netwerk. Het gaat niet alleen om wat jij doet, maar om hoe jij in contact staat met honderden anderen.

• Vergelijking: PRAGMA is een uitstekende detective die jouw persoonlijke dagboek leest. Maar als criminele netwerken geld verplaatsen via een web van duizenden mensen, moet de detective ook het hele web kunnen zien, niet alleen jouw stukje. Omdat PRAGMA per persoon werkt, mist hij die "netwerk-bril". Voor dat soort taken is nog steeds een ander type model nodig.

Conclusie

PRAGMA is een revolutie voor de bankwereld. Het is als het overgaan van het hebben van honderden gespecialiseerde gereedschappen naar het hebben van één Zwitsers zakmes dat zo scherp is dat het bijna elke klus beter doet dan de oude gereedschappen.

Het leert van de chaos van echte bankdata, begrijpt de tijd en de context, en kan daarna met minimale moeite worden ingezet om je geld veiliger te maken, betere leningen te verlenen en je producten aan te raden die je echt nodig hebt.

Technische samenvatting

Probleemstelling

Moderne financiële systemen genereren enorme hoeveelheden transactie- en gebeurtenisdata die rijke economische signalen bevatten. Echter, het modelleren van deze data is complex vanwege drie specifieke uitdagingen die ze onderscheiden van natuurlijke taal of standaard tijdreeksen:

1. Heterogeniteit: Elke gebeurtenis is een variabele-lengte record met gemengde categorische, numerieke en vrije tekstvelden.
2. Onregelmatigheid: Gebruiksgeschiedenissen zijn lang, hebben een lange staart in lengte, en vertonen onregelmatige tijdsintervallen met sterke dag- en weekcycli.
3. Privacy en Regulering: Strikte beperkingen op wat gerapporteerd mag worden en welke features gebruikt mogen worden voor beslissingen.

Bestaande oplossingen, zoals het serialiseren van gestructureerde records naar tekst voor standaard Transformers, zijn inefficiënt (ze blazen de sequentielengte op) en verliezen cruciale numerieke eigenschappen (orde en grootte). Bestaande financiële modellen focussen vaak op één data-bron (bijv. alleen transacties) of op tekst, en missen vaak statische profielinformatie (zoals accountduur of abonnementstype). Er ontbreekt een universele, schaalbare encoder voor multi-source bankgeschiedenissen die over diverse discriminatieve taken kan worden overgedragen.

Methodologie: PRAGMA

PRAGMA is een familie van foundation-modellen (encoder-only) die speciaal is ontworpen voor multi-source bankgebruikersgeschiedenissen. Het model varieert in grootte van 10 miljoen tot 1 miljard parameters.

1. Tokenisatie (Key-Value-Time)
In plaats van alles als tekst te behandelen, gebruikt PRAGMA een ontkoppelde embedding-ruimte:

• Semantisch Type (Key): Elke veldnaam (bijv. "Type", "Amount") wordt als één token gecodeerd.
• Waarde: Afhankelijk van het type wordt de waarde anders verwerkt:
  • Numeriek: Gemapped naar percentiel-buckets (geleerd uit de data).
  • Categorisch: Handmatig geselecteerd om veelvoorkomende waarden (zoals MCC-codes) niet op te splitsen; één token.
  • Tekst: Verwerkt met een BPE-style subword-tokeniser.
• Tijd: Wordt op twee manieren gecodeerd:
  • Logaritmische tijd (in seconden) sinds de laatste gebeurtenis (voor recente precisie en lange-termijnbereik).
  • Cyclische kalenderfeatures (uur van de dag, dag van de week, etc.) voor seizoenspatronen.

2. Architectuur
Het model bestaat uit drie hoofdcomponenten die samenwerken:

• Profile State Encoder: Verwerkt statische contextuele attributen (bijv. saldo, plan, regio) en "levenslange" gebeurtenissen (zoals de datum van de eerste storting). Deze encoder gebruikt RoPE (Rotary Positional Embeddings) voor tijd.
• Event Encoder: Verwerkt elke gebeurtenis in de geschiedenis onafhankelijk als een bidirectionele Transformer.
• History Encoder: Voegt de output van de profiel- en event-encoders samen en contextueert de volledige sequentie. Dit levert een dichte embedding op voor de hele gebruikersrecord.

3. Pre-training en Adaptatie

• Pre-training: Het model wordt getraind met een Masked Language Modeling (MLM) doelstelling op een corpus van 24 miljard gebeurtenissen (207 miljard tokens). Het maskeringsstrategie omvat niet alleen individuele tokens, maar ook hele gebeurtenissen en semantische sleutels.
• Adaptatie: Voor downstream taken wordt PRAGMA aangepast via:
  • Embedding Probing: Het model wordt ingevroren en een simpele lineaire laag wordt getraind op de geëxtraheerde embeddings.
  • LoRA (Low-Rank Adaptation): Een efficiënte fine-tuning methode waarbij slechts 2-4% van de parameters (attention en MLP lagen) worden bijgewerkt, wat snelle specialisatie mogelijk maakt zonder catastrofaal vergeten.

4. Engineering Optimalisaties
Om te omgaan met zeer lange en variabele sequenties, gebruikt het team:

• Sequence Packing: Gebeurtenissen worden in een vlakke buffer gepakt zonder padding, wat de doorvoer 2-5x verbetert.
• Dynamic Batching: Records worden gebatcht op basis van het aantal gebeurtenissen om willekeurige disk-toegang te minimaliseren.

Belangrijkste Bijdragen

1. PRAGMA Architectuur: De eerste gepubliceerde encoder-foundation model voor consumentenbankgeschiedenissen die schaalbaar is van 10M tot 1B parameters en multi-source data (transacties, app-gebruik, communicatie) combineert met statische profielstatus.
2. Efficiënte Pre-training: Een bewezen recept voor het trainen op lange, onregelmatige bankgeschiedenissen via maskermodelling, sequence packing en LoRA-finetuning.
3. Universele Representatie: Het bewijs dat één enkel voorgeïmplementerd model superieure prestaties levert op zes verschillende, complexe taken (krediet scoring, fraude, LTV, etc.) zonder handmatige feature-engineering.

Resultaten

PRAGMA werd geëvalueerd op interne benchmarks voor zes taken. De resultaten worden weergegeven als relatieve verbetering ten opzichte van specifieke taak-baselines:

• Algemene Prestaties: PRAGMA overtreft consistent sterke taak-specifieke baselines.
  • Krediet Scoring: +130,2% verbetering in PR-AUC (precisie-herroep gebied onder de curve).
  • Communicatie Engagement: +79,4% verbetering in PR-AUC.
  • Fraude Detectie: +64,7% verbetering in Recall.
  • Product Aanbeveling: +40,5% verbetering in mAP.
• Schaalbaarheid: Grotere modellen (1B parameters) leveren aanzienlijke winsten op bij complexe taken zoals krediet scoring (+35,2% PR-AUC t.o.v. het kleine model), terwijl kleinere modellen (10M) al zeer competitief zijn voor taken zoals Lifetime Value (LTV).
• Efficiëntie: LoRA-finetuning presteert consistent gelijk aan of beter dan het trainen van een model vanaf nul ("from scratch"), maar met een veel kleiner trainbaar parameterfootprint.
• Beperkingen: Het model presteert slechter dan baselines bij Anti-Money Laundering (AML) (-47,1% F0.5). Dit komt doordat AML afhankelijk is van relationele structuren tussen verschillende records (netwerkeffecten), terwijl PRAGMA records geïsoleerd verwerkt.

Betekenis

PRAGMA markeert een verschuiving in de financiële sector van het bouwen van vele specifieke, handmatig ontworpen modellen naar het gebruik van één universele foundation model.

• Generalisatie: Het toont aan dat bankdata, ondanks zijn heterogene en onregelmatige aard, net als tekst en beeld leerzame, overdraagbare representaties heeft.
• Operational Efficiency: Door één model te gebruiken voor meerdere taken (van fraude tot LTV) kunnen banken hun infrastructuur vereenvoudigen en de afhankelijkheid van handmatige feature-engineering verminderen.
• Toekomstperspectief: Hoewel PRAGMA een krachtige representatielaag biedt, wijst het paper op de noodzaak van toekomstig werk om relationele taken (zoals AML) te adresseren, waarschijnlijk door het modelleren van cross-record interacties.

Kortom, PRAGMA biedt een schaalbare, efficiënte en hoogpresterende basis voor de volgende generatie financiële AI-toepassingen.