PRAGMA: Revolut Foundation Model

Das Paper stellt PRAGMA vor, eine Familie von Transformer-basierten Foundation-Modellen, die durch selbstüberwachtes Vortraining auf großen Bankdaten-Korpora eine überlegene Leistung bei verschiedenen Finanzanwendungen wie Kreditwürdigkeitsprüfung, Betrugserkennung und Vorhersage des Kundenlebenswerts erzielen.

Das Wesentliche

PRAGMA: Der „Allwissende Bank-Assistent"

Stellen Sie sich vor, eine Bank ist wie ein riesiges, chaotisches Archiv. Tausende von Kunden kommen jeden Tag vorbei, hinterlassen Zettel mit Transaktionen, rufen an, klicken in der App herum und ändern ihre Daten. Jedes dieser Ereignisse ist wie ein kleines Puzzleteil.

Bisher mussten die Banken für jede einzelne Frage (z. B. „Ist dieser Kunde ein Betrüger?" oder „Wie viel Geld wird er in 5 Jahren haben?") einen speziellen, handgefertigten Roboter bauen. Das war mühsam, teuer und ineffizient, weil jeder Roboter nur eine Sache konnte und nichts von den anderen lernte.

PRAGMA ist jetzt der große Durchbruch. Es ist wie ein universeller Super-Intelligenz-Assistent, der alles über das Verhalten von Kunden lernt, bevor er überhaupt eine spezifische Frage gestellt bekommt.

Hier ist die einfache Erklärung, wie das funktioniert:

1. Die Sprache der Bank (Tokenisierung)

Kunden-Daten sind nicht wie normale Texte. Sie sind eine Mischung aus Zahlen (Geldbetrag), Kategorien (Kartentyp) und Text (Beschreibung).

• Das Problem: Wenn man diese Daten einfach wie einen Roman in einen Computer füttert, versteht die Maschine den Sinn nicht. „100 Euro" wird nur als Reihe von Buchstaben gesehen, nicht als Wert.
• Die PRAGMA-Lösung: PRAGMA übersetzt diese Daten in eine eigene, verständliche Sprache. Es zerlegt jedes Ereignis in drei Teile:
  1. Was? (Der Schlüssel: z. B. „Überweisung")
  2. Wie viel/Wie? (Der Wert: z. B. „50 Euro")
  3. Wann? (Die Zeit: Wann passierte es?)
     So versteht der Computer nicht nur die Wörter, sondern auch die Bedeutung und den Zusammenhang.

2. Das Gehirn mit zwei Flügeln (Architektur)

PRAGMA hat ein einzigartiges Design mit zwei „Flügeln", die zusammenarbeiten:

• Der Flügel für die Geschichte (Events): Er schaut sich die ganze Abfolge der Handlungen an. Was hat der Kunde gestern gemacht? Was vor einem Jahr? Er erkennt Muster, wie ein Detektiv, der die Spur verfolgt.
• Der Flügel für den Status (Profil): Er schaut sich statische Fakten an. Wie alt ist der Kunde? In welchem Land wohnt er? Wie lange hat er schon ein Konto?
• Der Chef (History Encoder): Am Ende fassen diese beiden Flügel ihre Erkenntnisse zusammen und erstellen eine digitale Visitenkarte (eine sogenannte „Embedding") für den Kunden. Diese Visitenkarte enthält das gesamte Wissen über den Kunden in einem einzigen, dichten Datensatz.

3. Der Lernprozess (Masked Modelling)

Wie lernt PRAGMA? Stellen Sie sich vor, Sie spielen ein Spiel, bei dem Sie einen Text lesen, aber einige Wörter sind mit Klebeband verdeckt. Ihre Aufgabe ist es, die fehlenden Wörter zu erraten.

• PRAGMA bekommt Millionen von Kundenhistorien gezeigt, bei denen Teile der Daten (z. B. der Betrag einer Transaktion oder der Typ der Karte) „verdeckt" sind.
• Das Modell muss raten: „Was war hier wahrscheinlich?"
• Durch dieses ständige Raten lernt es die tiefen Zusammenhänge der Finanzwelt, ohne dass ihm jemand explizit gesagt hat, was „Betrug" oder „Kreditwürdigkeit" ist. Es lernt die Muster selbst.

4. Der praktische Nutzen (Downstream Tasks)

Sobald PRAGMA diese allgemeine Intelligenz erworben hat, kann es für fast jede Bankaufgabe eingesetzt werden, ohne von vorne zu beginnen:

• Kreditwürdigkeit: Es kann viel besser einschätzen, wer einen Kredit zurückzahlt, als alte Modelle.
• Betrugserkennung: Es merkt sofort, wenn etwas „falsch" aussieht, weil es das normale Verhalten kennt.
• Produkt-Empfehlung: Es weiß, welcher Kunde wahrscheinlich eine neue Versicherung braucht.

Der Clou: Man muss nicht für jede Aufgabe ein neues Gehirn bauen. Man nimmt das große, vorgefertigte Gehirn (PRAGMA) und trainiert es nur ganz leicht nach (wie ein Sportler, der sich auf einen speziellen Wettkampf vorbereitet). Das spart enorme Rechenleistung und Zeit.

5. Wo sind die Grenzen?

Das System ist nicht allmächtig.

• Das Problem mit dem Netzwerk: PRAGMA schaut sich jeden Kunden allein an. Bei Aufgaben wie der Geldwäschebekämpfung (AML), bei denen man das Netzwerk zwischen vielen Kunden analysieren muss (z. B. „Wer schickt Geld an wen?"), stolpert es. Es sieht die einzelnen Puzzleteile, aber nicht das große Bild des Netzwerks. Hier braucht es noch spezielle Zusatzwerkzeuge.

Zusammenfassung

PRAGMA ist wie ein genialer Banker, der Millionen von Jahren an Erfahrung in wenigen Wochen gesammelt hat. Er kennt die Geschichte jedes Kunden, versteht die Nuancen von Zahlen und Texten und kann diese Erkenntnisse nutzen, um fast jede Bankentscheidung schneller und genauer zu treffen als die alten, spezialisierten Methoden. Es ist der erste Schritt hin zu einer Bank, die nicht nur Daten speichert, sondern sie wirklich versteht.

Technische Zusammenfassung

1. Problemstellung

Moderne Finanzsysteme generieren enorme Mengen an transaktions- und ereignisbasierten Daten, die reiche ökonomische Signale enthalten. Diese Daten sind jedoch komplex zu modellieren:

• Heterogenität: Bankhistorien bestehen aus variablen Ereignisströmen (Kartenzahlungen, Überweisungen, App-Navigation, Kommunikation) und statischen Profilmerkmalen (Kontoinhaber, Plan, Region).
• Struktur: Im Gegensatz zu Text sind diese Daten tabellarisch, gemischt (kategorisch, numerisch, freier Text) und zeitlich unregelmäßig.
• Limitationen bestehender Ansätze:
  • Das naive Serialisieren strukturierter Daten als Text für Standard-LLMs führt zu ineffizient langen Sequenzen und zerstört die semantische Bedeutung numerischer Werte (z. B. durch Aufteilung in Ziffern).
  • Bestehende Modelle (Tabular Transformers, sequenzielle Recommender) behandeln oft nur einzelne Datenquellen oder ignorieren den statischen Profilzustand.
  • Es fehlt ein allgemeiner Encoder-Rückgrat (Backbone), der über verschiedene diskriminierende Bankaufgaben hinweg generalisiert und dabei den strengen Datenschutz- und Regulierungsanforderungen gerecht wird.

2. Methodik: PRAGMA-Architektur

PRAGMA ist eine Familie von Encoder-only-Transformern, die speziell für multi-source Bankhistorien entwickelt wurde.

A. Tokenisierung (Key-Value-Time)
Statt Text zu verwenden, wird jedes Datenereignis in drei Komponenten zerlegt:

1. Semantischer Typ (Key): Feldnamen (z. B. Amount, Type) werden als einzelne Tokens kodiert.
2. Wert (Value):
   • Numerisch: Wird in Perzentil-Buckets umgewandelt (gelernte Grenzen).
   • Kategorisch: Hoch-Cardinalität-Felder werden als Text behandelt, niedrig-Cardinalität als einzelne Tokens.
   • Text: Subword-Tokenisierung (BPE).
3. Zeit (Time):
   • Logarithmische Zeitdifferenz: Zeit seit dem letzten Ereignis (für langfristige Muster).
   • Kalendermerkmale: Stunde, Wochentag, Monat (für zyklische Muster).

B. Modellarchitektur
Das Modell besteht aus drei Hauptkomponenten:

1. Profile State Encoder: Verarbeitet statische Kontextdaten (z. B. Kontostand, Plan) und lebenslange Ereignisse (z. B. Erstaufladung) mit einem bidirektionalen Transformer.
2. Event Encoder: Kodiert jeden einzelnen Event unabhängig voneinander, bevor sie in die Historie integriert werden.
3. History Encoder: Führt die Ausgaben der beiden vorherigen Encoder zusammen und kontextualisiert die gesamte Sequenz.

• Skalierung: Die Modelle variieren in der Größe von 10 Mio. (S), 100 Mio. (M) bis 1 Mrd. (L) Parametern.

C. Pre-Training und Anpassung

• Objektiv: Masked Language Modeling (MLM). Ein Teil der Tokens (Einzeltokens, ganze Events oder Keys) wird maskiert und muss rekonstruiert werden. Dies ermöglicht das Lernen von bidirektionalem Kontext.
• Downstream Adaptation:
  • Embedding Probe: Der Backbone wird eingefroren, und ein einfacher linearer Kopf wird trainiert.
  • LoRA Fine-Tuning: Nur ein kleiner Teil der Parameter (2–4 %, z. B. QKV-Projektionen) wird mittels Low-Rank Adaptation aktualisiert. Dies ermöglicht schnelle Spezialisierung ohne Catastrophic Forgetting.

D. Engineering-Optimierungen
Um mit langen, variablen Historien umzugehen, wurden Techniken wie Sequence Packing (Verpacken variabler Längen in einen flachen Buffer ohne Padding) und Dynamic Batching (Gruppieren nach Ereignisanzahl) eingesetzt, um die GPU-Auslastung zu maximieren.

3. Wichtige Beiträge

1. Erste Foundation-Model-Familie für Bankhistorien: PRAGMA ist der größte veröffentlichte Encoder-Backbone für Konsumentenbanking-Ereignisse (bis zu 1 Mrd. Parameter), der multi-source Daten und statische Profile vereint.
2. Effizientes Pre-Training: Vorstellung einer Rezeptur für lange, unregelmäßige Historien mittels Masked Modelling, Sequence Packing und dynamischem Batching.
3. Überlegene Generalisierung: Demonstration, dass ein einzelnes vortrainiertes Modell Aufgaben wie Kreditwürdigkeit, Betrugserkennung und Lifetime-Value-Vorhersage besser löst als spezialisierte Modelle, die von Grund auf neu trainiert wurden.
4. LoRA-Effektivität: Nachweis, dass LoRA Fine-Tuning mit minimalen Parametern die Leistung von Full-Training (Scratch) erreicht oder übertrifft.

4. Ergebnisse

Die Evaluation erfolgte auf sechs verschiedenen Downstream-Aufgaben (Kredit-Scoring, Betrugserkennung, Kundenbindung, Produkt-Empfehlung, wiederkehrende Transaktionen, Lifetime Value).

• Leistungssteigerung: PRAGMA übertrifft spezialisierte Baselines signifikant.
  • Kredit-Scoring: +130,2 % Verbesserung im PR-AUC (Precision-Recall Area Under Curve).
  • Kundenbindung (Communication Engagement): +79,4 % im PR-AUC.
  • Betrugserkennung: +64,7 % Recall-Verbesserung.
• Skalierungseffekte: Größere Modelle (1B Parameter) zeigen die größten Gewinne bei komplexen Aufgaben wie Kredit-Scoring. Kleinere Modelle (10M) sind jedoch bereits für Aufgaben wie Lifetime Value wettbewerbsfähig.
• Vergleich Scratch vs. LoRA: LoRA Fine-Tuning des vortrainierten Modells ist konsistent besser als Training von Null (Scratch), besonders bei Aufgaben mit wenig Daten (z. B. Kundenbindung).
• Rolle des Profilzustands: Der separate Encoder für statische Profile ist entscheidend für Aufgaben wie Kredit-Scoring (+31,8 % PR-AUC), wo statische Merkmale (z. B. Kontodauer) starke Signale liefern.
• Grenzen: Bei stark relationalen Aufgaben wie Geldwäschebekämpfung (AML), die Netzwerkeffekte zwischen verschiedenen Konten erfordern, schneidet PRAGMA schlechter ab als spezialisierte Baselines, da es Ereignisse isoliert betrachtet.

5. Bedeutung und Fazit

PRAGMA etabliert einen neuen Standard für die Modellierung von Finanzdaten. Es beweist, dass Bankhistorien – trotz ihrer Heterogenität und Unregelmäßigkeit – ähnlich wie Text oder Bilder durch Foundation Models generalisierbare Repräsentationen lernen können.

Praktische Implikationen:

• Effizienz: Banken können hunderte von spezialisierten Modellen durch ein einziges, geteiltes Backbone-Modell ersetzen, was Wartungskosten senkt und die Entwicklung beschleunigt.
• Datenschutz: Da das Modell auf anonymisierten Daten trainiert wird und nur relative Verbesserungen berichtet, ist es für den produktiven Einsatz in regulierten Umgebungen geeignet.
• Zukunft: Die Arbeit öffnet die Tür für weitere Forschung zu relationalen Modellen (z. B. für AML) und der Integration von multimodalen Daten in die Finanzwelt.

Zusammenfassend bietet PRAGMA eine allgemeine Repräsentationsschicht für Finanzanwendungen, die Rohdaten direkt in hochwertige Embeddings umwandelt und dabei den Bedarf an manueller Feature-Engineering drastisch reduziert.