PRAGMA: Revolut Foundation Model

Il documento presenta PRAGMA, una famiglia di modelli fondazionali basati su Transformer addestrati in modo auto-supervisionato su grandi corpus di eventi bancari eterogenei, che forniscono rappresentazioni generiche in grado di migliorare significativamente l'efficacia di compiti downstream come la valutazione del credito, il rilevamento delle frodi e la previsione del valore nel tempo.

L'essenziale

Immagina che una banca sia come un enorme archivio di diari personali. Ogni giorno, milioni di persone scrivono righe in questi diari: "Ho comprato un caffè", "Ho inviato 50 euro a Maria", "Ho guardato l'app per 2 minuti", "Ho cambiato il mio piano tariffario".

Fino a oggi, le banche leggevano questi diari in modo molto lento e manuale, cercando di capire chi era un buon cliente, chi avrebbe potuto non pagare un prestito o chi stava per essere truffato. Era come cercare di indovinare il finale di un libro leggendo solo una frase a caso.

PRAGMA è come un super-lettore di diari (un'intelligenza artificiale) che è stato addestrato a leggere tutti i diari della banca contemporaneamente, imparando a capire non solo le parole, ma anche il ritmo, il tempo e il significato nascosto dietro ogni azione.

Ecco come funziona, passo dopo passo, con delle analogie:

1. Il Problema: Non tutto è "testo"

Se provassi a leggere un estratto conto bancario come se fosse un romanzo, sarebbe un disastro.

• Il problema: I numeri (come "14,99€") non sono parole. Se li scrivi come testo, l'IA potrebbe pensare che "1" e "4" siano lettere separate, perdendo il significato del valore. Inoltre, le azioni non seguono una riga fissa: a volte ci sono 100 azioni in un giorno, a volte nessuna per una settimana.
• La soluzione PRAGMA: Invece di trattare tutto come testo, PRAGMA usa un sistema speciale chiamato "Chiave-Valore-Tempo".
  • Immagina che ogni azione sia un biglietto da visita.
  • La Chiave è il tipo di biglietto (es. "Pagamento carta").
  • Il Valore è il contenuto (es. "14,99€").
  • Il Tempo è il timbro postale (es. "Oggi alle 14:00").
    PRAGMA impara a leggere questi biglietti come se fossero un puzzle, capendo che "14,99€" è un numero importante, non una sequenza di lettere.

2. L'Architettura: Due Cervelli che lavorano insieme

PRAGMA non ha un solo cervello, ma ne ha tre che collaborano, come un'orchestra:

1. Il Cervello del Profilo (Statico): Ricorda chi sei ora. Quanti anni hai? Che piano tariffario hai? Quanto hai in conto? È come la tua carta d'identità.
2. Il Cervello degli Eventi (Dinamico): Ricorda cosa hai fatto nel tempo. Hai comprato azioni? Hai fatto trasferimenti? È come il tuo diario delle avventure.
3. Il Direttore d'Orchestra (History Encoder): Prende le informazioni del tuo profilo e le unisce con la tua storia recente per creare un ritratto completo di te.

3. L'Addestramento: Il gioco del "Cosa manca?"

Come fa PRAGMA a diventare così bravo senza che gli umani gli dicano tutto a voce?
Immagina di prendere un libro e coprire a caso alcune parole o intere frasi. Poi chiedi a PRAGMA: "Cosa c'era scritto qui prima che venisse cancellato?".

• Se vedi "Ho comprato un caffè da..." e la parola è cancellata, PRAGMA impara a indovinare "Starbucks" o "Bar" basandosi su ciò che hai fatto prima e dopo.
• Questo gioco (chiamato Masked Modelling) lo fa con miliardi di diari. Alla fine, PRAGMA non impara solo a riempire i buchi, ma capisce profondamente il comportamento umano. Sa che se qualcuno inizia a fare piccoli prelievi strani di notte, potrebbe esserci un problema (frode), o che se qualcuno guarda spesso le azioni, potrebbe voler investire.

4. Perché è così potente? (I Risultati)

Una volta addestrato, PRAGMA diventa un super-eroe universale per la banca. Non serve creare un nuovo super-eroe per ogni compito (uno per il credito, uno per le truffe, uno per le vendite). Ne basta uno solo!

• Credit Scoring (Valutare i prestiti): PRAGMA è stato il 130% più bravo a trovare i "cattivi pagatori" rispetto ai metodi vecchi. È come se avesse un super-udito per sentire il rischio prima che diventi un problema.
• Rilevamento Frodi: Ha migliorato la capacità di catturare i truffatori del 64%.
• Vita del Cliente (LTV): Sa prevedere quanto un cliente sarà prezioso per la banca in futuro.

5. La Magia Finale: "LoRA" (L'adattamento veloce)

Di solito, per insegnare a un'intelligenza artificiale a fare un nuovo lavoro specifico, devi riaddestrarla da zero, come se fosse un bambino che deve imparare a parlare di nuovo. È lento e costoso.
PRAGMA usa una tecnica chiamata LoRA.

• L'analogia: Immagina PRAGMA come un chef stellato che sa cucinare tutto il mondo. Se la banca vuole che prepari solo un piatto specifico (es. "Rilevamento Frodi"), non serve che lo chef impari di nuovo a cucinare da zero. Basta dargli un piccolo quaderno di appunti (i parametri LoRA) con le istruzioni specifiche per quel piatto.
• Risultato? Impara il nuovo compito in poche ore, con pochissimi dati, mantenendo la sua intelligenza generale.

In sintesi

PRAGMA è come un detective super-intelligente che ha letto milioni di diari bancari.

• Non si perde nei numeri o nelle date.
• Capisce chi sei e cosa fai.
• Impara da solo cosa è normale e cosa è strano.
• Si adatta a qualsiasi compito (dare prestiti, fermare truffe, consigliare prodotti) con un semplice "promemoria" veloce.

Il risultato? Una banca più sicura, che offre servizi migliori e più personalizzati, senza dover costruire un nuovo sistema ogni volta che ha bisogno di una nuova funzione. È l'evoluzione da "leggere i dati" a "capire le persone".

Sommario tecnico

1. Il Problema

I sistemi finanziari moderni generano quantità massive di dati transazionali e di eventi che codificano segnali economici ricchi. Tuttavia, modellare efficientemente queste storie utente multivariata è complesso a causa di tre fattori principali:

1. Eterogeneità dei dati: Ogni evento è un record a lunghezza variabile con campi misti (categorici, numerici, testo libero).
2. Struttura temporale irregolare: Le storie sono a coda lunga, irregolari nel tempo e presentano cicli giornalieri/settimanali forti.
3. Vincoli operativi: Le implementazioni devono rispettare rigide normative sulla privacy e limitazioni sui dati utilizzabili.

Le soluzioni attuali spesso richiedono pipeline specifiche per ogni compito con un'estesa ingegneria delle feature, rendendo difficile condividere la forza statistica tra diversi domini. Inoltre, la serializzazione naive dei record strutturati in testo per i modelli linguistici standard (LLM) è inefficiente: dilata eccessivamente le sequenze e distrugge il significato numerico (es. spezzando i valori in cifre).

2. Metodologia: PRAGMA

PRAGMA è una famiglia di modelli fondazione basati su encoder Transformer, progettati specificamente per le storie utente bancarie multivariata.

2.1 Tokenizzazione (Key-Value-Time)

Invece di trattare tutto come testo, PRAGMA utilizza uno schema di tokenizzazione disaccoppiato che preserva la struttura tabellare:

• Chiave (Key): Il tipo semantico del campo (es. Amount, Currency) è tokenizzato come un singolo token.
• Valore: I valori sono codificati in modo specifico per tipo:
  • Numerici: Mappati in bucket di percentili appresi dai dati.
  • Categorici: Mappati a un singolo token (es. codici MCC).
  • Testuali: Tokenizzati con un approccio subword (BPE).
• Tempo: Codificato in due modi:
  1. Tempo trascorso dall'ultimo evento (trasformazione logaritmica soft per gestire eventi a vita intera).
  2. Componenti ciclici del timestamp (ora, giorno della settimana, giorno del mese) tramite funzioni periodiche.

2.2 Architettura del Modello

L'architettura è un encoder bidirezionale composto da tre blocchi principali:

1. Profile State Encoder: Processa gli attributi statici del profilo (es. piano tariffario, regione, saldo) e gli eventi "a vita intera" (es. data di primo versamento) utilizzando RoPE (Rotary Positional Embeddings) per il tempo.
2. Event Encoder: Codifica indipendentemente ogni evento nella storia, aggiungendo le feature calendariali.
3. History Encoder: Fonde le uscite dei due encoder precedenti in una rappresentazione coerente della storia utente completa.

Il modello è scalabile in tre varianti: PRAGMA-S (10M parametri), PRAGMA-M (100M) e PRAGMA-L (1B).

2.3 Pre-training e Adattamento

• Obiettivo di Pre-training: Masked Language Modeling (MLM) su un corpus di 24 miliardi di eventi (207 miliardi di token) provenienti da 26 milioni di utenti in 111 paesi. La strategia di masking include token singoli, interi eventi e tipi semantici (chiavi).
• Adattamento Downstream:
  • Embedding Probe: Si congela il backbone e si addestra un semplice modello lineare sugli embedding estratti.
  • Fine-tuning LoRA: Si utilizza l'adattamento a basso rango (LoRA) per aggiornare solo il 2-4% dei parametri, permettendo una specializzazione rapida senza dimenticare le conoscenze pregresse.

3. Contributi Chiave

1. Primo Backbone Encoder per Banche: Introduzione di PRAGMA, il più grande backbone encoder pubblicato per sequenze di eventi bancari consumer (fino a 1 miliardo di parametri).
2. Architettura Ibrida: Un design a due rami che integra esplicitamente lo stato del profilo statico con la storia degli eventi dinamici, superando i limiti dei modelli che trattano solo transazioni.
3. Efficienza Operativa: Dimostrazione che il fine-tuning LoRA su un backbone pre-addestrato eguaglia o supera l'addestramento da zero, riducendo drasticamente i costi computazionali e la manutenzione di modelli multipli.
4. Tokenizzazione Specifica: Un metodo di tokenizzazione che preserva la semantica numerica e temporale, evitando le inefficienze della serializzazione testuale.

4. Risultati Sperimentali

I risultati sono valutati su sei compiti downstream diversi (Credit Scoring, Rilevamento Frodi, Engagement Comunicazioni, Raccomandazione Prodotti, Transazioni Ricorrenti, Lifetime Value).

• Prestazioni Superiori: PRAGMA supera costantemente i modelli specifici per compito (baselines) su quasi tutti i domini.
  • Credit Scoring: +130.2% di miglioramento in PR-AUC e +12.4% in ROC-AUC rispetto alle baselines.
  • Rilevamento Frodi: +16.7% di Precisione e +64.7% di Recall.
  • Product Recommendation: +40.5% di mAP.
• Scalabilità: L'aumento dei parametri (da 10M a 1B) porta a guadagni significativi su compiti complessi come il Credit Scoring, mentre modelli più piccoli sono già competitivi per compiti come la previsione del Lifetime Value.
• Efficienza del Fine-tuning: L'uso di LoRA permette di ottenere prestazioni pari o superiori all'addestramento completo da zero, confermando la trasferibilità delle rappresentazioni apprese.
• Limiti: Il modello mostra prestazioni inferiori (-47.1% in F0.5) in compiti altamente relazionali come l'Anti-Riciclaggio (AML), poiché elabora le storie in isolamento senza catturare le dipendenze tra record diversi (network-level signals).

5. Significato e Impatto

PRAGMA rappresenta un passo fondamentale verso l'adozione di modelli fondazione generici nel settore bancario consumer.

• Unificazione: Sostituisce la necessità di costruire pipeline di feature engineering specifiche per ogni task con un unico strato di rappresentazione generale.
• Efficienza: Riduce i costi di addestramento e manutenzione permettendo di condividere un singolo backbone tra decine di applicazioni diverse.
• Generalizzazione: Dimostra che le sequenze di eventi bancari eterogenei possono essere rappresentate in modo trasferibile, simile a come funziona il testo o la visione artificiale, aprendo la strada a modelli più intelligenti per la gestione del rischio e l'esperienza cliente.

Il lavoro evidenzia anche la necessità futura di estendere queste architetture per catturare le interazioni tra record (relational modeling) per compiti come l'AML, che attualmente rimangono una sfida aperta.