TransactionGPT

Dit paper introduceert TransactionGPT, een fundamenteel model op basis van een innovatieve 3D-Transformer-architectuur dat is getraind op miljarden transacties en superieure prestaties levert bij het detecteren van anomalieën en het genereren van toekomstige transacties vergeleken met bestaande methoden en aangepaste LLM's.

De kern

🛒 TransactionGPT: De "Superlezer" van je Winkelreis

Stel je voor dat je levenslang elke keer dat je iets koopt, een briefje in een enorme, digitale dagboek schrijft. Soms is het een kopje koffie, soms een nieuwe schoen, en soms een dure vakantie. TransactionGPT (of TGPT) is een slimme computer die dit enorme dagboek van miljarden mensen heeft gelezen om te begrijpen hoe mensen winkelen.

Het doel? Twee dingen:

1. Voorspellen: Wat ga je waarschijnlijk als volgende kopen?
2. Detecteren: Is er iets raars aan de hand? (Bijvoorbeeld: iemand probeert je creditcard te stelen).

🧩 Het Grote Probleem: Een rommelige koffer

Normale slimme computers (zoals die die tekst schrijven of foto's herkennen) zijn gewend aan één soort informatie. Maar jouw aankoopgeschiedenis is een rommelige koffer vol met heel verschillende soorten spullen:

• Tijdstippen: Wanneer heb je het gekocht?
• Bedragen: Hoeveel kostte het?
• Locaties: Waar was je? (Bijv. een supermarkt in Amsterdam).
• Categorieën: Wat was het? (Bijv. "supermarkt" of "benzinestation").
• Geheime codes: Duizenden technische nummers die banken gebruiken.

Deze data noemen de auteurs MMTT (Multi-Modal-Temporal-Tabular). Dat klinkt als een tongbreker, maar het betekent simpelweg: een mix van tijd, tabellen en verschillende soorten informatie.

Het probleem is dat bestaande slimme modellen niet weten hoe ze deze rommelige koffer moeten openmaken. Ze raken de boel in de war of worden te traag.

🏗️ De Oplossing: Een 3D-Huizencomplex

Om dit op te lossen, hebben de onderzoekers van Visa een nieuw soort "brein" gebouwd, genaamd TransactionGPT. In plaats van één grote kamer, hebben ze een 3D-huizencomplex ontworpen met drie verdiepingen die samenwerken:

1. De Kelder (De Feature-verdieping): Hier worden de technische, specifieke details verwerkt (zoals de duizenden nummers die banken gebruiken). Dit is als de technische installatie van een huis.
2. De Begane Grond (De Metadata-verdieping): Hier wordt gekeken naar de basisinformatie: Wanneer? Waar? Wat voor soort winkel? Dit is de woonkamer waar het gezin (de data) samenkomen.
3. De Zolder (De Tijd-verdieping): Hier wordt de geschiedenis bekeken. Wat kocht je gisteren? Wat kocht je vorige maand? Dit is de bibliotheek waar de tijdlijn wordt bewaard.

🪄 De Magische "Virtuele Token" (De Tussenpersoon)

Het moeilijkste deel was: hoe laat je deze drie verdiepingen met elkaar praten zonder dat het systeem vastloopt?
Stel je voor dat de kelder (technische data) een heel klein briefje heeft, en de zolder (tijd) heeft een gigantisch boek. Als je ze direct aan elkaar plakt, krijg je een onleesbare brij.

De oplossing is de Virtuele Token. Dit is als een slimme tolk of tussenpersoon.

• De tolk neemt het kleine briefje uit de kelder, schrijft het om naar een formaat dat de zolder begrijpt, en geeft het door.
• Dit zorgt ervoor dat alle informatie behouden blijft, maar het systeem blijft snel en efficiënt. Zonder deze tolk zou het systeem te traag worden om in het echt te gebruiken.

🚀 Wat kan dit brein nu doen?

De onderzoekers hebben TGPT getest op drie belangrijke gebieden:

1. Het voorspellen van aankopen:
   Als je vaak koffie koopt en dan een broodje, kan TGPT voorspellen dat je waarschijnlijk ook een croissant gaat kopen. Het doet dit beter dan de huidige systemen die banken nu gebruiken.

   • Vergelijking: Het is alsof een vriend die je al jaren kent, precies weet wat je in de supermarkt in je kar legt, zelfs voordat je erbij bent.

2. Het opsporen van oplichting (Anomalie Detectie):
   Als je creditcard plotseling in een ander land wordt gebruikt voor dure elektronica, terwijl je normaal alleen koffie koopt in je eigen stad, slaat TGPT alarm.

   • Resultaat: Het is 22% beter in het opsporen van deze fraude dan de huidige systemen van Visa. Dat is een enorme verbetering voor de veiligheid van je geld.

3. Het begrijpen van patronen:
   Het model kan zien dat mensen die in een vliegveld eten, vaak andere restaurants bezoeken dan mensen in een woonwijk. Het leert de "sfeer" van verschillende plekken, zelfs zonder dat het de naam van de stad kent.

🆚 TGPT vs. De "Grote Taalmodellen" (LLM's)

Veel mensen denken nu: "Waarom gebruiken ze geen ChatGPT-achtig model?"
De onderzoekers hebben dit getest. Ze hebben TGPT vergeleken met enorme taalmodellen (LLM's) die zijn getraind om tekst te schrijven.

• Het resultaat: TGPT is 300 keer sneller en heeft 92% minder geheugen nodig dan die grote taalmodellen.
• Waarom? Omdat TGPT is gebouwd voor cijfers en tabellen, niet voor woorden. Het is als het verschil tussen een raceauto (TGPT) en een zware vrachtwagen (LLM). Voor het racen op het circuit (transacties) is de raceauto veel beter.

💡 De Kernboodschap

TransactionGPT is een doorbraak omdat het eindelijk een manier heeft gevonden om de enorme, rommelige koffer van onze aankoopgeschiedenis slim te ordenen. Het gebruikt een unieke 3D-structuur en een slimme "tolk" (virtuele tokens) om snel en nauwkeurig te voorspellen wat we kopen en om ons te beschermen tegen oplichting.

Het bewijst dat je niet altijd de grootste, zwaarste AI nodig hebt; soms heb je een slim, speciaal gebouwd model nodig dat precies past bij de data die je hebt. Voor Visa en de wereldwijde betalingen is dit een enorme stap voorwaarts in veiligheid en efficiëntie.

Technische samenvatting

Titel: TransactionGPT: Een Foundation Model voor Consumententransacties

1. Het Probleem

Hoewel foundation modellen (zoals LLMs en Vision Transformers) succesvol zijn in tekst en beeld, is hun toepassing op betaaltransactiegegevens beperkt. Transactiegegevens hebben een unieke en complexe structuur die bestaande modellen niet goed aankan:

• Multi-Modal-Temporal-Tabular (MMTT) Data: Transacties zijn niet alleen tijdsreeksen, maar ook tabellen met diverse velden. Ze bevatten metadata (bedrag, tijd), entiteiten (merchant ID, categorie) en downstream-features (specifiek voor taken zoals fraudeopsporing).
• Heterogeniteit: De data bevat zowel numerieke velden met lage kardinaliteit als categorische velden met extreem hoge kardinaliteit (bijv. miljoenen unieke merchant IDs).
• Beperkingen van bestaande modellen:
  • LLMs: Zijn te duur en inefficiënt omdat transactiedata weinig semantische rijkdom heeft in natuurlijke taal.
  • Tabulaire modellen: Zijn vaak beperkt tot kleine datasets of vereisen semantisch rijke kolomnamen, wat niet past bij ruwe transactiedata.
  • Tijdsreeksmodellen: Zijn ontworpen voor scalare waarden per tijdstip, terwijl transacties multidimensionale informatie bevatten.

Het doel is een foundation model te bouwen dat in staat is om patronen in consumentengedrag te leren, toekomstige transacties te genereren en diverse downstream-taken (zoals anomaliedetectie) te ondersteunen, terwijl het voldoet aan strikte efficiëntie-eisen voor productieomgevingen.

2. Methodologie: TransactionGPT (TGPT)

TGPT is een Transformer-gebaseerd foundation model dat is getraind op miljarden real-world transacties. De kerninnovatie is een nieuwe 3D-Transformer-architectuur die specifiek is ontworpen voor MMTT-data.

A. Architectuur Evolutie (Van 1D naar 3D)
Het model evolueerde van een simpele tijdsreeksbenadering naar een complexe 3D-structuur:

1. TGPT-1D: Gebruikt slechts één Transformer voor tijdsafhankelijkheden. Interne veldinteracties worden behandeld door een simpele MLP.
2. TGPT-2D: Voegt een tweede Transformer toe voor metadata-interacties (binnen één transactie), maar deelt nog steeds embedding-groottes tussen verschillende data-types.
3. TGPT-3D (De uiteindelijke oplossing): Introduceert drie gespecialiseerde, gekoppelde Transformers om verschillende modaliteiten afzonderlijk te coderen:
   • Feature Transformer (TF(F)): Codering van downstream-features (vaak numeriek, lage kardinaliteit).
   • Metadata Transformer (TF(tr)): Codering van metadata en entiteiten (vaak categorisch, hoge kardinaliteit).
   • Temporal Transformer (TF(S)): Codering van de sequentiële dynamiek tussen transacties.

B. Modality Fusion via Virtual Tokens
Een groot uitdaging is het samenvoegen van embeddings van verschillende groottes en modaliteiten zonder de computationele kosten te explodeer. TGPT lost dit op met een Virtual Token Layer (VTL):

• Virtual Feature Tokens: De output van de Feature Transformer wordt omgezet in een kleiner aantal "virtuele tokens" met een hogere dimensie.
• Virtual Transaction Tokens: Deze worden gecombineerd met metadata en opnieuw getokeniseerd.
• Dual-Channel Design: De VTL gebruikt zowel een lineair pad (voor behoud van informatie en gradiëntstroom) als een niet-lineair pad (MLP) voor expressiviteit. Dit zorgt voor flexibele bandbreedte en efficiëntie.

C. Training en Loss Functies

• Zelftoezicht (Self-Supervised): Het model leert door toekomstige transactie-eigenschappen (tijd, bedrag, merchant, MCC) te voorspellen op basis van historische data.
• Toezicht (Supervised): Het model wordt ook getraind op downstream-taken (bijv. classificatie voor anomalieën).
• Loss: Een combinatie van MSE voor numerieke velden, Cross-Entropy voor categorische velden, en regularisatie voor de VTL-matrices.

3. Belangrijkste Bijdragen

1. TGPT Model: Het eerste foundation model specifiek ontworpen voor MMTT-transactiegegevens, getraind op miljarden transacties van een van 's werelds grootste betalingsnetwerken.
2. 3D-Transformer Architectuur: Een innovatieve structuur die metadata, features en tijdsreeksen afzonderlijk encodeert maar effectief fuseert via Virtual Tokens.
3. Virtual Token Mechanisme: Een nieuwe methode voor modality fusion die de computationele complexiteit verlaagt en de informatiebandbreedte optimaliseert zonder kwaliteitsverlies.
4. Empirische Validatie: Uitgebreide evaluaties op drie verschillende taken (generatie, anomaliedetectie, representatieleren) die aantonen dat TGPT superieur is aan bestaande productiemodellen en LLM-baselines.

4. Resultaten

Het paper presenteert resultaten op drie datasets (T-JGC, T-RES, T-MCC):

• Anomalie Detectie (Fraude):
  • TGPT-3D-FMT (de volledige 3D-variant) boekte een 22% relatieve verbetering ten opzichte van het huidige productiemodel van Visa op een kritieke bedrijfsmetric.
  • Het model slaagt erin om zowel sequentiële patronen als domeinspecifieke features effectief te combineren.
• Transactie Generatie:
  • Het model kan toekomstige transacties (merchant, MCC, bedrag, tijd) nauwkeurig genereren.
  • Voor merchant-predicatie (keuze uit 3 miljoen opties) bereikte het >30% Recall@1.
  • Visuele visualisaties (UMAP) tonen aan dat de geleerde embeddings logische ruimtelijke patronen vastleggen (bijv. restaurants in dezelfde stad of luchthaven clusteren samen).
• Vergelijking met LLMs:
  • Bij het voorspellen van Merchant Category Codes (MCC) presteerde TGPT-2D beter dan een gefinetuned Llama-2-7B model.
  • Efficiëntie: TGPT heeft 92% minder parameters (56M vs 7B) en is 300x sneller in inferentie (0.27 ms vs 84.9 ms) op een enkele GPU.

5. Betekenis en Impact

• Industriële Toepasbaarheid: TGPT bewijst dat foundation modellen voor transactiedata niet alleen mogelijk zijn, maar ook superieur en kostenefficiënter zijn dan generieke LLM-oplossingen.
• Schalbaarheid: De architectuur is ontworpen om te schalen met de data-grootte (data scaling laws), waarbij prestaties lineair verbeteren met meer trainingsdata.
• Toekomstige Richting: Dit werk opent de weg voor foundation modellen voor andere vormen van "web-like" MMTT-data en biedt een blauwdruk voor het integreren van LLM-kennis (via embeddings) in gespecialiseerde domeinen.

Kortom, TransactionGPT vertegenwoordigt een doorbraak in het modelleren van complexe betalingsdata, waarbij het de kloof overbrugt tussen generatieve AI en strikte industriële eisen voor snelheid en nauwkeurigheid.