Technische Samenvatting: Temporal Contrastive Transformer voor Detectie van Financiële Criminaliteit

1. Probleemstelling

Financiële instellingen staan voor een dubbele opdracht bij transactiemonitoring: het detecteren van realtime betalingsfraude en het identificeren van patronen die wijzen op witwassen (AML). Hoewel beide problemen het detecteren van abnormaal gedrag over reeksen van financiële gebeurtenissen inhouden, vertrouwen huidige industriestandaarden sterk op aparte, op regels gebaseerde systemen of op toezicht geleerde machine learning-modellen die transacties grotendeels geïsoleerd evalueren. Deze klassieke benaderingen lijden onder twee primaire beperkingen:

1. Generalisatie: Met de hand gemaakte kenmerken en op drempelwaarden gebaseerde regels worstelen om zich aan te passen aan evoluerende adversariële patronen, wat continue handmatige onderhoud vereist.
2. Data-schaarste en Heterogeniteit: Gelabelde data in fraude- en AML-contexten zijn schaars en sterk onbalans, wat de effectiviteit van volledig toezicht geleerde benaderingen beperkt. Bovendien is transactiedata intrinsiek heterogeen, waarbij categorische identificatoren, continue monetaire waarden, temporele intervallen en afgeleide aggregaten worden gecombineerd, wat de constructie van uniforme representaties bemoeilijkt.

Het artikel stelt dat fraude- en witwasgedrag zich manifesteren als gestructureerde, sequentiële patronen die zich in de tijd ontvouwen, in plaats van als geïsoleerde anomalieën. Dit vereist modellen die temporele context kunnen vastleggen zonder afhankelijk te zijn van schaarse labels.

2. Methodologie: De Temporal Contrastive Transformer (TCT)

De auteurs stellen de Temporal Contrastive Transformer (TCT) voor, een zelftoezicht geleerd representatielerningskader dat is ontworpen om transactiereeksen af te beelden op compacte embeddingvectoren met behulp van ongelabelde data. De architectuur integreert twee complementaire componenten:

2.1 Architectuur

• Temporal Fusion Transformer (TFT) Ruggegraat: Het model maakt gebruik van de TFT-architectuur, die is herbestemd van meerhorizonvoorspelling naar representatielerning. Het omvat:
  • Variable Selection Network (VSN): Wijs zachte importantieweeksen toe aan invoerkenmerken, waardoor het model adaptief relevante variabelen kan selecteren.
  • Hiërarchische Temporele Encodering: Een tweestaps recurrente structuur. Een kortetermijnencoder (LSTM/GRU) verwerkt lokale subreeksen om fijnmazige dynamiek vast te leggen. Een langetermijnencoder verwerkt vervolgens samenvattingen van deze subreeksen om langetermijntrends te modelleren.
  • Scheiding Statisch-Dynamisch: Om te voorkomen dat het model shortcuts leert op basis van statische entiteitsidentiteit (bijvoorbeeld specifieke klantkenmerken) in plaats van gedragsontwikkeling, worden in de huidige implementatie statische kenmerken uitgesloten van het contrastieve doel, met uitsluitende focus op dynamische transactiekenmerken.

2.2 Trainingsdoel: Contrastive Predictive Coding (CPC)

Het model wordt getraind met een zelftoezicht Contrastive Predictive Coding-doel.

• Mechanisme: De encoder genereert een contextvector uit recente transactiesubreeksen. Een voorspellende functie projecteert deze context naar een toekomstige latente representatie.
• Verliesfunctie: Het model wordt getraind om de ware toekomstige latente toestand (positief paar) te onderscheiden van een set negatieve samples (toekomstige staten uit andere reeksen in de mini-batch) met behulp van de InfoNCE-verliesfunctie.
• Doel: Dit doel maximaliseert de wederzijdse informatie tussen de context en toekomstige latente staten, waardoor de encoder wordt gedwongen voorspellende temporele structuren en gedragsdynamiek te leren zonder gelabelde doelen.

2.3 Toepassing Downstream

Na pre-training worden de encoderparameters bevroren. De resulterende embeddings worden gebruikt als invoerkenmerken voor een toezicht geleerde gradient-boosted classifier (XGBoost) om risicoscores voor fraudedetectie te genereren. De embeddings kunnen ook worden gebruikt in ontoezicht geleerde anomaliedetectiemethoden.

3. Belangrijkste Bijdragen

• Kadervoorstel: Introductie van TCT, een nieuw kader dat TFT-architectuur combineert met CPC-doelen, specifiek voor financiële transactiereeksen.
• Zelftoezicht Geleerde Benadering: Demonstratie van een methode om temporele representaties te leren uit enorme hoeveelheden ongelabelde transactiedata, waarmee de schaarste aan gelabelde fraude/AML-data wordt aangepakt.
• Empirische Evaluatie: Een rigoureuze evaluatie van geleerde embeddings tegen sterke, domein-geengineerde baselines in een realistische setting voor detectie van financiële criminaliteit.

4. Experimentele Resultaten

De studie werd uitgevoerd op een real-world dataset van retailbetalingen bestaande uit miljoenen transacties. De modellen werden geëvalueerd met behulp van AUC-ROC op een vastgehouden testset.

• Prestaties Alleen Embeddings: De TCT-embeddings, wanneer geïsoleerd gebruikt met een XGBoost-classifier, bereikten een AUC-ROC van 0,8644. Dit geeft aan dat het model succesvol niet-triviale temporele structuur en gedragsignalen vastlegt.
• Prestaties Baseline: Een sterke baseline met 30 door experts ontworpen gedragskenmerken (transactiefrequentie, recentie, nieuwheid, enz.) bereikte een AUC-ROC van 0,9245.
• Gecombineerde Prestaties: Wanneer TCT-embeddings werden samengevoegd met de domein-geengineerde kenmerken, bereikte het resulterende model een AUC-ROC van 0,9205.
• Analyse:
  • De toevoeging van geleerde embeddings leverde geen meetbare verbetering op ten opzichte van de sterke op kenmerken gebaseerde baseline (een lichte daling van 0,004 AUC, geïnterpreteerd als verwaarloosbaar gezien de enkele split).
  • ROC-curveanalyse toonde bijna identiek globaal gedrag tussen de baseline en het gecombineerde model, met kleine lokale afwijkingen.
  • Analyse van de embeddingruimte (UMAP) onthulde dat de geleerde representaties impliciet structurele patronen vastleggen (zoals leeftijdsgerelateerde gedragsclusters) zonder expliciet toezicht, en dat frauduleuze transacties een hogere variabiliteit vertonen in de embeddingruimte vergeleken met legitieme transacties.

5. Betekenis en Claims

Het artikel behoudt een bescheiden en realistische houding ten opzichte van de bevindingen:

• Pariteit als Vooruitgang: De primaire betekenis ligt niet in het direct bereiken van state-of-the-art prestatiewinst, maar in de demonstratie dat zelftoezicht geleerde temporele representaties de voorspellende kracht van domein-geengineerde kenmerken kunnen benaderen. Het bereiken van pariteit met een sterke, handmatig ontworpen baseline met uitsluitend geleerde representaties wordt gepresenteerd als een betekenisvol tussentijds mijlpaal.
• Overlapping van Representaties: Het ontbreken van additieve waarde bij het combineren van embeddings met geengineerde kenmerken suggereert dat de huidige geleerde representaties grotendeels overlappen met bestaande kenmerkabstrakties. Het model legt dezelfde gedragsignalen vast die experts al handmatig hebben gecodeerd.
• Toekomstige Richting: De resultaten positioneren TCT als een veelbelovende richting om de afhankelijkheid van handmatige kenmerkengineering te verminderen. De auteurs betogen dat, hoewel de benadering nog niet productieklaar is, het de levensvatbaarheid valideert van het leren van temporele signalen uit ongelabelde data. Toekomstig werk wordt geïdentificeerd als noodzakelijk om trainingsdoelen te verfijnen, hard negative mining op te nemen en relationele structuren (op graf gebaseerd) te integreren om additieve waarde buiten huidige geengineerde kenmerken te ontsluiten.

Concluderend stelt het artikel dat zelftoezicht geleerd representatielerning een levensvatbaar pad is naar het automatiseren van kenmerkengineering in detectie van financiële criminaliteit, zelfs als de huidige iteratie de prestaties van gevestigde domeinexpertise nog niet heeft overtroffen.