Improving Credit Card Fraud Detection Using Ensemble Machine Learning Techniques

De Digitale Detective en de Naald in de Hooiberg

Stel je voor dat je door een enorme, bruisende stad loopt waar miljoenen mensen elke seconde koffie kopen, huur betalen en pizza bestellen. In deze stad zijn zakkenrollers die proberen portemonnees te stelen, maar ze zijn extreem zeldzaam—misschien slechts 2 of 3 dieven op de 100 eerlijke shoppers. Als je een beveiligingsbeambte zou inhuren wiens enige taak het is om deze dieven op te sporen, zouden ze heel goed kunnen worden in zeggen: "Niemand is aan het stelen!", omdat ze statistisch gezien bijna altijd gelijk hebben. Maar dat is een slechte baan voor een bevegelger! Als ze zelfs maar één dief missen, zijn de gevolgen enorm. Dit is de dagelijkse nachtmerrie van online creditcardbedrijven: ze moeten de piepkleine, sluwe fraudeurs vinden die zich verstoppen in een berg vol volkomen normale transacties.

Om dit op te lossen, gebruiken wetenschappers iets dat Machine Learning wordt genoemd. Denk hierbij aan een superintelligente robot die leert door de geschiedenis te lezen. De robot kijelt naar duizenden eerdere transacties om te begrijpen hoe "normaal" uitgeven eruitziet en wat "verdacht" uitgeven betekent. Er is echter een addertje onder het gras: omdat er zo weinig gevallen van fraude zijn, raakt de robot in de war. Het is alsof je probeert te leren hoe een leeuw eruitziet door de robot slechts één keer een foto van een leeuw te laten zien, terwijl je de robot een miljoen foto's van katten laat zien. De robot zal dan simpelweg denken: "Oh, alles is een kat!" Om dit op te lossen, gebruiken onderzoekers een slimme truc genaamd Generative Adversarial Networks (GANs). Je kunt een GAN zien als een meestervervalser en een meesterdetective die samenwerken. De vervalser probeert nep-"leeuwen"-foto's te maken die zo echt lijken dat ze de detective misleiden, terwijl de detective steeds beter wordt in het herkennen van de vervalsingen. Tegen de tijd dat ze klaar zijn, heeft de detective genoeg "leeuwen" gezien om de echte eindelijk te kunnen herkennen. Dit artikel onderzoekt hoe je deze digitale vervalsers en detectives kunt gebruiken om creditcarddieven sneller en slimmer te vangen.

---

Het Grote Idee van het Papier: Robots Leren de Naald te Spotten

In dit onderzoek besloot een team van onderzoekers van de Cadi Ayyad Universiteit in Marokko een betere digitale beveiligingsbeambte te bouwen. Ze wilden kijken of ze de "vervalser"-truc (GANs) konden combineren met een team van verschillende machine learning-robots (genaamd Ensemble Learning) om creditcardfraude in realtime te vangen. Ze wilden niet alleen een robot die accuraat was; ze wilden een robot die snel genoeg was om een dief te stoppen voordat de transactie zelfs maar voltooid was.

De onderzoekers begonnen met een echte dataset van een website genaamd AirportRental. Deze bevatte 76.900 transacties, maar hier was het probleem: slechts 1.922 daarvan (ongeveer 2,5%) waren daadwerkelijk frauduleus. Het was een enorme hooiberg met zeer weinig naalden.

Eerst probeerden ze hun robots te trainen op deze rommelige, ongebalanceerde data. Zoals verwacht gaven de robots prioriteit aan de meerderheidsklasse. Ze waren zo goed in het zeggen van "Dit is een normale transactie" dat ze de meeste fraude misten. Maar toen brachten de onderzoekers de GANs in het spel. Ze gebruikten het vervalser-detective team om synthetische (nep maar realistische) voorbeelden van frauduleuze transacties te creëren. Ze mengden deze nieuwe voorbeelden met de echte exemplaren totdat de dataset perfect gebalanceerd was: 50% normale transacties en 50% frauduleuze transacties. Plotseling hadden de robots een veel betere studiehandleiding.

Vervolgens testten ze een opstelling van verschillende machine learning-modellen om te zien welke de beste detective was. Ze probeerden:

• Logistische Regressie en Naïve Bayes (simpele, snelle denkers).
• KNN en SVM (tragere, complexere denkers).
• Random Forest en XGBoost (krachtige teams van besluitvormers die samenwerken).

Ze maten twee dingen: Hoe goed waren ze in het vangen van de fraude? (Dit wordt Recall genoemd). En hoe snel waren ze? (Dit is de Execution Time of uitvoeringstijd).

De Resultaten: Het Snelle Team Wint

De experimenten toonden aan dat de "vervalser"-truc wonderen verrichtte. Wanneer de robots leerden van de gebalanceerde data die door de GANs was gecreëerd, schoot hun vermogen om fraude op te sporen omhoog. Gemiddeld steeg hun Recall (het vermogen om de boeven te vangen) met ongeveer 25 procentpunt. Dit betekent dat ze de dieven niet meer misten.

Onder alle geteste modellen was er één team dat duidelijk uit de bus kwam als de kampioen: XGBoost.

Dit is waarom XGBoost de ster van de show was:

1. Het was het meest accuraat: Op de gebalanceerde data behaalde XGBoost een Precision van 95% (het had bijna altijd gelijk wanneer het alarm sloeg) en een Recall van 93% (het ving bijna alle fraude). Het had ook een AUC-ROC van 99%, wat een chique manier is om te zeggen dat het bijna perfect was in het onderscheiden van goede en slechte transacties.
2. Het was het snelst onder druk: Dit is het meest opwindende deel. De onderzoekers testten de robots niet alleen één voor één; ze simuleerden een drukke autoverhuurbalie waar honderden transacties tegelijkertijd plaatsvonden.
   • Bij het afhandelen van slechts 1 transactie, waren de simpele modellen zoals Naïve Bayes het snelst, met een tijd van slechts 0,09 milliseconden.
   • Maar naarmate de menigte groeide naar 30 transacties tegelijkertijd, begonnen de simpele modellen en de complexe modellen (zoals KNN en SVM) dramatisch te vertragen. De tijd van KNN sprong naar 18,45 ms, en SVM nam 21,10 ms. Hun prestaties "degradeerden" (verslechterden) met meer dan 800%.
   • XGBoost bleef echter koel. Zelf met 30 transacties duurde het slechts 2,90 milliseconden. De prestaties werden slechts ongeveer 480% trager, wat de beste stabiliteit van de groep was.

Het papier sluit expliciet de gedachte uit dat de snelste simpele modellen (zoals Naïve Bayes) de beste keuze zijn voor real-world systemen. Hoewel ze snel zijn voor een enkele taak, kunnen ze de spitsuren van een drukke dag niet aan. Het artikel pleit ook tegen het vertrouwen op oude, ongebalanceerde data, door aan te tonen dat zelfs de beste modellen moeite hebben met het vinden van fraude zonder de balans van de GAN.

Het Eindoordeel

De studie concludeert dat de beste manier om creditcardfraude te vangen is door een GAN te gebruiken om een gebalanceerde trainingsset te creëren en vervolgens een Ensemble-model zoals XGBoost het detecteren te laten doen. Deze combinatie geeft je het beste van beide werelden: een robot die ongelooflijk goed is in het opsporen van de kleine, zeldzame fraudeurs, en een robot die snel genoeg is om hen te stoppen voordat het geld je rekening verlaat.

De auteurs suggereren dat deze aanpak een robuuste, schaalbare oplossing is voor real-world financiële systemen. Ze hebben niet alleen een theoretische overwinning gevonden; ze hebben de real-time druk van een druk transactiesysteem gesimuleerd en bewezen dat XGBoost de hitte kan weerstaan. Hoewel ze niet beweerden dat dit de definitieve oplossing voor alle fraude is (omdat dieven altijd hun trucjes veranderen), hebben ze aangetoond dat deze specifieke combinatie van tools een zeer sterke, betrouwbare en praktische stap voorwaarts is om onze digitale portemonnees veilig te houden.