Multi-Criteria Feature Subset Selection for Credit Card Fraud Detection Under Class Imbalance
Dit artikel toont aan dat op de ULB-creditcardfraudedataset een compacte subset van 15 kenmerken, afgeleid van een multi-methode rangschikkingsstrategie, een hoogwaardige fraude detectie mogelijk maakt over diverse classificatiemethoden zonder de noodzaak van SMOTE-oversampling, aangezien modellen die getraind zijn op de natuurlijke klassenverdeling consequent beter presteren dan modellen die met SMOTE zijn getraind wanneer deze worden geëvalueerd met correct afgestemde drempelwaarden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de uitgestrekte, stille stroom van de wereldwijde financiële sector draagt een minuscuul fractie van de transacties een verborgen gevaar met zich mee. De meeste creditcardbetalingen zijn onschadelijke, routinematige uitwisselingen van waarde, maar een zeer klein aantal is frauduleus, ontworpen om geld te stelen van onwetende eigenaren. Voor de systemen die deze transacties bewaken, creëert dit een moeilijke puzzel. Als een computerprogramma simpelweg zou gokken dat elke transactie veilig is, zou het in meer dan negentig procent van de gevallen gelijk hebben. Dit hoge succespercentage is misleidend; het verhult het feit dat het systeem volledig heeft gefaald in zijn werkelijke taak, namelijk het vangen van de zeldzame dieven. Om dit op te lossen, moeten experts verder kijken dan eenvoudige tellingen van juiste en onjuiste antwoorden. Ze moeten meten hoe goed een systeem de slechte transacties vindt zonder een vals alarm te slaan voor elke goede transactie, een balans die zorgvuldige afstemming en een diep begrip van de data zelf vereist.
Een recente studie door Abdullah Md Raihan Chy bij ZogBiyog Lab in Bangladesh pakt dit probleem aan door twee specifieke ideeën te testen: hoe de juiste aanwijzingen te kiezen waar naar gekeken moet worden, en of het kunstmatig creëren van meer voorbeelden van fraude helpt om de computer beter te laten leren. De onderzoekers werkten met een enorme collectie creditcardgegevens uit Europa, die bijna 285.000 transacties bevatte uit slechts twee dagen in 2013. In deze real-world dataset was slechts 0,173 procent van de transacties daadwerkelijk fraude. Omdat de data zo sterk scheef verdeeld was ten gunste van veilige transacties, moest het team uiterst voorzichtig zijn bij het trainen van hun modellen. Ze begonnen door te kijken naar dertig verschillende stukjes informatie die beschikbaar waren voor elke transactie, zoals het tijdstip van de dag, het uitgegeven bedrag en achtentwintig andere getallen die wiskundig waren getransformeerd om de privacy van de kaarthouders te beschermen.
Om de meest nuttige aanwijzingen te vinden, vertrouwden de onderzoekers niet op één enkele methode om de belangrijkheid van deze dertig kenmerken te rangschikken. In plaats daarvan gebruikten ze vier verschillende benaderingen om elk kenmerk te scoren. Eén methode zocht naar patronen van associatie, een andere controleerde op lineaire relaties, een derde gebruikte een boomgebaseerd algoritme om te meten hoeveel een kenmerk hielp bij het splitsen van de data, en een vierde keek naar hoeveel variatie elk kenmerk bezat. Vervolgens combineerden ze deze vier lijsten tot één enkele, kortere lijst van vijftien kenmerken. Dit deden ze door om de beurt de beste kenmerken uit elk van de vier lijsten te kiezen, waarbij ze de kenmerken oversloegen die al eerder waren gekozen, totdat ze precies vijftien unieke items hadden. Deze "round-robin"-aanpak zorgde ervoor dat geen enkele methode de selectie domineerde, waardoor een compacte set aanwijzingen ontstond die zowel divers als beheersbaar was.
Met deze kleinere set van vijftien kenmerken in handen, trainden het team zeven verschillende soorten computerprogramma's om fraude op te sporen. Deze programma's varieerden van eenvoudige statistische regels tot complexe, gelaagde netwerken die de manier nabootsen waarop een brein informatie verwerkt. Ze testten deze programma's onder twee verschillende omstandigheden. In de eerste conditie leerden de programma's van de data precies zoals deze in de echte wereld verscheen, met de minuscule fractie fraudegevallen tussen de enorme meerderheid van veilige transacties. In de tweede conditie gebruikten ze een techniek genaamd SMOTE, die nieuwe, synthetische voorbeelden van fraude creëert door onderdelen van bestaande fraudegevallen te mengen en te matchen. Deze kunstmatige balansact is een veelgebruikte afkorting voor datawetenschappers, gebaseerd op de aanname dat het de computer beter helpt om te leren herkennen als er meer voorbeelden van de zeldzame gebeurtenis worden gegeven.
De resultaten van dit experiment waren duidelijk en enigszins verrassend. Wanneer de onderzoekers de programma's testten op een nieuwe set gegevens die de modellen nog nooit hadden gezien, presteerden de programma's die getraind waren op de natuurlijke, ongebalanceerde data beter dan die getraind op de kunstmatig gebalanceerde data. Dit gold voor elk type programma dat ze testten. De beste presteerder was een model genaamd XGBoost, dat een hoge score van 0,826 behaalde wanneer het op de natuurlijke data werd getraind, terwijl het K-Nearest Neighbors-model een nog hogere score van 0,833 bereikte. In tegenstelling hiertoe, toen deze zelfde modellen werden getraind met de synthetische fraudevoorbeelden, daalde hun prestatie over de hele linie. Zelfs toen de onderzoekers het beslissingspunt voor elk model zorgvuldig aanpasten om een eerlijke vergelijking te garanderen, leidden de kunstmatige data consequent tot slechtere resultaten.
Deze bevinding daagt een langgehouden overtuiging in het vakgebied uit dat het toevoegen van synthetische voorbeelden altijd een nuttige stap is. De studie suggereert dat voor dit specifieke type probleem, met dit specifieke soort data, de natuurlijke verdeling van de transacties een signaal bevat dat de kunstmatige voorbeelden verstoren. De computerprogramma's leerden fraude nauwkeuriger te onderscheiden wanneer ze de mogelijkheid kregen om de ware zeldzaamheid van de gebeurtenis te zien, in plaats van gedwongen te worden fraude en veiligheid als even gebruikelijk te behandelen. Het onderzoek bevestigde ook dat een kleine, zorgvuldig gekozen set van vijftien kenmerken voldoende was om een krachtige detector te bouwen, wat bewijst dat men niet alle beschikbare informatie nodig heeft om de naald in de hooiberg te vinden. Uiteindelijk toont het werk aan dat in de hoogstaande wereld van fraudedetectie soms de meest effectieve strategie is om de rauwe realiteit van de data te vertrouwen, in plaats van te proberen een meer gebalanceerde versie ervan te construeren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.