Adversarial Training for Tabular Credit Scoring: A Multi-Attack Robustness Evaluation in P2P Lending
Dit artikel evalueert de robuustheid van machine learning-kredietscoremodellen in P2P-leningen tegen verschillende door aanvragers gemanipuleerde adversariële aanvallen, waarbij wordt aangetoond dat hoewel training tegen een enkele aanval beperkte generalisatie biedt, training tegen gemengde aanvallen de meest evenwichtige verdediging biedt tegen heterogene dreigingen zonder de prestaties op schone data in gevaar te brengen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne financiële wereld is de beslissing om geld uit te lenen verplaatst van het bureau van een bankier naar een algoritme. Wanneer u een lening aanvraagt via een peer-to-peer platform, analyseert een computersysteem direct uw inkomen, uw schulden en uw geschiedenis om te bepalen of u betrouwbaar bent. Deze systemen vertrouwen op machine learning, een tak van kunstmatige intelligentie die patronen vindt in enorme hoeveelheden gegevens om voorspellingen te doen. Decennialang werden deze modellen beoordeeld op hoe goed ze presteren onder normale omstandigheden, uitgaande van de veronderstelling dat de informatie die een lener verstrekt eerlijk en accuraat is. Er is echter een groeiende bezorgdheid onder onderzoekers over wat er gebeurt wanneer die veronderstelling niet langer standhoudt. Net zoals een beveiligingsbeambte kan worden misleid door een slimme vermomming, kan een kredietwaardigheidsalgoritme worden bedrogen als een aanvrager strategisch de cijfers die zij rapporteren aanpast. Dit studieveld, bekend als adversarial machine learning, onderzoekt hoe deze digitale besluitvormers reageren wanneer ze worden geconfronteerd met doelbewuste, berekende pogingen om hen te misleiden.
Een team onderzoekers aan de Universiteit van Twente in Nederland zette zich in om de veerkracht van deze kredietwaardigheidsystemen te testen tegen dergelijke misleiding. Ze richtten zich op de peer-to-peer leningenmarkt, waar individuen geld lenen aan andere individuen zonder een traditionele bank als tussenpersoon. Met behulp van een enorme dataset met bijna 400.000 leningenregistraties, simuleerde het team een scenario waarin aanvragers probeerden hun profielen te manipuleren om goedgekeurd te worden voor leningen waarvoor ze anders mogelijk niet in aanmerking zouden komen. Ze testten niet slechts één type truc; ze gebruikten vier verschillende methoden van manipulatie. Twee van deze methoden vertrouwden op het berekenen van de exacte wiskundige richting om de gegevens te sturen om de uitkomst te veranderen, terwijl een andere methode betrokken was bij het willekeurig omdraaien van gegevenswaarden om chaos te creëren, en een vierde zocht naar de kleinst mogelijke verandering die nodig was om een afwijzing in een goedkeuring te veranderen. De onderzoekers trainden vervolgens drie verschillende soorten computermodellen — een eenvoudig lineair model, een complex neuraal netwerk en een modern transformer-model — om deze aanvallen te weerstaan.
De kern van hun experiment bestond uit een rigoureus proces van trainen en testen. Ze leerden de modellen deze specifieke trucs te herkennen door ze tijdens de leerfase voorbeelden van gemanipuleerde gegevens te voeden, een techniek genaamd adversarial training. Daarna testten ze hoe goed deze getrainde modellen presteerden wanneer ze werden geconfronteerd met dezelfde trucs, evenals met andere trucs die ze nog nooit eerder hadden gezien. De resultaten toonden een duidelijk patroon: wanneer een model specif으로 werd getraind om een bepaalde soort manipulatie te herkennen, werd het opmerkelijk goed in het opsporen van die exacte truc. Bijvoorbeeld, een model dat getraind was om een specifieke berekende sturing te weerstaan, werd zeer resistent tegen diezelfde sturing en behield zijn nauwkeurigheid, zelfs wanneer de gegevens werden gewijzigd. Deze bescherming strekte zich echter niet automatisch uit tot andere soorten misleiding. Een model dat getraind was om een berekende sturing te weerstaan, bleef verrassend kwetsbaar voor willekeurige, chaotische gegevenscorruptie, en vice versa.
Misschien wel de belangrijkste bevinding was dat het vertrouwen op een enkel type verdediging een vals gevoel van veiligheid creëert. De onderzoekers ontdekten dat het trainen van een model tegen slechts één soort aanval het blootstelde aan anderen, vergelijkbaar met een slot dat sterk is tegen een bobsleutel maar zwak tegen een bump key. Om dit op te lossen, testten ze een strategie van gemengde training, waarbij de modellen werden blootgesteld aan een combinatie van alle vier de typen manipulatie tegelijkertijd. Deze aanpak leverde het meest gebalanceerde resultaat op. Deze modellen behielden hun hoge nauwkeurigheid op normale, eerlijke aanvragen en toonden tegelijkertijd een sterke weerstand tegen een breed scala aan aanvallen, of deze nu berekend of chaotisch waren. De studie suggereert dat voor financiële instellingen de weg naar een veiliger systeem niet ligt in het perfectioneren van een verdediging tegen één bekende dreiging, maar in het stress-testen van modellen tegen een divers bereik aan potentiële misleidingen. Door dit te doen, kunnen kredietverleners systemen bouwen die betrouwbaar blijven, zelfs wanneer aanvragers proberen het systeem te bespelen, waardoor zij garanderen dat de technologie die de economie dient zo robuust is als de mensen die zij bedient.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.