Adversarial Training for Tabular Credit Scoring: A Multi-Attack Robustness Evaluation in P2P Lending
Diese Arbeit evaluiert die Robustheit von Modellen zur Kreditbewertung mittels maschinellem Lernen im P2P-Lending gegenüber verschiedenen, durch Antragsteller manipulierten adversariellen Angriffen und zeigt auf, dass während das Training gegen Einzelangriffe eine begrenzte Generalisierung bietet, das Training gegen gemischte Angriffe die ausgewogenste Verteidigung über heterogene Bedrohungen hinweg ermöglicht, ohne die Performance bei sauberen Daten zu beeinträchtigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen Finanzwelt ist die Entscheidung über die Kreditvergabe vom Schreibtisch eines Bankers zu einem Algorithmus gewandert. Wenn Sie einen Kredit über eine Peer-to-Peer-Plattform beantragen, analysiert ein Computersystem sofort Ihr Einkommen, Ihre Schulden und Ihre Historie, um zu entscheiden, ob Sie vertrauenswürdig sind. Diese Systeme verlassen sich auf maschinelles Lernen, einen Zweig der künstlichen Intelligenz, der Muster in riesigen Datenmengen findet, um Vorhersagen zu treffen. Jahrzehntelang wurden diese Modelle danach beurteilt, wie gut sie unter Normalbedingungen funktionieren, unter der Annahme, dass die vom Kreditnehmer bereitgestellten Informationen ehrlich und korrekt sind. Eine wachsende Sorge unter Forschern ist jedoch, was passiert, wenn diese Annahme zusammenbricht. Genau wie ein Sicherheitsmann durch eine clevere Verkleidung getäuscht werden kann, kann ein Kreditbewertungsalgorithmus überlistet werden, wenn ein Antragsteller die Zahlen, die er angibt, strategisch manipuliert. Dieses Forschungsfeld, bekannt als Adversarial Machine Learning, untersucht, wie diese digitalen Entscheidungsträger reagieren, wenn sie mit gezielten, kalkulierten Versuchen der Täuschung konfrontiert werden.
Ein Forschungsteam der Universität Twente in den Niederlanden setzte sich zum Ziel, die Widerstandsfähigkeit dieser Kreditbewertungssysteme gegen eine solche Täuschung zu testen. Sie konzentrierten sich auf den Peer-to-Peer-Kreditmarkt, in dem Einzelpersonen Geld an andere Einzelpersonen verleihen, ohne eine traditionelle Bank als Vermittler. Unter Verwendung eines massiven Datensatzes mit fast 400.000 Kreditdatensätzen simulierte das Team ein Szenario, in dem Antragsteller versuchten, ihre Profile zu manipulieren, um für Kredite genehmigt zu werden, für die sie sonst möglicherweise nicht qualifiziert wären. Sie testeten nicht nur eine Art von Trick; sie wandten vier verschiedene Manipulationsmethoden an. Zwei dieser Methoden basierten darauf, die exakte mathematische Richtung zu berechnen, um die Daten zu beeinflussen, um das Ergebnis zu ändern, während eine weitere darin bestand, Datenwerte zufällig zu vertauschen, um Chaos zu stiften, und eine vierte suchte nach der kleinstmöglichen Änderung, die nötig war, um eine Ablehnung in eine Genehmigung umzuwandeln. Die Forscher trainierten anschließend drei verschiedene Arten von Computermodellen – ein einfaches lineares Modell, ein komplexes neuronales Netz und ein modernes Transformer-Modell –, um diese Angriffe zu bewältigen.
Der Kern ihres Experiments bestand in einem strengen Prozess des Trainings und Testens. Sie brachten den Modellen bei, diese spezifischen Tricks zu erkennen, indem sie ihnen während der Lernphase Beispiele für manipulierte Daten fütterten, eine Technik namens Adversarial Training. Danach testeten sie, wie gut diese trainierten Modelle bei der Konfrontation mit denselben Tricks, aber auch mit anderen, die sie noch nie zuvor gesehen hatten, abschnitten. Die Ergebnisse zeigten ein klares Muster: Wenn ein Modell speziell darauf trainiert wurde, eine bestimmte Art der Manipulation zu erkennen, wurde es bemerkenswert gut darin, genau diesen Trick zu entlarven. Beispielsweise wurde ein Modell, das darauf trainiert war, einem spezifischen kalkulierten Impuls zu widerstehen, äußerst resistent gegen denselben Impuls und behielt seine Genauigkeit selbst dann bei, wenn die Daten verändert wurden. Dieser Schutz erstreckte sich jedoch nicht automatisch auf andere Arten der Täuschung. Ein Modell, das darauf trainiert war, einem kalkulierten Impuls zu widerstehen, blieb überraschend anfällig für zufällige, chaotische Datenkorruption und umgekehrt.
Vielleicht war die bedeutendste Erkenntnis, dass das Vertrauen auf eine einzige Art von Verteidigung eine falsche Sicherheit schafft. Die Forscher entdeckten, dass das Training eines Modells gegen nur eine Art von Angriff es anderen gegenüber ungeschützt ließ, ganz ähnlich wie ein Schloss, das gegen einen Dietrich stark, aber gegen einen Bump Key schwach ist. Um dies zu lösen, testeten sie eine Strategie des gemischten Trainings, bei der die Modelle gleichzeitig einer Kombination aller vier Manipulationstypen ausgesetzt wurden. Dieser Ansatz lieferte das ausgewogenste Ergebnis. Diese Modelle behielten ihre hohe Genauigkeit bei normalen, ehrlichen Anträgen bei und zeigten gleichzeitig eine starke Resistenz gegenüber einer Vielzahl von Angriffen, seien sie nun kalkuliert oder chaotisch. Die Studie legt nahe, dass der Weg zu einem sichereren System für Finanzinstitute nicht darin besteht, die Verteidigung gegen eine einzelne bekannte Bedrohung zu perfektionieren, sondern die Modelle gegen ein breites Spektrum potenzieller Täuschungen zu stresstesten. Indem sie dies tun, können Kreditgeber Systeme aufbauen, die zuverlässig bleiben, selbst wenn Antragsteller versuchen, das System zu überlisten, um sicherzustellen, dass die Technologie, die die Wirtschaft bedient, so robust ist wie die Menschen, denen sie dient.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.