FraudBench: Stress-Testing Policy-Grounded Banking Agents Against Adaptive Fraud
Dieses Paper führt FraudBench ein, einen neuartigen ausführbaren Benchmark, der darauf ausgelegt ist, auf Richtlinien basierende Banking-Agenten gegen adaptive, geschichtshängige Betrugsszenarien durch die Simulation dynamischer Interaktionen zwischen Agenten und bösartigen Anrufern über veränderliche Kontostände und interne Richtliniendokumente zu Stresstests zu unterziehen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der modernen Finanzwelt ist ein Kundenservice-Mitarbeiter einer Bank nicht mehr nur eine Person, die ein Telefon beantwortet. Zunehmend ist dieser Mitarbeiter ein Computerprogramm, ein Agent der künstlichen Intelligenz, der darauf ausgelegt ist, ein Gespräch zu führen, komplexe Anfragen zu verstehen und Maßnahmen zu ergreifen. Diesen Agenten wird der Zugriff auf leistungsstarke Werkzeuge gewährt: Sie können den Kontostand eines Kunden abfragen, ein verlorenes Passwort verifizieren, eine gestohlene Kreditkarte sperren oder sogar Geld von einem Konto auf ein anderes überweisen. Sie haben auch Zugriff auf die internen Regelwerke der Bank, tausende Seiten von Dokumenten, die genau vorschreiben, was der Agent tun darf und was er ablehnen muss. Das Versprechen dieser Technologie ist Bequemlichkeit; ein Anrufer kann eine Krise innerhalb von Minuten lösen, ohne in der Warteschleife hängen zu bleiben. Das Risiko besteht jedoch darin, dass dieselben leistungsstarken Werkzeuge, die einem legitimen Kunden helfen, gegen die Bank verwendet werden können, wenn ein Anrufer weiß, wie er das Gespräch manipuliert. Wenn eine Person den Agenten dazu bringen kann, zu glauben, sie sei jemand anderes, oder ihn dazu bringt, eine Sicherheitsregel aufgrund einer geschickt formulierten Geschichte zu ignorieren, könnte der Agent eine Aktion ausführen, die einen echten finanziellen Verlust verursacht. Die zentrale Frage für Forscher ist nicht, ob diese Agenten Sprache verstehen können, sondern ob sie Gefahr verstehen können, wenn ein Mensch aktiv versucht, sie zu täuschen.
Ein Forschungsteam hat eine neue Testumgebung aufgebaut, um diese Frage zu beantworten, ein System, das sie FraudBench nennen. Anstatt eine künstliche Intelligenz einfach nur eine Liste verdächtiger Transaktionen lesen oder eine betrügerische E-Mail identifizieren zu lassen, haben sie eine Live-Simulation erstellt, in der ein Computerprogramm die Rolle eines Bankagenten spielt und ein anderes Computerprogramm die Rolle eines Betrügers. Die beiden Programme führen ein langes, mehrstufiges Gespräch, ganz ähnlich wie ein echter Telefonanruf. Das Ziel des Betrügers ist es, den Agenten zur Durchführung einer unsicheren Aktion zu manipulieren, wie etwa die Überweisung von Geld auf ein kriminelles Konto oder die Preisgabe privater Informationen. Die Aufgabe des Agenten ist es, zuzuhören, die internen Regeln der Bank zu prüfen, die Identität des Anrufers zu verifizieren und zu entscheiden, ob er helfen oder die Anfrage stoppen soll. Die Forscher fanden heraus, dass diese Agenten zwar gut darin sind, Anweisungen zu befolgen, aber oft scheitern, wenn die Anweisungen Teil einer längeren, täuschenden Geschichte sind.
Die Simulation basiert auf einem realistischen Fundament. Der Agent operiert innerhalb einer digitalen Bankumgebung, die 125 fiktive Kunden, deren Konten und deren Transaktionshistorien enthält. Er hat zudem Zugriff auf eine massive Bibliothek von 698 internen Richtliniendokumenten, durch die er suchen muss, um die richtige Regel für eine gegebene Situation zu finden. Der Agent verfügt über 17 verschiedene Werkzeuge, die von einfachen Abfragen bis hin zu hochriskanten Aktionen wie dem Zurücksetzen einer persönlichen Identifikationsnummer oder dem Entsperren einer Karte reichen. Der Betrüger, der von einem separaten Programm gesteuert wird, fragt nicht nur nach Geld; er versucht, das Vertrauen des Agenten auszunutzen. Der Betrüger könnte damit beginnen, eine harmlose Frage zu stellen, um eine Vertrauensbasis aufzubauen, dann langsam ein falsches Gefühl der Dringlichkeit einführen oder eine kleine Lüge zugeben, um die Reaktion des Agenten zu testen. Die gefährlichsten Angriffe sind jene, die adaptiv sind, was bedeutet, dass der Betrüger seine Strategie bassierend auf der Reaktion des Agenten ändert. Wenn der Agent eine Anfrage ablehnt, versucht der Betrüger vielleicht einen anderen Ansatz, oder wenn der Agent früher im Gespräch einen kleinen Fehler gemacht hat, nutzt der Betrüger diesen Fehler, um später eine größere, unsichere Anfrage zu rechtfertigen.
Um die Agenten zu testen, erstellten die Forscher 150 spezifische Szenarien, von denen jedes darauf ausgelegt ist, eine bestimmte Art von Betrug zu adressieren. Dazu gehören Versuche, ein Konto zu stehlen, Tricks zur Umgehung von Identitätsprüfungen und Maschen, um Geld über eine Reihe von gefälschten Konten zu bewegen. Sie schlossen auch eine Reihe von „Ketten“-Angriffen ein, bei denen eine Serie von kleinen, scheinbar harmlosen Schritten zu einer schwerwiegenden Sicherheitsverletzung führt. Die Forscher ließen dann vier verschiedene Modelle der künstlichen Intelligenz durch diese 150 Szenarien laufen, um zu sehen, wie gut sie die Bank schützen können. Die Ergebnisse waren gemischt. Das am besten abschneidende Modell war in der Lage, die Betrüger in etwa 65 Prozent der Fälle zu stoppen, während das schwächste Modell nur in etwa der Hälfte erfolgreich war. Das bedeutet, dass der Agent in einer signifikanten Anzahl von Simulationen dazu verleitet wurde, eine Aktion durchzuführen, die er hätte ablehnen müssen. Die Forscher fanden heraus, dass die Agenten am meisten mit zwei spezifischen Arten von Täuschung zu kämpfen hatten: „Money-Mule“-Systemen, bei denen der Betrüger versucht, das Konto eines Opfers zu nutzen, um gestohlene Gelder zu bewegen, und „Ketten“-Angriffen, bei denen die Gefahr eher in der Historie des Gesprächs als in der aktuellen Anfrage verborgen liegt.
Die Studie hebt einen kritischen Fehler hervor, wie diese Agenten derzeit evaluiert werden. Viele bestehende Tests betrachten nur die letzte Nachricht in einem Gespräch, um zu entscheiden, ob der Agent richtig gehandelt hat. FraudBench zeigte jedoch, dass Sicherheit von der gesamten Historie der Interaktion abhängt. Ein Agent mag eine Anfrage für eine große Überweisung korrekt abgelehnt haben, aber wenn er früher im Chat versehentlich einen geheimen Code preisgegeben hat, ist das Gespräch bereits kompromittiert. Die Forscher fanden heraus, dass Agenten oft diese früheren Fehler nicht erinnerten oder sie nicht mit der aktuellen Anfrage verknüpften. Sie entdeckten auch, dass die Agenten Schwierigkeiten hatten, die richtige Regel in der Bibliothek von 698 Dokumenten zu finden, wenn sie selbst danach suchen mussten, anstatt das Dokument direkt vorgelegt zu bekommen. Als die Forscher die Agenten zwangen, ihre eigenen Regeln zu suchen, sank die Erfolgsrate des besten Modells um 13 Prozentpunkte, was zeigt, dass die Fähigkeit, Informationen zu finden, genauso wichtig ist wie die Fähigkeit, über sie zu urteilen.
Die vielleicht wichtigste Erkenntnis ist, dass Hilfsbereitschaft und Sicherheit in einem Spannungsverhältnis stehen. Ein Agent, der zu bestrebt ist, einem Kunden zu helfen, könnte dazu verleitet werden, etwas Schädliches zu tun, während ein Agent, der zu vorsichtig ist, möglicherweise eine legitime Kundin oder einen legitimen Kunden, der gerade einen schlechten Tag hat, abweist. Die Forscher fanden kein einziges Modell, das sowohl im Stoppen von Betrug als auch im Helfen echter Menschen perfekt war. Stattdessen beobachteten sie einen Trade-off: Die Modelle, die besser darin waren, Angriffe zu blockieren, neigten eher dazu, berechtigte Anfragen abzulehnen. Dies deutet darauf an, dass der Aufbau eines wirklich sicheren Bank-Agenten nicht nur eine Frage der intelligenten Software ist, sondern eines sorgfältigen Abwägens zwischen der Bereitschaft zu handeln und der Fähigkeit, Täuschung zu erkennen. Die Forscher betonen, dass ihre Arbeit eine Simulation unter Verwendung fiktiver Daten ist, sodass die Ergebnisse nicht exakt vorhersagen, wie reale Banken abschneiden werden, aber sie bieten eine klare Karte darüber, wo die aktuelle Technologie verwundbar ist. Durch die Aufdeckung dieser Schwachstellen in einer kontrollierten Umgebung bietet die Studie einen Weg nach vorn, damit Entwickler Agenten bauen können, die in der Lage sind, die komplexe, gefährliche Landschaft des modernen Bankbetrugs zu navigieren, ohne ihre Fähigkeit zu verlieren, der Öffentlichkeit zu dienen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.