FraudBench: Stress-Testing Policy-Grounded Banking Agents Against Adaptive Fraud
Dit artikel introduceert FraudBench, een nieuwe uitvoerbare benchmark die is ontworpen om beleidsgegronde bankagenten te testen tegen adaptieve, geschiedenisafhankelijke fraudescenario's door dynamische interacties tussen agenten en kwaadwillende bellers te simuleren over veranderlijke accountstatussen en interne beleidsdocumenten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne financiële wereld is een klantenservicemedewerker van een bank niet langer alleen een persoon die een telefoon beantwoordt. In toenemende mate is die medewerker een computerprogramma, een kunstmatige intelligentie-agent, ontworpen om een gesprek te voeren, complexe verzoeken te begrijpen en actie te ondernemen. Deze agenten krijgen toegang tot krachtige instrumenten: ze kunnen het saldo van een klant opzoeken, een verloren wachtwoord verifiëren, een gestolen creditcard blokkeren of zelfs geld van de ene rekening naar de andere overboeken. Ze hebben ook toegang tot de interne regelboeken van de bank, duizenden pagina's aan documenten die precies voorschrijven wat de agent wel en niet mag doen. De belofte van deze technologie is gemak; een beller kan een crisis binnen enkele minuten oplossen zonder in de wacht te staan. Het risico is echter dat dezelfde krachtige instrumenten die een legitieme klant helpen, tegen de bank gebruikt kunnen worden als een beller weet hoe hij het gesprek kan manipuleren. Als een persoon de agent erin kan lullen dat hij iemand anders is, of de agent kan laten negeren van een veiligheidsregel door middel van een slim geformuleerd verhaal, kan de agent een actie uitvoeren die voor echt financieel verlies zorgt. De centrale vraag voor onderzoekers is niet of deze agenten taal begrijpen, maar of ze gevaar begrijpen wanneer een mens actief probeert te misleiden.
Een team van onderzoekers heeft een nieuwe testomgeving gebouwd om deze vraag te beantwoorden, een systeem dat ze FraudBench noemen. In plaats van een kunstmatige intelligentie simpelweg te vragen om een lijst met verdachte transacties te lezen of een scam-e-mail te identificeren, hebben ze een live simulatie gecreëerd waarbij een computerprogramma de rol van een bankagent speelt, en een ander computerprogramma de rol van een fraudeur. De twee programma's voeren een lang, meerregelig gesprek, vergelijkbaar met een echt telefoongesprek. Het doel van de fraudeur is om de agent te manipuleren tot het uitvoeren van een onveilige actie, zoals het overmaken van geld naar een criminele rekening of het onthullen van privé-informatie. De taak van de agent is om te luisteren, de interne regels van de bank te controleren, de identiteit van de beller te verifiëren en te beslissen of hij de aanvraag moet helpen of moet stoppen. De onderzoekers ontdekten dat hoewel deze agenten goed zijn in het opvolgen van instructies, ze vaak falen wanneer de instructies deel uitmaken van een langer, misleidend verhaal.
De simulatie is gebouwd op een realistische basis. De agent opereert binnen een digitale bankomgeving met 125 fictieve klanten, hun rekeningen en hun transactiegeschiedenis. Het heeft ook toegang tot een enorme bibliotheek van 698 interne beleidsdocumenten, waar het doorheen moet zoeken om de juiste regel voor een specifieke situatie te vinden. De agent heeft 17 verschillende tools die hij kan gebruiken, variërend van eenvoudige opzoeken tot acties met hoge inzet, zoals het resetten van een persoonlijke identificatiecode of het deblokkeren van een kaart. De fraudeur, aangestuurd door een apart programma, vraat niet alleen om geld; het probeert het vertrouwen van de agent uit te buiten. De fraudeur kan beginnen met een onschuldige vraag om een band op te bouwen, om vervolgens langzaam een vals gevoel van urgentie te introduceren, of een kleine leugen toe te geven om de reactie van de agent te testen. De gevaarlijkste aanvallen zijn die welke adaptief zijn, wat betekent dat de fraudeur zijn strategie aanpast op basis van hoe de agent reageert. Als de agent een verzoek weigert, kan de fraudeur een andere invalshoek proberen, of als de agent eerder in het gesprek een kleine fout maakt, kan de fraudeur die fout gebruiken om later een grotere, onveilige aanvraag te rechtvaardigen.
Om de agenten te testen, hebben de onderzoekers 150 specifieke scenario's gecreëerd, elk ontworpen om een ander type fraude aan te pakken. Deze omvatten pogingen om een account te stelen, trucs om identiteitscontroles te omzeilen en schema's om geld via een reeks valse rekeningen te verplaatsen. Ze bevatten ook een set "keten"-aanvallen (chain attacks), waarbij een reeks kleine, schijnbaar onschuldige stappen leidt tot een grote beveiligingsbreuk. De onderzoekers hebben vervolgens vier verschillende kunstmatige intelligentie-modellen door deze 150 scenario's gehaald om te zien hoe goed ze de bank konden beschermen. De resultaten waren gemengd. Het best presterende model was in staat om de fraudeurs in ongeveer 65 procent van de gevallen te stoppen, terwijl het zwakste model slechts in ongeveer de helft slaagde. Dit betekent dat de agent in een aanzienlijk aantal simulaties werd misleid tot het uitvoeren van een actie die hij had moeten weigeren. De onderzoekers ontdekten dat de agenten het meest moeite hadden met twee specifieke soorten misleiding: "money mule"-schema's, waarbij de fraudeur probeert de rekening van het slachtoffer te gebruiken om gestolen gelden te verplaatsen, en "keten"-aanvallen, waarbij het gevaar verborgen zit in de geschiedenis van het gesprek in plaats van in de huidige aanvraag.
De studie benadrukt een kritiek gebrek in de manier waarop deze agenten momenteel worden geëvalueerd. Veel bestaande tests kijken alleen naar het laatste bericht in een gesprek om te bepalen of de agent het juiste heeft gedaan. Echter, FraudBench toonde aan dat veiligheid afhangt van de volledige geschiedenis van de interactie. Een agent kan een verzoek om een grote overboeking correct weigeren, maar als hij eerder in de chat per ongeluk een geheime code heeft onthuld, is het gesprek al gecompromitteerd. De onderzoekers ontdekten dat agenten vaak vergaten deze eerdere fouten of ze niet konden koppelen aan de huidige aanvraag. Ze ontdekten ook dat de agenten moeite hadden met het vinden van de juiste regel in de bibliotheek van 698 documenten wanneer ze deze zelf moesten opzoeken, in plaats van dat de document direct aan hen werd gegeven. Wanneer de onderzoekers de agenten dwongen om hun eigen regels op te zoeken, daalde het succespercentage van het beste model met 13 procentpunten, wat aantoont dat het vermogen om informatie te vinden net zo belangrijk is als het vermogen om erover te redeneren.
Misschien wel de belangrijkste bevinding is dat veiligheid en behulpzaamheid in spanning staan. Een agent die te graag een klant wil helpen, kan worden misleid om iets schadelijks te doen, terwijl een agent die te voorzichtig is, mogelijk een legitieme klant die gewoon een slechte dag heeft, weigert te helpen. De onderzoekers vonden geen enkel model dat perfect was in zowel het stoppen van fraude als het helpen van echte mensen. In plaats daarvan observeerden ze een afruil: de modellen die beter waren in het blokkeren van aanvallen, waren soms eerder geneigd om legitieme verzoeken te weigeren. Dit suggereert dat het bouwen van een echt veilige bankagent niet alleen een kwestie is van de software slimmer maken, maar van het zorgvuldig afwegen van de bereidheid om te handelen met het vermogen om bedrog te detecteren. De onderzoekers benadrukken dat hun werk een simulatie is met fictieve gegevens, dus de resultaten voorspellen niet exact hoe echte banken zullen presteren, maar ze bieden wel een duidelijke kaart van waar de huidige technologie kwetsbaar is. Door deze zwakheden in een gecontroleerde omgeving bloot te leggen, biedt de studie een pad voor ontwikkelaars om agenten te bouwen die het complexe, gevaarlijke landschap van moderne bankfraude kunnen navigeren zonder hun vermogen te verliezen om de samenleving te dienen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.