Operational Evidence Gaps for LLMs in Fraud Detection and Trust-and-Safety Workflows

Stel je voor dat je de hoofd van de beveiliging bent van een enorme, bruisende digitale stad. Deze stad heeft twee hoofdtaken: de straten veilig houden voor kwaadwillenden (zoals oplichters en fraudeurs) en ervoor zorgen dat iedereen zich aan de regels van de gemeenschap houdt (zoals het stoppen van haatzaaiende taal of spam). In het verleden huurde je een team van menselijke detectives in die elke enkele brief lazen, elke transactie controleerden en beslisten wie de waarheid sprak. Maar de stad is te groot geworden en het menselijke team verdrinkt in het werk.

Maak kennis met de nieuwe rekruten: Large Language Models (LLM's). Zie deze niet als menselijke detectives, maar als ongelooflijk snelle, superintelligente robots die in een seconde een miljoen pagina's kunnen lezen en de betekenis achter de woorden begrijpen. Ze worden voorgesteld om het menselijke team te helpen door verdachte berichten te signaleren, complexe zaken samen te vatten of zelfs op te treden als de eerste verdedigingslinie. Maar hier komt het lastige gedeelte: alleen omdat een robot slim is, betekent dat nog niet dat hij klaar is voor de echte wereld. In een videogame is een robot misschien perfect. Maar in een echte stad veroorzaakt het als de robot te traag is verkeersopstoppingen. Als het te veel kost om te draaien, gaat de stad failliet. En als het wordt gefopt door een slimme leugenaar, kan het hele systeem instorten. De grote vraag is niet alleen "Is de robot slim?", maar "Kunnen we deze robot vertrouwen om in onze drukke, onder hoge druk staande stad te werken zonder iets kapot te maken?"

Dit artikel, getiteld "Operational Evidence Gaps for LLMs in Fraud Detection and Trust-and-Safety Workflows," is als een grondige inspectierapport voor deze nieuwe robot-rekruten. De auteur, Keyer Gabani, heeft 49 verschillende studies en rapporten bekeken die praten over het gebruik van deze AI-robots om fraude te bestrijden, scams te stoppen en content te modereren. Het doel was om te zien of er genoeg bewijs is dat deze robots daadwerkelijk de baan kunnen vervullen in een echt, levend systeem, of dat ze alleen maar in een zandbak spelen.

De belangrijkste bevinding van het artikel is een beetje een schok: er is een enorme kloof tussen wat we denken dat deze robots kunnen en wat we daadwerkelijk weten dat ze kunnen in de echte wereld. De auteur noemt dit een "evidence imbalance" (bewijskloof).

Hier is het verhaal dat het artikel vertelt:

Het Fraudeteam mist de scorekaart
In de wereld van het bestrijden van fraude (zoals creditcardfraude of phishing-e-mails) vond de onderzoeker 18 verschillende studies. Deze studies zijn geweldig in het aantonen dat de robots een scam kunnen ontdekken in een reageerbuis. Ze kunnen met hoge nauwkeurigheid zeggen: "Hé, dit lijkt op een scam!" Maar toen de auteur zocht naar de "scorekaart" van de prestaties in de echte wereld, was die bijna leeg.

• De ontbrekende cijfers: Geen van de 18 fraudestudies rapporteerde hoe lang het duurt voordat de robot een beslissing neemt (latency). Geen van hen vertelde ons hoeveel geld het kost om die enkele beslissing te nemen (kosten). Geen van hen legde uit hoe zeker de robot is wanneer hij een oordeel velt (kalibratie).
• De metafoor: Het is alsof je een racewagen hebt die bewezen snel is op een testcircuit, maar niemand heeft je ooit verteld hoeveel benzine hij per mijl verbruikt of of hij een regenachtige dag aankan. Je weet dat hij kan racen, maar je weet niet of hij veilig is om op de snelweg te rijden.

Het Moderatieteam laat meer kaarten zien
In de wereld van contentmoderatie (het stoppen van nare reacties of spam) vond de auteur 14 studies. Verrassend genoeg was deze groep eerlijker over de zaken in de echte wereld. Ze waren eerder geneigd om te praten over hoeveel tijd de robot kost, wat het kost en hoe men eerlijkheid (fairness) afhandelt (zorgen dat de robot verschillende groepen mensen niet onrechtvaardig behandelt).

• De metafoor: Het moderatieteam is als een bouwploeg die niet alleen het huis bouwt, maar je ook een gedetailleerde materiaallijst en een tijdlijn geeft. Ze zijn nog steeds bezig met het oplossen van de kinderziektes, maar ze laten hun werk zien.

Het "FORTE"-framework: Een nieuwe manier om naar de robots te kijken
Om al dit te begrijpen, heeft de auteur een nieuwe manier gecreëerd om de robots te organiseren, genaamd FORTE. In plaats van alleen te vragen "Wat voor model is dit?", vraagt FORTE: "Welke taak voert deze robot uit?"

• De Classifier (Classificator): De robot treedt op als een rechter en zegt "Schuldig" of "Onschuldig".
• De Assistant (Assistent): De robot helpt een menselijke detective door een lang dossier samen te vatten.
• De Investigator (Onderzoeker): De robot gaat naar buiten, verzamelt aanwijzingen en schrijft een rapport.
• De Escalator (Escalator): De robot handelt de gemakkelijke gevallen af en stuurt alleen de moeilijke, verwarrende gevallen door naar een mens.

Het artikel betoogt dat we moeten stoppen met deze robots te zien als magische zwarte dozen en ze moeten gaan zien als specifieke tools met specifieke taken.

Wat het artikel uitsluit
Het artikel is heel duidelijk over wat het niet zegt. Het zegt niet dat deze robots slecht zijn of dat we ze niet moeten gebruiken. Het zegt ook niet dat de robots er volledig klaar voor zijn om menselijke detectives te vervangen.

• De realiteitscheck: De auteur stelt expliciet dat we momenteel niet genoeg bewijs hebben om te zeggen dat een LLM een real-time fraudengine kan vervangen. We weten niet of ze snel genoeg zijn, goedkoop genoeg zijn of veilig genoeg tegen slimme hackers die proberen hen te misleiden.
• Het "Zandbak"-probleen: Veel van de studies waarnaar de auteur keek, werden "offline" uitgevoerd. Dit betekent dat ze de robots testten op oude data in een stille kamer. Het artikel betoogt dat dit niet hetzelfde is als testen in een lawaaierige, chaotische, live stad waar hackers actief proberen in te breken.

De ontbrekende stukjes en de toekomst
Het artikel concludeert dat we, voordat we deze robots volledig kunnen vertrouwen in onze digitale stad, de ontbrekende scorekaarten moeten invullen. De auteur stelt een "minimale checklist" voor iedereen voor die deze robots wil inzetten:

1. Latency Budget (Vertragingsbudget): Hoe snel moet het zijn?
2. Cost Per Decision (Kosten per beslissing): Wat kost elke controle?
3. Decision Threshold (Beslissingsdrempel): Wanneer zegt het: "Ik weet het niet zeker, laat een mens dit afhandelen"?
4. Explanation Integrity (Integriteit van uitleg): Als de robot een reden geeft voor zijn beslissing, is die reden dan waar, of heeft hij gewoon iets verzonnen?
5. Adversarial Pressure (Tegenwerking/Adversariële druk): Wat gebeurt er wanneer een kwaadwillende actor probeert de robot te misleiden?

Het artikel suggereert dat de beste weg vooruit op dit moment een "hybride" aanpak is. Laat de snelle, eenvoudige en goedkope tools het makkelijke werk doen. Bewaar de superintelligente, dure robots voor de moeilijke gevallen, voor het uitleggen van waarom een beslissing is genomen, of om menselijke detectives te helpen.

Kortom, het artikel is een oproep tot actie. Het vertelt ons dat hoewel de technologie opwindend en veelbelovend is, we momenteel op veel gebieden blind vliegen. We hebben de robots, maar we hebben de handleiding niet. Om deze systemen veilig en nuttig te maken, moeten onderzoekers en bedrijven stoppen met alleen maar te pronken hoe slim de robots zijn, en beginnen met laten zien hoe ze zich gedragen wanneer de druk hoog is, de klok tikt en de kosten echt zijn.