Domain Knowledge-Enhanced LLMs for Fraud and Concept Drift Detection
Dit artikel stelt een Domain Knowledge-Enhanced LLM-framework voor dat gestructureerde inzichten integreert met een tweestaps detectiesysteem om misleidende gesprekken effectief te identificeren en concept drift te classificeren als weliswa of frauduleus, waarbij een nauwkeurigheid van 98% wordt bereikt op de SEConvo-dataset terwijl het zero-shot baselines overtreft in hoogwaardige NLP-toepassingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je het internet voor als een enorm, bruisend digitaal dorpsplein. Op dit plein praten mensen, delen ze recensies en doen ze zaken. Maar net als in elke echte stad zijn er ook kwaaddoeners. Sommigen zijn als de "nepnieuws"-folders die op de straathoek worden uitgedeeld, die proberen je te misleiden met overdreven verhalen. Anderen zijn als gladde oplichters die wachten tot je je comfortabel voelt voordat ze om je portemonnee vragen. Het probleem is dat deze kwaaddoeners slimmer worden. Ze gebruiken niet alleen de oude trucjes; ze veranderen hun stem, hun onderwerpen en hun stijlen om op te gaan in de massa. In de wereld van de computerwetenschap wordt deze constante verschuiving "Concept Drift" genoemd. Het is alsoals een kameleon die van kleur verandert, niet alleen om zich te verstoppen, maar om de specifieke bloem na te bootsen waarop hij zit.
Om deze digitale bedriegers te vangen, hebben wetenschappers "detectives" gebouwd: computerprogramma's die Large Language Models (LLM's) worden genoemd. Denk aan deze LLM's als superintelligente robots die bijna alles op het internet hebben gelezen. Ze zijn erg goed in het begrijpen van taal, maar ze kunnen soms in de war raken. Zonder een specifieke gids kunnen ze een onschuldige verandering van onderwerp aanzien voor een scam, of erger nog, ze kunnen een scam missen omdat de oplichter het script net genoeg heeft aangepast om er normaal uit te zien. Dit artikel stelt een eenvoudige maar krachtige vraag: wat als we deze robotdetectives een specifieke "spiekbrief" of een set regels zouden geven op basis van de realiteit over hoe oplichters zich daadwerkelijk gedragen? Zou dat helpen om de neptjes beter te ontdekken, zelfs wanneer de oplichters proberen hun tactieken te wijzigen?
De auteurs van dit artikel, Ali Şenol, Garima Agrawal en Huan Liu, besloten een nieuw soort detective-team op te zetten om dit te beantwoorden. Ze vertrouwden niet alleen op de algemene kennis van de robot; ze creëerden een systeem dat de hersenen van de robot combineert met een gestructureerde "Domeinkennis"-gids. Deze gids is als een gespecialiseerde trainingshandleiding die de robot precies leert waar hij naar moet kijken, zoals overdreven enthousiaste lof, plotselinge verzoeken om creditcardgegevens, of vreemd formeel taalgebruik dat niet bij het gesprek past.
Hun systeem werkt in drie slimme stappen, als een hightech controlepost. Eerst controleert een "Domeinkennis"-robot of een gesprek direct vanaf het begin nep of misleidend lijkt. Als iets verdacht lijkt, gaat het gesprek naar een tweede station: een "Drift Detector". Dit station werkt als een bewegingssensor en houdt in de gaten of het gesprek plotseling van onderwerp of toon verandert op een vreemde manier (dat is de "Concept Drift"). Ten slotte, als een verandering wordt gedetecteerd, stapt een tweede "Domeinkennis"-robot in om te achterhalen waarom het veranderde. Is het slechts een onschuldige onderwerpenwisseling (benigne), of is het een oplichter die probeert over te schakelen naar een nieuwe truc (adversarieel)?
De onderzoekers testten dit idee op twee manieren. Eerst keken ze naar statische neprecensies (zoals nep Yelp-recensies) om te zien of het geven van een spiekbrief de robot hielp. Ze ontdekten dat dit een enorm verschil maakte. Bijvoorbeeld, één model genaamd DeepSeek sprong van het goed hebben van 56% van de antwoorden naar 90% toen het de spiekbrief gebruikte. Een ander model, Claude, ging van 87% naar 95%.
Daarna gingen ze over naar de moeilijkere uitdaging: meerder-beurt gesprekken, waarbij mensen over een langere tijd heen met elkaar praten. Ze gebruikten een dataset genaamd SEConvo, die echte en nepgesprekken bevat. Hier waren de resultaten zelfs nog indrukwekkender. Wanneer ze hun volledige drie-stappen systeem met het LLaMA-model gebruikten, bereikte het een verbazingwekkende nauwkeurigheid van 98% in het opsporen van fraude en het correct identificeren of een verschuiving in het gesprek onschuldig of kwaadwillig was. Dit was veel beter dan oudere methoden die geen gebruik maakten van deze gespecialiseerde robots of spiekbriefjes.
Het artikel suggereert dat hoewel deze slimme robots krachtig zijn, ze een beetje hulp nodig hebben van menselijke experts om echt betrouwbaar te zijn in situaties met hoge inzet. Door hen specifieke, gestructureerde kennis te voeren over hoe fraude werkt, wordt het systeem niet alleen nauwkeuriger, maar ook beter in het uitleggen waarom het een gesprek als verdacht heeft gemarkeerd. De auteurs concluderen dat deze aanpak een sterke stap voorwaarts is voor het veilig houden van online ruimtes, en bewijzen dat wanneer je de hersenen van een robot combineert met het menselijk begrip van bedrog, je een veel scherpere detective krijgt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.