Domain Knowledge-Enhanced LLMs for Fraud and Concept Drift Detection

Dit artikel stelt een Domain Knowledge-Enhanced LLM-framework voor dat gestructureerde inzichten integreert met een twee-traps detectieproces om misleidende gesprekken effectief te identificeren en conceptdrift te classificeren als onschadelijk of frauduleus, met een nauwkeurigheid van 98% en superieure robuustheid in vergelijking met zero-shot baselines.

De kern

Het Grote Probleem: De "Vormveranderende" Oplichter

Stel je voor dat je een beveiligingsagent bent bij een drukke club (het internet). Je taak is het opsporen van nepgasten (oplichters) die proberen binnen te sluipen.

Vroeger waren oplichters makkelijk te herkennen omdat ze voor de hand liggende vermommingen droegen. Maar nu zijn oplichters als vormveranderders. Ze beginnen met normaal praten over het weer of eten (onschuldige conversatie), maar schakelen dan plotseling over om je creditcard te stelen of je te bedriegen (fraude).

Deze plotselinge verandering van onderwerp of toon wordt "Concept Drift" genoemd.

• Het Probleem: Soms veranderen ook gewone mensen van onderwerp (bijvoorbeeld: praten over het weer en dan vragen om een lift). Een standaard beveiligingsagent kan hierdoor in de war raken, denken dat een normale onderwerpswisseling een oplichting is, of erger: een oplichting missen omdat deze begon met een normaal gesprek.
• De Oude Hulpmiddelen: Traditionele computerprogramma's zijn als agenten die alleen een lijst met "slechte woorden" uit hun hoofd hebben geleerd. Als een oplichter nieuwe woorden gebruikt of van onderwerp verandert, mist de agent ze.
• Het Nieuwe Hulpmiddel (LLM's): Grote Taalmodellen (LLM's) zijn als agenten die complexe verhalen kunnen lezen en begrijpen. Ze raken echter soms in de war, verzinnen dingen (hallucinaties) of kennen de specifieke regels van jouw club niet.

De Oplossing: Het "Deskundige Gids" Systeem

De auteurs van dit artikel bouwden een driedelige beveiligingsteam om deze vormveranderende oplichters te vangen. Ze gaven de AI niet zomaar een generiek brein; ze gaven het een gespecialiseerde instructiehandleiding (Domeinkennis) om te helpen begrijpen welke specifieke trucs oplichters gebruiken.

Hier is hoe hun systeem stap voor stap werkt:

1. De Eerste Agent: De "Nepbeoordeling" Detector

Voordat ze complexe gesprekken aanpakten, testten ze het systeem op nepbeoordelingen (zoals neppe Yelp- of Amazon-beoordelingen).

• De Analogie: Stel je een agent voor die een gastenlijst controleert. Zonder hulp zou de agent denken dat een zeer enthousiaste beoordeling gewoon van een blije klant komt.
• De Upgrade: Het team gaf de agent een checklist met "verdachte signalen" (bijvoorbeeld: "Is het lof te overdreven?", "Klinkt het als een robot?", "Zijn er vreemde buzzwords?").
• Het Resultaat: Toen de agent deze checklist had, werd hij veel beter in het opsporen van de neppen. Bijvoorbeeld, één AI-model (Claude) ging van 87% juistheid naar 95% juistheid, alleen al door de checklist te gebruiken.

2. De Tweede Agent: Het "Drift"-Alarm (OCDD)

Zodra het systeem een live gesprek volgt, moet het weten of het onderwerp verandert.

• De Analogie: Stel je een gesprek voor als een rivier. Meestal stroomt het water rustig. Plotseling stuit de rivier op een rots en verandert van richting.
• Het Hulpmiddel: Ze gebruikten een statistisch hulpmiddel genaamd OCDD (One-Class Concept Drift Detector). Dit hulpmiddel probeert nog niet de betekenis van de woorden te begrijpen; het fungeert als een bewegingssensor. Als de "stroom" van het gesprek te abrupt verandert, gaat het alarm af.

3. De Derde Agent: De "Deskundige Vertolker"

Wanneer het alarm afgaat, komt een tweede, slimmere agent (een tweede LLM) in actie.

• De Taak: Deze agent kijkt naar de plotselinge verandering en vraagt zich af: "Is dit een onschadelijke onderwerpswisseling (zoals praten over het weer), of is dit een valstrik (zoals een phishingpoging)?"
• Het Geheime Wapen: Net als de eerste agent heeft ook deze een gespecialiseerde instructiehandleiding. Hij weet dat als iemand plotseling om je creditcard vraagt na het hebben van een gesprek over een baan, dit een specifiek patroon van fraude is.
• Het Resultaat: Dit systeem slaagde erin het verschil te maken tussen een onschadelijke onderwerpswisseling en een kwaadaardige oplichting.

De Resultaten: Wie Won het Spel?

Het team testte dit systeem met een dataset van echte gesprekken (SEConvo) en vergeleek het met oudere methoden.

• De Kampioen: Het LLaMA-model (een open-source AI) was de ster. Toen het de "gespecialiseerde instructiehandleiding" (Domeinkennis) kreeg, behaalde het 98% nauwkeurigheid. Het was verreweg beter dan het oudere "team van agenten" (traditionele machine learning-modellen), dat slechts ongeveer 82% goed had.
• De Les: Het geven van specifieke kennis aan de AI over hoe oplichters zich gedragen, maakte het veel slimmer, betrouwbaarder en makkelijker te vertrouwen dan wanneer het alleen maar op eigen houtje zou gokken.

Samenvatting

Beschouw dit artikel als een handleiding over hoe je een beveiligingsagent traint.

1. Verlaat je niet alleen op het geheugen: Oude agenten (traditionele ML) vergeten nieuwe trucs.
2. Verlaat je niet alleen op rauwe intelligentie: Slimme agenten (LLM's) kunnen in de war raken of dingen verzinnen.
3. Geef ze een spiekbrief: Door de AI specifieke regels en patronen over fraude te geven (Domeinkennis), wordt het een super-agent die de subtiele, vormveranderende oplichters kan opsporen die anderen missen.

Het artikel bewijst dat wanneer je een slimme AI combineert met het menselijk inzicht in fraude-tactieken, je een systeem krijgt dat zeer nauwkeurig is en kan uitleggen waarom het een oplichter heeft betrapt.

Technische samenvatting

Technische Samenvatting: Domeinkennis-Versterkte LLM's voor Fraudedetectie en Detectie van Conceptdrift

1. Probleemstelling

Het detecteren van misleidende gesprekken op dynamische digitale platforms wordt steeds uitdagender door evoluerende taalpatronen en Concept Drift (CD). Conceptdrift verwijst naar semantische of thematische verschuivingen die de context of intentie van interacties in de loop van de tijd veranderen. Deze verschuivingen kunnen kwaadaardige intentie verbergen of normale dialoog nabootsen, waardoor nauwkeurige classificatie moeilijk wordt.

Hoewel Large Language Models (LLM's) sterke prestaties laten zien in natuurlijke taalopgaven, staan ze voor aanzienlijke beperkingen in risicogevoelige scenario's met hoge inzet:

• Contextuele Ambiguïteit: Moeite met het onderscheid maken tussen echte themaverschuivingen (onbedreigende drift) en manipulatieve draaiingen (adversariële drift).
• Hallucinaties: Een neiging tot het genereren van onjuiste informatie bij gebrek aan specifieke domeingronding.
• Gebrek aan Adaptatie: Traditionele Machine Learning (ML)-modellen vertrouwen op vaste kenmerken en worstelen met het vloeiende, ambigu karakter van meer-draaiende gesprekken.
• Interpreteerbaarheid: De 'black box'-aard van veel modellen maakt het moeilijk om te begrijpen waarom een gesprek is gemarkeerd, een kritieke vereiste voor fraudedetectie.

De auteurs betogen dat fraudedetectie en conceptdrift niet als geïsoleerde taken moeten worden behandeld, aangezien frauduleuze gesprekken vaak subtiele verschuivingen in toon of intentie bevatten die lijken op onbedreigende overgangen.

2. Methodologie

Het paper stelt een Domeinkennis (DK)-Versterkt Dual-LLM Kader voor dat is ontworpen om zowel misleiding als drift gezamenlijk te modelleren. De methodologie wordt in twee fasen uitgevoerd:

Fase I: Detectie van Valse Reviews (Statische Instellingen)

• Doel: Het valideren van de waarde van domeinkennis bij het verbeteren van de prestaties van LLM's voor het classificeren van statische, enkel-draaiende misleidende inhoud.
• Dataset: De Yelp Fake Review Dataset (20.000 reviews: 15.000 echt, 5.000 nep).
• Aanpak:
  1. Patroonontdekking: Een initiële LLM-analyse van gelabelde data identificeerde specifieke taalkundige markers van valse reviews (bijv. overdreven lof, vage sentimenten, onnatuurlijke formuleringen, overmatig gebruik van buzzwords).
  2. Gestructureerde Prompting: Deze geïdentificeerde patronen werden gecodeerd in gestructureerde prompts.
  3. Evaluatie: LLM's (ChatGPT, DeepSeek, LLaMA, Claude) werden getest onder twee voorwaarden: (1) Zero-shot (geen domeinkennis) en (2) Domeinkennis (DK)-versterkt.

Fase II: Fraude- en Driftdetectie (Streamende Dialogen)

• Doel: Het detecteren van misleidende meer-draaiende gesprekken en het classificeren van de aard van semantische verschuivingen.
• Dataset: De SEConvo dataset (400 meer-draaiende gesprekken: 40 voor training, 360 voor testen).
• Architectuur: Een pijplijn met drie componenten:
  1. DK-LLM Module 1: Detecteert of een gesprek nep of misleidend inhoud bevat.
  2. Drift Detection Unit (OCDD): Een One-Class Concept Drift Detector getraind op niet-kwaadaardige gesprekken met behulp van een One-Class Support Vector Machine (SVM). Deze identificeert statistische afwijkingen (semantische verschuivingen) in de dialogestream.
  3. DK-LLM Module 2: Als OCDD drift detecteert, interpreteert deze tweede LLM de verschuiving met behulp van domeinspecifieke aanwijzingen (bijv. verzoeken om PII, urgentie, excessieve vleierij) om de drift te classificeren als Onbedreigend (bijv. off-topic, spam) of Adversariëel (bijv. phishing, manipulatie).

3. Belangrijkste Bijdragen

Het paper schetst vier primaire bijdragen:

1. Domeinkennis-Versterkt Dual-LLM Kader: Een modulaire architectuur die gestructureerde domeinzichten integreert in een dual-LLM-systeem om gelijktijdig fraude te detecteren, conceptdrift te identificeren en drifttypes te classificeren – taken die vaak geïsoleerd worden aangepakt.
2. Drie-staps Detectiepijplijn: Een gestructureerde workflow bestaande uit een DK-LLM voor initiële misleidingsflagging, een OCDD voor semantische verschuivingsdetectie en een tweede DK-LLM voor driftclassificatie. Dit verbetert de robuustheid en interpreteerbaarheid in streamende dialogen.
3. Impact van Gestructureerde Domeinprompts: Empirisch bewijs dat aantoont dat het inbedden van domeinspecifieke kennis in promptontwerp de prestaties en verklaarbaarheid aanzienlijk verbetert, zowel op synthetische (valse reviews) als real-world (SEConvo) datasets.
4. Uitgebreide Benchmarking: Een uitgebreide evaluatie van meerdere LLM-ruggengraten (ChatGPT, Claude, LLaMA, DeepSeek) onder zero-shot en domeingeleide instellingen, waarbij optimale configuraties voor fraude- en driftdetectie worden geïdentificeerd.

4. Experimentele Resultaten

De studie evalueerde prestaties over meerdere metrieken (Nauwkeurigheid, Precisie, Recall, F1-score) door modellen met en zonder Domeinkennis (DK) te vergelijken en tegen traditionele ensemble-baselines.

• Fase I (Yelp Dataset):

  • Claude: Verbetering van 87% naar 95% nauwkeurigheid met DK.
  • DeepSeek: Toonde aanzienlijke winst, stijgend van 56% naar 90% nauwkeurigheid.
  • LLaMA: Bescheiden verbetering van 52% naar 58%.
  • ChatGPT: Marginale verbetering (54% naar 56%), wat wijst op gevoeligheid voor variaties in promptontwerp.

• Fase II (SEConvo Dataset):

  • LLaMA bleek het meest robuuste model, met 98% over alle metrieken (Nauwkeurigheid, Precisie, Recall, F1-score) met DK, een aanzienlijke verbetering ten opzichte van de 90%-baseline.
  • DeepSeek verbeterde zijn F1-score van 73% naar 80%.
  • Vergelijking met Ensemble-modellen: Het DK-versterkte Dual-LLM-kader (LLaMA) presteerde aanzienlijk beter dan een traditioneel ensemble-model (kNN, SVM, Imp-Kmeans) dat 82% nauwkeurigheid behaalde. De LLM-aanpak bood superieure semantische diepgang en contextuele redenering.

5. Betekenis en Claims

De auteurs claimen dat hun werk de levensvatbaarheid aantoont van het integreren van domeinkennis in LLM-workflows om hoge precisie en interpreteerbaarheid te bereiken in complexe, real-time detectiescenario's.

• Versterkte Robuustheid: Het kader behandelt effectief de onderlinge afhankelijkheid tussen misleiding en drift, waardoor false positives veroorzaakt door onbedreigende themaverschuivingen worden verminderd.
• Interpreteerbaarheid: Door anomaliedetectie (OCDD) te scheiden van semantische interpretatie (LLM-2), biedt het systeem duidelijke redenering voor zijn classificaties, zoals geïllustreerd door voorbeeldoutput die specifieke phishing-tactieken identificeert.
• Modelgevoeligheid: De resultaten benadrukken dat niet alle LLM's even reageren op domeinprompting; LLaMA en Claude lieten de meest aanzienlijke winsten zien, waarschijnlijk vanwege hun training op dialooggerichte corpora en token-niveau redeneervermogen.
• Beperkingen: De auteurs erkennen bescheiden dat LLM's nog steeds worstelen met sarcasme, culturele uitdrukkingen en emotioneel ambivalente taal, wat kan leiden tot false positives. Zij merken ook de hogere rekenkosten op ten opzichte van traditionele modellen, wat toekomstig werk suggereert in promptcompressie of hybride lichtgewicht architecturen.

Het paper concludeert dat hoewel latentie en kosten trade-offs zijn, de winst in nauwkeurigheid en interpreteerbaarheid deze aanpak geschikt maakt voor toepassingen met hoge inzet zoals cyberbeveiliging, online marktplaatsen en klantenserviceplatforms.