💻 computer science

An LLM-based Chain-of-Response Counter-Scam System

Dit artikel introduceert Counter Scam, een verenigd op LLM gebaseerd multi-agent framework ontworpen om end-to-end mitigatie van online oplichting te versnellen van detectie tot onderzoek, met veilige dataguidelines, een gespecialiseerd negen-taken NLP-systeem en een grootschalig oplichtingscorpus dat superieure prestaties vertoont ten opzichte van commerciële modellen.

Oorspronkelijke auteurs: Heedou Kim, Mogan Gim, Donghee Choi, Hoonick Lee, Soonil Bae, Mi-Young Kim, Jaewoo Kang

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Heedou Kim, Mogan Gim, Donghee Choi, Hoonick Lee, Soonil Bae, Mi-Young Kim, Jaewoo Kang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je online oplichting voor als een razendsnelle, georganiseerde misdaadring die opereert als een goed geoliede machine. Ze gebruiken slimme trucjes (zoals zich voordoen als je bank of een familielid in nood) om geld te stelen voordat iemand op de "pauzeknop" kan drukken. Het probleem is volgens dit artikel dat de mensen die hen proberen te stoppen — politie, banken en beveiligingsteams — vaak in aparte kamers werken, op verschillende telefoons praten en te langzaam bewegen om de criminelen te vangen.

De auteurs stellen een oplossing voor genaamd Counter-Scam. Zie dit niet alleen als een enkel hulpmiddel, maar als een supergeorganiseerd digitaal SWAT-team aangedreven door Kunstmatige Intelligentie (AI).

Zo werkt het, onderverdeeld in eenvoudige delen:

1. Het Probleem: Het "Te Langzame" Probleem

Momenteel is de reactie op een scam gefragmenteerd.

De Analogie: Stel je voor dat een dief een huis binnenvalt. De buurman ziet het en belt de politie. De politie belt de bank om de rekening te blokkeren. De bank belt de telefoonprovider om het nummer te blokkeren. Tegen de tijd dat iedereen zijn telefoongesprekken en papierwerk heeft afgerond, heeft de dief al de bankrekening leeggehaald en is hij het land ontvlucht. Het artikel stelt dat het huidige systeem te traag is omdat het afhankelijk is van mensen die briefjes naar elkaar doorgeven.

2. De Oplossing: Een Digitale "Dirigent"

Counter-Scam is een framework dat Large Language Models (LLM's) gebruikt — hetzelfde soort AI dat chatbots aanstuurt — maar georganiseerd in een specifieke teamstructuur. In plaats van één AI die alles doet, gebruikt het een multi-agent systeem.

Denk hierbij aan een symfonieorkest:

De Dirigent (Situation Analysis Agent): Deze AI luistert naar het binnenkomende alarm (een verdacht smsje of telefoontje). Het bepaalt wat voor soort noodsituatie het is: Is het een neptelefoontje? Identiteitsfraude? Een geldoverboeking? Vervolgens vertelt het de rest van het orkest welk instrumentarium moet spelen.
De Beveiliger (Scam Prevention Agent): Als de Dirigent "Stop" zegt, treedt deze agent direct in actie. Het blokkeert het kwaadaardige telefoonnummer, markeert de schadelijke link en waarschuwt het slachtoffer in realtime.
De Eerste Hulpverlener (Emergency Response Agent): Als het slachtoffer al geld heeft verloren, springt deze agent in actie. Het vat het verhaal van het slachtoffer snel en duidelijk samen in een kort rapport voor de politie en banken, waardoor zij rekeningen sneller kunnen bevriezen.
De Detective (Investigation Agent): Nadat het directe gevaar geweken is, gaat deze agent aan het werk. Het leest door duizenden dossiers, vindt patronen (zoals "dezelfde nep bankrekening werd gebruikt in 500 andere scams") en helpt juristen om precies vast te stellen welke wetten er zijn overtreden om een sterke zaak op te bouwen.

3. Het Geheim: Veiligheid en Trainingsdata

Je vraagt je misschien af: "Kunnen we niet gewoon een publieke AI zoals ChatGPT hiervoor gebruiken?" Het artikel zegt nee, om twee belangrijke redenen:

Veiligheid: Je kunt geen publieke AI voeden met echte gesprekken over scams, omdat oplichters die data kunnen gebruiken om nieuwe trucjes te leren. De auteurs hebben een speciale "veilige" dataset gemaakt waarbij alle gevoelige details (zoals echte telefoonnummers of namen) verborgen zijn, maar de structuur van het misdrijf behouden blijft, zodat de AI kan leren.
Gespecialiseerde Training: Publieke AI's zijn als algemene artsen; ze weten een beetje van alles. De auteurs hebben hun eigen kleinere, gespecialiseerde AI-modellen (genaamd sLLM's) specifelijk getraind op politiemanuals, juridische codes en echte scam-gevallen.
- Het Resultaat: Deze gespecialiseerde "door de politie getrainde" AI's waren daadwerkelijk beter in het opsporen van scams en het begrijpen van juridische details dan de dure, beroemde commerciële modellen. Sterker nog, ze presteerden in de meeste taken ongeveer 10% beter dan de grote commerciële modellen.

4. Het "Receptenboek" (De Dataset)

Om deze AI-agents te onderwijzen, hebben de onderzoekers niet simpelweg geraden. Ze hebben samengewerkt met 37 experts uit de echte wereld (politieagenten, rechercheurs en beleidsanalisten).

Ze bouwden een enorme bibliotheek van 185.300 scam-gevallen en 38.587 stukken juridische kennis.
Ze behandelden de AI als een student: Ze gaven het huiswerk (taken zoals "vat dit noodtelefoongesprek samen" of "vind de nep bankrekening in deze tekst") en beoordeelden het.
De AI die "fine-tuned" was met dit specifieke huiswerk, werd veel slimmer in zijn taak dan de AI die alleen probeerde te raden op basis van algemene kennis.

5. Wat Ze Hebben Ontdekt

Het artikel concludeert dat dit systeem goed werkt voor het "zware werk" van de reactie op scams:

Snelheid: Het kan noodoproepen analyseren en samenvatten veel sneller dan een mens dat zou kunnen.
Nauwkeurigheid: De gespecialiseerde AI was erg goed in het opsporen van specifieke criminele details (zoals valse namen of kwaadaardige links) die commerciële AI's vaak misten.
Beperkingen: De AI is nog niet perfect. Het heeft nog steeds moeite met zeer complexe juridische redeneringen of het samenvatten van extreem lange, rommelige noodrapporten. Het is een krachtige assistent, maar het heeft nog steeds menselijke experts nodig om het definitieve werk te controleren, vooral voor de veiligheid.

De Kernboodschap

Counter-Scam is een blauwdruk voor een toekomst waarin AI fungeert als een centraal knooppunt dat het slachtoffer, de politie en de banken direct met elkaar verbindt. In plaats van een trage keten van telefoontjes, creëert het een snelle, gecoördineerde reactie die net zo snel beweegt als de criminelen zelf, gebruikmakend van gespecialiseerde AI-agents die getraind zijn op echte politiedata om scams te stoppen voordat het geld verdwenen is.

Technische Samenvatting: COUNTER-SCAM

Probleemstelling

Online scams zijn geëvolueerd tot een grensoverschrijdende dreiging, gekenmerkt door geraffineerde sociale manipulatie en snelle kap van fondsen, wat conventionele detectie- en responsmechanismen voorbijstreeft. Huidige systemen lijden onder kritieke vertragingen veroorzaakt door gefragmenteerde samenwerking tussen instanties en handmatige analyse. Hoewel Large Language Models (LLMs) veelbelovend zijn voor het detecteren van scam-content, blijft bestaand onderzoek grotendeels gericht op detectie. Het slaagt er niet in de downstream-coördinatie aan te pakken die nodig is voor noodinterventie (bijv. het bevriezen van rekeningen) en onderzoek na incidenten, waardoor slachtoffers genoodzaakt zijn door gedisconnecteerde systemen te navigeren en cruciale vensters voor financieel herstel missen. Bovendien wordt de inzet van LLMs in dit domein gehinderd door het gebrek aan veilige, hoogwaardige datasets en het onvermogen van commerciële modellen om binnen beperkte, gesloten netwerken te opereren die typerend zijn voor wetshandhavingsinstanties.

Methodologie

De auteurs stellen COUNTER-SCAM voor, een verenigd, op LLM gebaseerd multi-agent framework dat is ontworpen om een end-to-end respons te orkestreren, van initiële detectie tot crimineel onderzoek. Het systeem is gebouwd op drie kernzuilen:

1. Kernrichtlijnen en Veiligheid (CSRD Fundament)

Om risico's met betrekking tot gegevensprivacy en misbruik aan te pakken, stelt het framework strikte richtlijnen op:

Preventie van gegevensmisbruik: Werkelijke scam-gespreksgegevens worden niet vrijgegeven. In plaats daarvan maakt het systeem gebruik van gecureerde neutrale data en officieel geproduceerde teksten (bijv. noodrapporten, juridische samenvattingen).
Betrokkenheid van experts: 37 belanghebbenden (waaronder politieagenten, onderzoekers en beleidsanalisten) begeleidde het ontwerp van de agents, de taakdefinitie en de data-annotatie.
Veilige dataconstructie: Een CASE ANALYSIS NER-pipeline is ontwikkeld om gevoelige informatie van slachtoffers en daders te de-identificeren, terwijl analytisch betekenisvolle signalen (bijv. kwaadaardige links, geïmpersoneerde identiteiten) behouden blijven.

2. Multi-Agent Framework (CSRA)

Het systeem modelleert de levenscyclus van de scam-respons via vier gespecialiseerde agents, elk met gedefinieerde rollen, doelstellingen en stakeholders (burgers, cybersecurity-teams, politie, banken):

Situatieanalyse Agent ( $A_{SA}$ ): Beoordeelt de scam-situatie, identificeert de huidige staat van de gebruiker en bepaalt de passende responsroute (preventie, noodsituatie of onderzoek).
Scam Preventie Agent ( $A_{SP}$ ): Voert real-time detectie uit van scam-gesprekken en berichten, geeft waarschuwingen af aan burgers en extraheert kwaadaardige indicatoren voor cybersecurity-teams om te blokkeren.
Noodrespons Agent ( $A_{ER}$ ): Genereert snelle samenvattingen van slachtofferrapporten om directe acties zoals het bevriezen van rekeningen te faciliteren en coördineert met wetshandhaving en financiële instellingen.
Onderzoeks Agent ( $A_{I}$ ): Ondersteunt analyse na incidenten door criminele aansprakelijkheid te beoordelen, toepasbare wetgeving in kaart te brengen en instrumenten te extraheren om georganiseerde criminele netwerken te traceren.

3. Task Suite en Dataset (CSRT & CSRD)

Het framework operationaliseert de rollen van de agents via negen specifieke NLP-taken (CSRT) ondersteund door een grootschalige dataset (CSRD) bestaande uit 185.300 scam-gevallen en 38.587 kennis-entries.

Taken: Omvatten Offense Detection, Operational QA, Scam Scenario Detection, Message Classification, Emergency Call Summarization, Criminal Hypothesis Evaluation, Statute Mapping en Element Analysis.
Databronnen: De dataset integreert echte voice-phishing gesprekken, door slachtoffers gerapporteerde SMS-berichten, geanonimiseerde transcripten van noodoproepen en juridische benchmarks, aangevuld met synthetische gevallen en politiemanuals.

4. Evaluatiestrategie

Gezien de real-world beperkingen (gesloten netwerken, beperkte rekenkracht), evalueerden de auteurs gefinetunede kleine LLMs (sLLMs) tegenover commerciële modellen (GPT-4o, Gemini).

Geteste Modellen: Llama-3.1-8B, SOLAR-10.7B, Llama-3.2-1B, en de Koreaanse getunede EEVE-Korean-Instruct-10.8B.
Training: sLLMs werden gefinetuned met behulp van QLoRA op de CSRD.
Metrieken: Accuratesse, F1-scores en een LLM-as-a-Judge framework voor open eind taken, gevalideerd tegen menselijke expert-annotaties.

Belangrijkste Resultaten

Superieure prestaties van gefinetunede sLLMs: Gefinetunde sLLMs presteerden beter dan commerciële modellen (GPT-4o, Gemini) in 6 van de 9 taken, met een gemiddelde prestatieverbetering van meer dan 10%.
Scam-specifieke NER: Gefinetunde modellen behaalden een F1-score van 0,59 voor crime-domein NER, wat aanzienlijk hoger is dan de commerciële modellen (gemiddelde F1 0,35). Specifieke verbeteringen werden opgemerkt bij het herkennen van entiteiten zoals "valse positie", "beschuldigde naam" en "criminele middelen".
Stabiliteit van Scam Detectie: In de taak Scam Scenario Detection vertoonden gefinetunde sLLMs een hogere stabiliteit met aanzienlijk minder fout-negatieven vergeleken met commerciële modellen (bijv. classificeerde Gemini 351 niet-scam berichten foutief als scams, terwijl de beste sLLM er slechts 4 fout classificeerde).
Taakspecifieke Winsten: De taak Scam Message Classification toonde de meest dramatische verbetering, waarbij gefinetunde modellen de zero-shot baselines overtroffen met 0,55 in prestatie.
Beperkingen: Complexe redeneertaken, zoals Emergency Call Summarization en Legal Analysis, blijven uitdagend. Kleinere modellen hadden moeite met het verwerken van lange contexten, en sommige taken hebben nog geen volwassen niveau van accuratesse bereikt, wat wijst op een behoefte aan verdere verfijning van de training.

Betekenis en Bijdragen

Het artikel claimt het eerste werk te zijn dat verder gaat dan alleenstaande scam-detectie door een geïntegreerd agent–taak–data framework te presenteren dat de gehele levenscyclus van de scam-respons dekt. De primaire bijdragen zijn:

COUNTER-SCAM Framework: Een verenigd systeem dat snelle, collaboratieve mitigatie mogelijk maakt tussen burgers, security teams, wetshandhaving en banken.
Praktische Implementatiecomponenten: De ontwikkeling van CSRA (agents), CSRT (taken) en CSRD (misbruik-resistente data) door de actieve betrokkenheid van 37 domeinexperts, wat de kloof tussen theoretische AI en operationele wetshandhavingsbehoeften overbrugt.
Empirische Validatie: Demonstratie dat gefinetunde, inzetbare sLLMs aanzienlijk beter kunnen presteren dan grote commerciële modellen op scam-respons-specifieke taken, wat de levensvatbaarheid van on-premise AI-oplossingen voor wetshandhaving bewijst.
Fundament voor Samenwerking: Door het framework en de grootschalige datasets vrij te geven, beogen de auteurs een fundament te bieden voor schaalbare inzet en grensoverschrijdende samenwerking in scam-mitigatie.

De auteurs concluderen dat hoewel uitdagingen in complexe redenering aanhouden, COUNTER-SCAM de potentie van AI-agents valideert als praktische partners bij het beperken van wereldwijde online scams, en een pad biedt om de respons-kloven te dichten die momenteel worden geëxploiteerd door grensoverschrijdende criminele netwerken.