Technische Samenvatting: Naar Controleerbare Fraudedetectie

Probleemstelling

Financiële instellingen staan voor een dubbele uitdaging in de detectie van fraude: de noodzaak om te schalen met stijgende transactievolumes, terwijl er voldoende transparantie, documentatie en menselijk toezicht behouden moet blijven. Hoewel agentic AI-systemen steeds vaker worden voorgesteld als hulpmiddelen om bewijsverzameling en meldingen te automatiseren, blijft het onduidelijk of dergelijke agenten de kwaliteit van besluitvorming verbeteren boven de onderliggende classificaties waar zij op vertrouwen. Bovered is er beperkt bewijs over hoe uit grafen afgeleide structurele kenmerken en anomaliesignalen zich specifken gedragen bij "moeilijke" gevallen (die met tussenliggende classifier-scores) en hoe onenigheid tussen een agent en een classifier kan worden ingezet om te bepalen wanneer menselijke beoordeling noodzakelijk is. Dit werk adresseert deze hiaten door een gelaagde fraudedetectie-pipeline te evalueren die gradiënt-gebooste classificatie, grafiekenkenmerken, anomaliesignalen en een begrensde Large Language Model (LLM) onderzoekagent integreert.

Methodologie

Data en Preprocessing

De studie maakt gebruik van de PaySim dataset, een synthetische dataset van mobiele geldtransacties met meer dan 6,3 miljoen transacties. Een cruciale stap in de preprocessing was het identificeren en verwijderen van een simulator-specifieke balans-shortcut. Analyse toonde aan dat het verschil tussen de geregistreerde wijziging in het saldo van de oorspronkelijke rekening en het transactiebedrag bijna deterministisch was voor frauduleuze transacties vanwege het simulatieproces. Om opgeblazen baseline-prestaties te voorkomen, werden de velden van het oorspronkelijke saldo uit de feature set verwijderd, terwijl de velden van het bestemmingssaldo werden behouden omdat deze niet hetzelfde artefact vertoonden.

Systeemarchitectuur

De voorgestelde pipeline bestaat uit vier hoofdfasen:

1. Feature Engineering:
   • Tabulaire Features: Gecorrigeerde transactie-attributen (bijv. bedrag, type, timing).
   • Grafiekenkenmerken: Afgeleid van een transactie-grafiek waarbij rekeningen knopen zijn en overboekingen randen. Kenmerken omvatten technisch ontwikkelde structurele statistieken (bijv. node degree, verschillende tegenpartijen) en node2vec embeddings geleerd van de subgraaf van terugkerende rekeningen.
   • Anomalie Signaal: Een one-class autoencoder getraind uitsluitend op legitieme transacties. De reconstructiefout wordt gebruikt als een enkel kenmerk om afwijkingen van normaal gedrag te vangen.
2. Baseline Detectie: Een XGBoost gradiënt-geboosted decision tree ensemble dient als de primaire classifier. Deze is getraind op de gecorrigeerde tabulaire features en is compatibel met TreeSHAP voor lokale feature attributie.
3. Agentic Investigation Layer: Een begrensde LLM-agent (Llama 3.3 70B) wordt geactiveerd voor gevallen waar de classifier een tussenliggende score produceert (0,2 tot 0,8). De agent heeft toegang tot vier tools:
   • Transactiedetails.
   • Classifier score en de top 5 SHAP-attributies.
   • Grafische context voor de oorsprong en bestemming van de rekeningen.
   • Feature-ruimte afstanden naar de dichtstbijzijnde gelabelde fraude- en legitieme referentiegevallen.
     De agent moet ten minste twee bewijsmiddelen inspecteren en een gestructureerd oordeel produceren (Fraude, Geen Fraude, of Escaleren) met een geschreven rationale.
4. Escalatiebeleid: Een exploratieve regel markeert gevallen voor menselijke beoordeling als de agent onenig is met de classifier en de classifier-score extreem is (≥0,65 of ≤0,35).

Experimenteel Ontwerp

• Model Vergelijking: Vier varianten werden geëvalueerd op een gestratificeerde 80/20 train/test split: Hard Baseline (alleen tabulair), Graph-Augmented, Autoencoder-Augmented, en Combined.
• Gecontroleerd Ringexperiment: Een synthetisch experiment introduceerde 40 multi-account frauderingen (5 rekeningen, 6 overboekingen per ring) om het vermogen van grafiekenkenmerken te testen om gecoördineerde patronen te detecteren die tabulaire modellen mogelijk missen.
• Agent Evaluatie: De agent werd getest op een gebalste case-control steekproef van 6 ही0 gevallen (30 fraude, 30 legitiem) geselecteerd uit de subset met tussenliggende scores. Prestaties werden vergeleken met een eenvoudige drempelwaarde van de classifier score (drempel = 0,5).

Belangrijkste Resultaten

Detectieprestaties

• Volledige Testset: Na correctie voor de balans-shortcut behaalde de harde tabulaire baseline de hoogste Average Precision (0,7677). Noch de grafiekenkenmerken, noch het autoencoder-signaal verbeterde de prestaties op de volledige testset; sterker nog, de grafiek-geaugmenteerde variant vertoonde een lichte daling (0,7611).
• Moeilijk Subsect: Binnen de subset van gevallen met tussenliggende scores (0,2–0,8) behaalde de autoencoder-geaugmenteerde model de hoogste Average Precision (0,0138), waarmee het de baseline (0,0062) en de grafiek-geaugmenteerde variant (0,0086) versloeg.
• Gecontroleerd Ringexperiment: Het grafiek-geaugmenteerde model detecteerde alle 39 geïnjecteerde testtransacties uit de synthetische frauderingen, terwijl de harde baseline slechts 30 detecteerde (76,9% recall). Dit geeft aan dat technisch ontwikkelde structurele kenmerken effectief zijn in het identificeren van terugkerende multi-account patronen, zelfs als ze de geaggregeerde prestaties op de natuurlijke PaySim fraudeggevallen niet verbeterden.

Agentic Investigation Prestaties

• Nauwkeurigheid: Op de 60-gevallen steekproef behaalde de agent een nauwkeurigheid van 65,0% (39/60 correct), terwijl direct drempelen van de classifier score een nauwkeurigheid van 71,7% (43/60 correct) behaalde.
• Onenigheidsanalyse: De agent was het oneens met de classifier in 8 gevallen. In 6 van deze 8 gevallen verving de agent een correcte beslissing van de classifier door een onjuist oordeel. In de resterende 2 gevallen corrigeerde het de fout van de classifier.
• Kwaliteit van Rationale: Ondanks het maken van foutieve beslissingen, produceerde de agent in elk geval een coherente, plausibele geschreven rationale, waarbij de agent vaak onterecht prioriteit gaf aan de afstand tot referentiegevallen boven de classifier score.
• Escalatie Regel: De exploratieve onenigheid-gebaseerde regel markeerde 2 van de fouten van de agent voor menselijke beoordeling zonder enige correcte beslissing van de agent te markeren in deze steekproef, wat suggereert dat onenigheid kan dienen als een signaal voor escalatie, hoewel deze bevinding beperkt is door de kleine steekproefomvang.

Betekenis en Claims

Het artikel concludeert dat de componenten van een gelaagd fraudsysteem alleen waarde toevoegen onder specifieke condities, en dat een plausibele rationale van een onderzoekagent geen bewijs is voor een betere beslissing.

1. Conditionele Waarde van Signalen: Grafiekenkenmerken en anomaliesignalen verbeteren de detectie niet universeel. Hun nut is conditioneel: autoencoder-signalen kunnen helpen bij het rangschikken van fraude binnen onzekere gevallen, terwijl grafiekenkenmerken cruciaal zijn voor het detecteren van gecoördineerde multi-account patronen (frauderingen) die individuele transactie-attributen missen.
2. Limieten van Agentic Investigation: Toegang tot extra context (SHAP-waarden, grafiekdata, referentiegevallen) en het vermogen om gestructureerde rationales te genereren, stelde de LLM-agent niet in staat om de onderliggende classifier te overtreffen. Sterker nog, de agent introduceerde regelmatig fouten terwijl hij een hoge mate van zelfvertrouwen en coherentie behield. Dit suggereert dat agents die fungeren als "re-organisatoren" van bestaande modeloutputs, de kwaliteit van de besluitvorming niet inherent verbeteren.
3. Controleerbaarheid vs. Correctheid: De studie maakt onderscheid tussen controleerbaarheid (het vermogen om het besluitvormingsproces te reconstrueren) en correctheid. Een controleerbare fout blijft een fout. De waarde van de agent in deze architectuur wordt geframed als een begrensde onderzoek- en documentatielaag die bewijs voorbereidt voor menselijke beoordeling, in plaats van een autonome besluitvormer.
4. Escalatie als Controlemechanisme: Onenigheid tussen de agent en de classifier, gecombineerd met sterke classifier-scores, kan dienen als een transparant signaal om gevallen te escaleren naar menselijke beoordeling, hoewel dit validatie op onafhankelijke data vereist.

De auteurs benadrukken dat deze bevindingen gebaseerd zijn op synthetische data en een specifieke experimentele opzet. Ze roepen op tot toekomstige validatie op echte transactiedata met temporele splitsingen en gebruikersstudies met fraudeanalisten om te bepalen of dergelijke systemen de operationele efficiëntie of de kwaliteit van de beoordeling in productieomgevingen verbeteren.