💬 NLP

Understanding Structured Financial Data with LLMs: A Case Study on Fraud Detection

Dit paper introduceert FinFRE-RAG, een tweestapsbenadering die Large Language Models effectiever maakt voor fraudedetectie in financiële data door middel van feature-reductie en retrieval-augmented learning, waardoor de interpretatie verbetert en de prestatiekloof met traditionele tabulaire modellen wordt verkleind.

Oorspronkelijke auteurs: Xuwei Tan, Yao Ma, Xueru Zhang

Gepubliceerd 2026-04-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xuwei Tan, Yao Ma, Xueru Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: De Verwarde Detective

Stel je voor dat je een superintelligente detective hebt (een LLM, ofwel een grote taalcomputer) die gewend is om romans te lezen, nieuwsartikelen te analyseren en gesprekken te voeren. Deze detective is fantastisch in het begrijpen van woorden en verhalen.

Nu willen we deze detective echter inzetten om fraude op te sporen in banktransacties. Het probleem? De gegevens die we hebben zijn geen verhalen, maar een enorme, saaie Excel-tabel met duizenden kolommen: bedragen, tijdstippen, kaartnummers en codes.

Als je deze detective direct die Excel-tabel geeft, raakt hij in paniek. Het is alsof je iemand vraagt om een boek te lezen, maar je geeft hem in plaats daarvan een stapel losse, onbegrijpelijke cijfers. De detective ziet geen verbanden, raakt overweldigd door de hoeveelheid informatie en maakt willekeurige gokken. Hij is niet getraind om met "ruwe" tabellen om te gaan.

De Oplossing: FinFRE-RAG (De Slimme Assistent)

De auteurs van dit papier hebben een slimme manier bedacht om deze detective te helpen. Ze noemen hun methode FinFRE-RAG. Je kunt dit zien als het geven van een speciale handleiding en een archiefkast aan de detective.

De methode werkt in twee stappen:

Stap 1: De "Hoofdlijnen" Kiezen (Feature Reduction)

In plaats van de detective de hele Excel-tabel met duizenden kolommen te geven, kijken ze eerst welke kolommen echt belangrijk zijn.

De Analogie: Stel je voor dat je een detective een dossier geeft over een moord. In plaats van hem 500 pagina's te geven met elke minuut van de dag van de verdachte, geef je hem alleen de top 10 belangrijkste feiten: "De verdachte was op het moment van de moord niet thuis," "Hij had een nieuw telefoonnummer," "Hij kocht een vliegticket."
In het onderzoek doen ze dit door een simpele computer te laten kijken welke cijfers het meest relevant zijn voor fraude. Ze houden alleen die "top 10" over en veranderen de cijfers in leesbare zinnen.
- Voorbeeld: In plaats van Card1: 2801, schrijven ze: "De klant gebruikt kaartnummer 2801."

Stap 2: Het Archief Raadplegen (Retrieval-Augmented Generation)

Nu de detective de belangrijkste feiten in begrijpelijke taal heeft, krijgen ze een tweede hulp: een archiefkast met vergelijkbare oude dossiers.

De Analogie: De detective kijkt naar de nieuwe verdachte en zegt: "Wacht even, dit geval lijkt heel erg op drie oude dossiers uit mijn archief. In die drie gevallen was het ook fraude, en ze hadden allemaal dezelfde kenmerken (bijvoorbeeld: klein bedrag, maar een vreemd e-mailadres)."
De computer zoekt automatisch in de geschiedenis naar transacties die lijken op de huidige, en geeft deze als voorbeelden aan de detective.
De detective leest dan: "Oh, ik zie dat dit lijkt op die andere gevallen die als fraude werden gemarkeerd. Dus deze nieuwe transactie is waarschijnlijk ook verdacht."

Wat Leerden Ze? (De Resultaten)

De onderzoekers hebben dit getest op verschillende datasets en met verschillende modellen. Hier zijn de belangrijkste bevindingen, vertaald naar alledaags taal:

Zonder hulp faalt de detective: Als je de taalcomputer direct de Excel-tabel geeft, doet hij het slecht. Hij raakt de draad kwijt.
Met de "Handleiding" en "Archief" wordt hij slim: Met de FinFRE-RAG-methode (de samenvatting van belangrijke feiten + de vergelijkbare oude dossiers) wordt de detective plotseling heel goed in het opsporen van fraude. Hij doet het bijna net zo goed als de traditionele, zeer gespecialiseerde computersystemen die al jaren worden gebruikt.
Kwaliteit is belangrijker dan kwantiteit: Het helpt niet om de detective meer informatie te geven. Integendeel, hoe minder (maar wel de juiste) informatie je hem geeft, hoe beter hij werkt. Te veel ruis maakt hem verward.
Uitleg is goud waard: Traditionele systemen zeggen alleen "Ja" of "Nee". Deze detective kan echter uitleggen waarom: "Ik denk dat dit fraude is, omdat het bedrag laag is, maar het e-mailadres verdacht is, net als in die andere drie gevallen." Dit helpt mensen die de beslissing moeten controleren.

Waarom is dit belangrijk?

Vroeger waren alleen de "harde" computersystemen goed in het vinden van fraude, maar die konden niet uitleggen waarom ze iets verdacht vonden. Ze waren als een zwarte doos.

Met deze nieuwe methode krijgen we een systeem dat:

Slim is: Het vindt fraude net zo goed als de oude systemen.
Uitlegbaar is: Het kan in mensentaal vertellen waarom het een transactie verdacht vindt.
Flexibel is: Het hoeft niet opnieuw getraind te worden voor elke nieuwe vorm van fraude; het leert gewoon van de nieuwe voorbeelden in het archief.

Conclusie

Dit onderzoek laat zien dat we grote taalmodellen (zoals de AI die je nu gebruikt) niet hoeven te veranderen in saaie rekenmachines. In plaats daarvan kunnen we ze slim gebruiken als assistenten. Door ze de juiste informatie te geven (samenvattingen) en ze te laten kijken naar vergelijkbare gevallen (archief), kunnen ze ons helpen om oplichting sneller en duidelijker op te sporen. Het is alsof we een slimme detective een goed georganiseerd dossierkastje geven, zodat hij zijn talenten optimaal kan gebruiken.

Probleemstelling

Het detecteren van fraude in financiële transacties is een kritieke uitdaging. Traditionele methoden vertrouwen zwaar op tabulaire modellen (zoals XGBoost of Random Forest) die uitgebreide feature engineering vereisen om met hoge dimensionaliteit om te gaan. Deze modellen hebben echter twee grote nadelen:

Beperkte interpreteerbaarheid: Ze bieden vaak slechts aggregate feature-importance scores, wat het moeilijk maakt voor mensen om de redenering achter een voorspelling te begrijpen.
Moeilijkheden bij aanpassing: Ze zijn gevoelig voor veranderingen in data-patronen en vereisen frequente hertraining.

Grote Taalmodellen (LLMs) beloven menselijke uitleg en betere redeneercapaciteiten, maar presteren slecht bij directe toepassing op tabulaire fraudegegevens vanwege:

Misalignement van input: LLMs zijn getraind op natuurlijke taal, niet op ruwe numerieke/categorische tabellen. Ze hebben moeite met de semantische betekenis van gestructureerde features en de precisie van numerieke waarden.
Hoge dimensionaliteit: Transactiedata kan honderden of duizenden features bevatten, wat de contextlimieten van LLMs overschrijdt en ruis introduceert.
Fraude-ambiguïteit en zeldzaamheid: Fraude is zeldzaam (<1% van de data) en definities variëren per instelling. Zonder domeinspecifieke context maken LLMs willekeurige voorspellingen.

Methodologie: FinFRE-RAG

De auteurs introduceren FinFRE-RAG (FINancial Feature-REduced in-context learning framework with Retrieval-Augmented Generation), een tweestapsbenadering om LLMs aan te passen voor gestructureerde fraudeopsporing zonder fine-tuning.

Fase 1: Offline Feature Reduction (Functie-reductie)
Om de contextlimieten te respecteren en ruis te verminderen, wordt de feature-ruimte gereduceerd:

Een traditioneel machine learning-model (Random Forest) wordt getraind op een externe dataset om feature importance scores te genereren.
De top- $k$ meest invloedrijke features worden geselecteerd.
Numerieke features worden genormaliseerd (gecentreerd en geschaald) om een vectoriële dataset te creëren voor efficiënte zoekopdrachten.

Fase 2: Online Retrieval-Augmented In-Context Learning
Tijdens inferentie wordt elke query-transactie verwerkt via een retrieval-gestuurde redeneerpijplijn:

Instance Retrieval:
- Categorisch filteren: Transacties worden gefilterd op basis van de belangrijkste categorische attributen (bijv. staat, kaarttype) om een kandidatenpool te vormen.
- Numerieke zoekopdracht: Binnen deze pool worden de $n$ meest vergelijkbare transacties gevonden op basis van cosinus-ähnelijkheid in de genormaliseerde feature-ruimte.
Prompt Constructie:
- De geselecteerde features en de retrieved voorbeelden (met hun ground-truth labels) worden omgezet in menselijk leesbare zinnen (natural language serialization).
- De prompt bevat instructies, een paar-shot voorbeelden van vergelijkbare historische gevallen (frauduleus vs. legitiem), en de huidige query zonder label.
- De LLM wordt gevraagd om een risicoscore (1-5) te geven en een korte uitleg, in plaats van een directe binaire classificatie.

Belangrijkste Bijdragen

FinFRE-RAG Framework: Een innovatieve tweestapsmethode die LLMs toestaat om gestructureerde fraude te detecteren door gebruik te maken van importance-guided feature reduction en retrieval-augmented in-context learning.
Systematische Evaluatie: Uitgebreide tests op vier publieke datasets (CCF, CCFRAUD, IEEE-CIS, PAYSIM) met drie families van open-weight LLMs (Qwen, Gemma, GPT-OSS).
Analyse van Factoren: Principes analyses die inzicht geven in:
- Het optimale aantal features en retrieved voorbeelden.
- Het belang van granulariteit in output (risicoscore vs. binair).
- Een vergelijking met fine-tuned LLMs.

Resultaten

Prestatieverbetering: Zonder FinFRE-RAG presteren LLMs vaak slechter dan willekeurig gissen (negatieve MCC-scores). Met FinFRE-RAG stijgen de F1-scores en MCC-waarden aanzienlijk. Bijvoorbeeld, Qwen3-14B verbetert op de IEEE-CIS dataset van een F1 van 0,04 naar 0,62.
Concurrentie met Traditionele Modellen: In sommige scenario's presteert FinFRE-RAG vergelijkbaar met of zelfs beter dan sterke baselines zoals Random Forest en XGBoost, hoewel gespecialiseerde classifiers over het algemeen nog steeds iets beter presteren.
Impact van Feature Reduction: Het selecteren van features op basis van belangrijkheid levert significant betere resultaten op dan willekeurige selectie, vooral bij datasets met veel features (zoals IEEE-CIS).
Output Granulariteit: Het vragen om een 5-punts risicoscore (in plaats van een binair "ja/nee") resulteert in betere prestaties en meer bruikbare uitleg voor analisten.
Fine-tuning vs. ICL: Directe fine-tuning van LLMs op fraude-data leidt niet consistent tot betere resultaten dan FinFRE-RAG. Fine-tuning neigt naar een hogere precisie maar lagere recall (onderdekking van diverse fraudepatronen), terwijl FinFRE-RAG een gebalanceerder profiel behoudt dankzij de retrieval van diverse voorbeelden.

Betekenis en Conclusie

Het paper demonstreert dat LLMs, ondanks hun oorspronkelijke beperkingen bij tabulaire data, waardevolle assistentie-tools kunnen zijn in fraudeanalyse. Door de combinatie van feature-reductie en retrieval-augmented learning kunnen LLMs:

Interpreteerbare rationales bieden die analisten helpen bij het begrijpen van waarom een transactie verdacht is.
De kloof tussen traditionele ML-modellen en LLMs dichten zonder de hoge kosten van training of fine-tuning.
Een praktische, transparante aanpak bieden voor risicobeoordeling in de financiële sector.

De auteurs benadrukken echter dat deze systemen niet volledig autonoom moeten opereren; menselijke controle blijft essentieel, vooral vanwege de risico's van overbetrouwbaarheid en de noodzaak van privacy-beveiliging bij het gebruik van gevoelige financiële data.