🤖 machine learning

Interpretable vs Learned Encoders for High-Cardinality Fraud Detection

Deze studie evalueert zeven methoden voor categorische codering op de IEEE-CIS fraudedataset en stelt vast dat entity embeddings de hoogste AUC-ROC bereiken (gelijk aan CatBoost) door het benutten van gezamenlijke multi-kolom representaties, terwijl ze traditionele tier group encoding overtreffen en niet in staat zijn de AUC-PR van boomgebaseerde pipelines te evenaren.

Oorspronkelijke auteurs: Xiao Han, Jingjing Liu, Moxuan Zheng, Zhen Zhang, Chenyu Wu

Gepubliceerd 2026-07-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiao Han, Jingjing Liu, Moxuan Zheng, Zhen Zhang, Chenyu Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een bank bent die een dief probeert op te sporen in een menigte van 590.000 mensen. De meeste mensen zijn eerlijk, maar ongeveer 3,5% zijn fraudeurs. Het probleem is dat de bank een lijst heeft met "aanwijzingen" (zoals e-mailadressen, typen apparaten of kaartnummers), maar veel van deze aanwijzingen hebben duizenden unieke variaties. Het is alsof je probeert een dief te herkennen aan zijn schoenmaat wanneer er 13.000 verschillende schoenmaten in de menigte zijn.

Om dit op te lossen, moesten de onderzoekers uitzoeken wat de beste manier was om deze rommelige, hoog-numerieke aanwijzingen te vertalen naar een formaat dat een computer kan begrijpen. Ze testten zeven verschillende "vertaalmethoden" (encoders) om te zien welke methode de computer het beste hielp de fraudeur te ontdekken.

Hier is de uitsplitsing van hun experiment en bevindingen, met behulp van eenvoudige analogieën:

De Opzet: De "Vertaler"-wedstrijd

Beschouw het computermodel (LightGBM) als een detective. De "encoders" zijn de vertalers die de ruwe aanwijzingen nemen en ze aan de detective uitleggen.

De onderzoekers wilden weten: Maakt het uit wie de vertaler is, of is de detective het enige dat telt? Om dit te ontdekken, hielden ze de detective exact hetzelfde en veranderden ze alleen de vertaler.

Ze testten zeven vertalers:

Het Woordenboek (One-hot): Somt elk uniek item op. (Te lang en onhandig).
De Statisticus (Target Encoding): Vervangt een aanwijzing door de gemiddelde "schuldscore" van mensen die die aanwijzing hadden.
De Frequentieteller (Frequency Counter): Vervangt een aanwijzing door hoe vaak deze voorkomt.
De Groepsmanager (Tier Grouping): Sorteert aanwijzingen in bakjes (bijv. "Laag Risico", "Middelmatig Risico", "Hoog Risico") op basis van hun schuldscores. Dit is ontworpen om gemakkelijk leesbaar te zijn voor menselijke auditors.
Het Neurale Netwerk (Entity Embeddings): Een slim systeem dat leert een unieke "vingerafdruk" voor elke aanwijzing te creëren door te kijken naar hoe aanwijzingen met elkaar interageren.
Het Alles-in-één Pakket (CatBoost): Een kant-en-klaar systeem dat zijn eigen vertaling en detectivewerk doet.
De Diepe Leerkracht (TabNet): Een zeer complex, modern neuraal netwerk.

De Resultaten: Wie won er?

1. De Slimste Vertaler (Entity Embeddings)
De Entity Embeddings-methode won de accuratesse-wedstrijd. Het gaf de detective het beste zicht op de fraudeurs (hoogste AUC-ROC score).

Het nadeel: Het is alsof je een genie als vertaler inhuurt die tegelijkertijd 30 verschillende talen spreekt. Het vond patronen door te kijken naar hoe aanwijzingen samenwerkten (bijv. een specifiek e-maildomein gecombineerd met een specifiek type apparaat). Het is echter rekentechnisch duur en moeilijker voor een mens om uit te leggen waarom het een beslissing nam.

2. De "Goed Genoeg" & Controleerbare Vertaler (Tier Grouping)
De Tier Grouping-methode kwam op de tweede plaats (zeer dicht bij de winnaar).

De analogie: Stel je voor dat je alle aanwijzingen sorteert in 5 duidelijke bakjes: "Zeer Veilig", "Veilig", "Oké", "Risicovol" en "Zeer Risicovol".
Waarom dit belangrijk is: Als een bankauditor vraagt: "Waarom heb je deze persoon gemarkeerd?", is het antwoord simpel: "Zij zaten in het 'Risicovolle' bakje." Het is snel, goedkoop en gemakkelijk uit te leggen. Het verloor slechts een fractie aan accuratesse vergeleken met de genie-methode.

3. De Zwaargewicht Kampioen (CatBoost)
Het CatBoost-systeem (dat een heel ander type detective is) won daarentegen op een andere metriek (AUC-PR), die beter is in het opsporen van de zeldzame fraudeurs in een enorme menigte. Het was een statistische gelijkspel met de Entity Embeddings op de hoofdmetriek.

4. De Teleurstelling (TabNet)
Het TabNet-model, dat een populair "deep learning" hulpmiddel is, faalde in het verslaan van de simpelere boom-gebaseerde methoden.

De analogie: Het was alsof je een supercomplex robot meebracht naar een klus die een simpele zaklamp ook kon doen. Wanneer de data schaars was (weinig informatie beschikbaar), stortte de robot volledig in en presteerde slecht. De onderzoekers vonden dat het gebruik van een standaard, kant-en-klare TabNet niet hielp.

De Grote Trade-offs

Het paper benadrukt drie belangrijke zaken om te overwegen bij het kiezen van een methode:

Accuratesse versus Kosten: De "Genie Vertaler" (Embeddings) was het meest accuraat, maar deed er 4 keer langer over om te draaien dan de "Groepsmanager" (Tier Grouping).
Accuratesse versus Uitlegbaarheid: In de bankwereld moet je je beslissingen vaak kunnen uitleggen aan toezichthouders (zoals de SR 11-7 regel). De "Genie Vertaler" is een "black box" — je kunt de logica erachter niet gemakkelijk uitleggen. De "Groepsmanager" is transparant; je kunt de auditor precies laten zien in welk bakje een persoon viel.
Het Metriek Probleem: Afhankelijk van welke scorekaart je gebruikt, verandert de winnaar. Als je geeft om de algemene rangschikking, winnen de Embeddings. Als je specifiek geïnteresseerd bent in het vangen van de zeldzame fraudeurs, wint het CatBoost-systeem.

De Kernconclusie

De onderzoekers concludeerden dat er geen enkele "perfecte" methode is.

Als je maximale accuratesse wilt en de rekenkracht hebt, gebruik dan Entity Embeddings.
Als je je beslissingen moet kunnen uitleggen aan auditors en snelheid wilt, gebruik dan Tier Grouping. Het was bijna net zo goed als de beste methode, maar veel gemakkelijker te begrijpen.
Ga er niet vanuit dat de meest complexe, moderne deep-learning modellen (zoals TabNet) altijd zullen winnen; soms werkt een goed afgestemde, simpelere aanpak beter.

Kortom: Je hebt niet altijd een supercomplexe AI nodig om een fraudeur te vangen. Soms is een slim, georganiseerd archiefsysteem (Tier Grouping) net zo effectief en veel makkelijker te verdedigen in de rechtbank.

Technische Samenvatting: Interpreteerbare versus Geleerde Encoders voor Fraudedetectie met Hoge Cardinaliteit

Probleemstelling

Het artikel behandelt de uitdaging van het representeren van categorische variabelen met een hoge cardinaliteit (bijv. kaartidentificatoren, e-maildomeinen, device fingerprints) in tabulaire fraudedetectiedatasets. Terwijl klassieke machine learning benchmarks vaak de focus leggen op encoder-prestaties binnen traditionele modelfamilies, en deep learning studies vaak encodings vastzetten om variaties in modelarchitecturen te onderzoeken, is er een gebrek aan gecontroleerd bewijs dat encoders over paradigma's heen vergelijkt. Dit gat is cruciaal voor gereguleerde financiële instellingen (bijv. onder SR 11-7), waar transparantie en controleerbaarheid van modellen vereist zijn naast hoge nauwkeurigheid. De auteurs zoeken naar de trade-offs tussen nauwkeurigheid, computationele kosten en interpreteerbaarheid bij het selecteren van een encodestrategie voor hoog-cardinale fraudedata, waarbij ze specifiek de bijdrage van de encoder isoleren van de downstream learner.

Methodologie

De studie maakt gebruik van de IEEE-CIS Fraud Detection dataset (590.540 records, 3,5% positieve klasse, 8 hoog-cardinale kolommen met cardinaliteiten variërend van 4 tot 13.553).

Experimenteel Ontwerp

De auteurs voerden een gecontroleerd experiment uit met behulp van gestratificeerde 5-voudige cross-validatie met 3 repetities (15 runs in totaal). De kerninnovatie is het vastzetten van de downstream learner voor de meeste vergelijkingen om het effect van de encodemethode te isoleren.

Zeven geëvalueerde Encoders:

E1 (One-hot): Standaard indicator encoding met frequentie-gebaseerd droppen.
E2 (Target Encoding): Out-of-fold gemiddelde target met Bayesiaanse smoothing ( $m=30$ ).
E3 (Frequency): Mapping van waarden naar hun relatieve frequentie.
E4 (Tier Grouping): Een interpreteerbare methode waarbij Bayesian-smoothed frauderates worden ingedeeld in $K$ ordinale tiers ( $K \in \{3, 5, 7\}$ ). Dit produceert door auditors leesbare grenzen.
E5 (CatBoost): Gebruikt als cross-paradigma referentie, die ruwe categoricals direct consumeert via permutatie-gebaseerde geordende target statistieken.
E6 (Entity Embeddings $\to$ LightGBM): Een ondiep neuraal netwerk leert dichte embeddings voor hoog-cardinale kolommen, die vervolgens worden geëxtraheerd en gevoed aan een bevroren LightGBM learner.
E7 (Target Encoding $\to$ TabNet): Gebruikt dezelfde target-encoded input als E2 maar voert deze aan de TabNet deep learning architectuur.

Gecontroleerde Vergelijkingen:

E1, E2, E3, E4, E6: Allemaal gevoed aan dezelfde bevroren LightGBM learner (vaste hyperparameters).
E5 & E7: Dienen als cross-paradigma referenties met verschillende learners (respectievelijk CatBoost en TabNet).

Metrieken & Statistiek:

Primaire Metriek: AUC-ROC (vastgesteld a priori om "metric shopping" te voorkomen).
Secundaire Metriek: AUC-PR (voor gevoeligheid voor imbalans).
Statistische Inferentie: Nadeau–Bengio gecorrigeerde resampled t-test (om gecorreleerde CV-folds af te handelen) en Friedman/Nemenyi tests voor ranking.

Belangrijkste Resultaten

1. Nauwkeurigheid en Statistische Significantie

Entity Embeddings (E6) behaalde de hoogste AUC-ROC (0,9612), statistisch gelijk aan CatBoost (E5) op 0,9602.
Tier Grouping (E4) scoorde 0,9548, wat statistisch significant lager is dan E6 (+0,0064, $p < 0,001$ ) maar statistisch gelijk is aan TabNet (E7) en significant hoger dan Frequency encoding.
Target Encoding (E2) (0,9571) presteerde beter dan Tier Grouping met een kleine maar significante marge (0,0023, $p=0,0003$ ).
TabNet (E7) (0,9522) presteerde niet beter dan de tree-based pipelines en presteerde vergelijkbaar met Tier Grouping.

2. Metrische Divergentie (AUC-ROC vs. AUC-PR)

De studie benadrukt een kritieke divergentie in de rangschikking van metrieken:

AUC-ROC: Geleid door E6 (Embeddings) en E5 (CatBoost).
AUC-PR: CatBoost (E5) leidt significant (0,8216) over E6 (0,7928). De kloof in AUC-PR (0,029) is een orde van grootte groter dan de kloof in AUC-ROC (0,001).
Conclusie: Geen enkele encoder domineert beide metrieken. De keuze hangt af van de operationele doelstellingen (ranking kwaliteit vs. precisie-recall balans).

3. Computationele Kosten en Efficiëntie

Tier Grouping (E4) is het meest efficiënt, met een vereiste van 24,5 seconden/fold.
Entity Embeddings (E6) vereisen 104,6 seconden/fold (4,3x E4) voor een marginale AUC-ROC winst van 0,0064.
TabNet (E7) is het duurst met 1654,3 seconden/fold (67x E4) en biedt geen nauwkeurigheidsvoordeel boven tree-based methoden in deze opzet.

4. Robuustheid en Sensitiviteit

Data Schaarste: Onder subsampling (tot 10% data), stortte TabNet (E7) in (AUC-ROC daalde naar 0,8108 met hoge variantie), terwijl tree-routed encoders (E1–E6) een parallelle, stabiele degradatie vertoonden.
Per-Kolom Analyse: Wanneer getraind op enkele hoog-cardinale kolommen, presteerde Entity Embeddings (E6) slechter dan klassieke encoders. Dit bevestigt dat het voordeel van E6 voortkomt uit de gezamenlijke multi-kolom representatie (het vastleggen van latente co-occurrences over kolommen zoals card1 en DeviceInfo) in plaats van een superieure single-column encoding.
Tier Sensitiviteit: De prestaties van E4 waren grotendeels ongevoelig voor het aantal tiers ( $K$ ) of binning regels, met variaties < 0,0019 AUC-ROC.

Belangrijkste Bijdragen

Cross-Paradigma Gecontroleerd Experiment: De auteurs isoleerden de encoder als de gecontroleerde variabele over zowel klassieke (LightGBM) als deep learning (TabNet) paradigma's, waarbij zij ongeveer 0,01 AUC-ROC variantie uitsluitend aan encoding-keuzes toeschrijven.
Operationele, Auditor-Leesbare Encoding: Het artikel benchmarkt "Tier Grouping", een methode die gesmoorde frauderates indeelt in ordinale tiers, en demonstreert dat dit een competitief, laagkosten en volledig controleerbaar alternatief is voor geleerde embeddings.
Interpreteerbaarheid-Eerst Framing: De studie scoort expliciet interpreteerbaarheid en rekenkracht naast nauwkeurigheid, en biedt hiermee een kader voor gereguleerde financiële instellingen waar modelrisico-eigenaren scores moeten kunnen rechtvaardigen (bijv. onder SR 11-7).

Betekenis en Claims

Het artikel claimt dat encoderkeuze een onafhankelijke vrijheidsgraad is die in eerdere studies vaak verward werd met variaties in modelfamilies. De bevindingen suggereren:

Geleerde embeddings (E6) bieden de hoogste AUC-ROC, maar tegen hogere computationele kosten en verminderde interpreteerbaarheid (30-dimensionale vectoren vs. duidelijke tier-grenzen).
Tier Grouping (E4) biedt een "sweet spot" voor gereguleerde omgevingen: het blijft slechts 0,0064 AUC-ROC achter op de best presterende methode, maar biedt transparante, auditor-vriendelijke grenzen en is aanzienlijk sneller.
Off-the-shelf TabNet presteert niet beter dan tree-based pipelines op deze taak en is zeer gevoelig voor dataschaarste.
Selectie van Metriek Is Cruciaal: In fraudedetectie kunnen AUC-ROC en AUC-PR verschillende "winnaars" opleveren (CatBoost wint op PR, Embeddings op ROC), wat betekent dat de keuze van de metriek moet aansluiten bij de specifieke deployment doelen.

De auteurs concluderen dat hoewel geleerde embeddings een marginale nauwkeurigheidsvoorsprong bieden door gezamenlijke representatie, tier grouping een robuust, interpreteerbaar en computationeel efficiënt alternatief is dat aan strikte regelgevende eisen voldoet zonder significant prestatieverlies.