🤖 machine learning

Customer Churn Prediction on Structured Data Using FT-Transformer and Stacking Ensembles

Dit artikel presenteert een gevalideerde hybride architectuur die FT-Transformer en gradient-boosted trees combineert via kalibratiebewuste stacking om klassenimbalans en feature-interacties bij klantverloopvoorspelling effectief aan te pakken, waarbij een superieure prestatie wordt behaald ten opzichte van baseline-modellen op gestructureerde tabeldata.

Oorspronkelijke auteurs: Joyjit Roy, Samaresh Kumar Singh, Laxmi Shaw

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Joyjit Roy, Samaresh Kumar Singh, Laxmi Shaw

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een drukke koffiebar runt. Je hebt 10.000 vaste klanten, maar elk jaar stoppen er ongeveer 2.000 van hen met komen. Je wilt weten wie er op het punt staat te vertrekken, zodat je ze een gratis gebakje kunt aanbieden om ze te laten blijven. Dit wordt "Customer Churn Prediction" genoemd.

Het probleem is dat de mensen die vertrekken een kleine groep zijn (de "minderheid"), en ze zien er niet allemaal hetzelfde uit. Sommigen vertrekken omdat ze ouder zijn, anderen omdat ze minder vaak langskomen, en weer anderen omdat ze te veel loyaliteitskaarten hebben. Het is een rommelige puzzel.

Dit artikel introduceert een nieuwe, hoogtechnologische manier om deze puzzel op te lossen door twee verschillende soorten "detectives" te combineren tot één superteam.

De Twee Detectives

De auteurs hebben een systeem gebouwd met behulp van twee zeer verschillende soorten AI-modellen, die elk een unieke manier van denken hebben:

De "Boom-Detective" (XGBoost):
Zie deze detective als een strikte regelvolger. Hij stelt een reeks "Ja of Nee"-vragen om een beslissing te nemen, zoals een stroomdiagram.
- Vraag: "Is de klant ouder dan 50?" -> Ja.
- Vraag: "Heeft hij 3 of meer producten?" -> Ja.
- Conclusie: "Hoog risico op vertrek!"
- Sterkte: Geweldig in het herkennen van duidelijke, scherpe grenzen (zoals "als ze 3 producten hebben, vertrekken ze").
- Zwakte: Het kan een beetje rigide zijn en subtiele, complexe verbanden tussen variabelen missen.
De "Aandacht-Detective" (FT-Transformer):
Zie deze detective als een sociale waarnemer die naar het hele plaatje tegelijk kijkt. In plaats van simpele ja/nee-vragen te stellen, gebruikt hij "aandacht" om te zien hoe verschillende stukjes informatie tegelijkertijd met elkaar samenhangen.
- Observatie: "Hm, deze klant is ouder, én heeft veel producten, én woont in Duitsland. Deze drie dingen samen creëren een specifiek risicopatroon dat een simpele lijst niet zou vangen."
- Sterkte: Uitstekend in het ontdekken van complexe, verborgen relaties tussen verschillende datapunten.
- Zwakte: Het kan soms een beetje overmoedig zijn in zijn voorspellingen.

De Magische Truc: De "Stacking Ensemble"

Het grote idee van het artikel is om deze twee detectives in één kamer te zetten en hen te laten stemmen, maar met een twist. Ze nemen niet zomaar een simpel gemiddelde. Ze gebruiken een Meta-Learner (een derde, slimme scheidsrechter).

Hoe het werkt: De twee detectives doen hun voorspellingen. De scheidsrechter kijkt naar beide antwoorden.
De Kalibratie: Als de "Boom-Detective" te zeker van zichzelf is (overmoedig) en de "Aandacht-Detective" een beetje onzeker is, past de scheidsrechter de definitieve score aan om deze nauwkeuriger te maken.
Het Resultaat: Het team maakt minder fouten dan een van de twee detectives alleen zou kunnen.

Waarom dit ertoe doet (De "Waarom de moeite?" factor)

Het artikel heeft dit getest op een echte bankdataset met 10.000 klanten. Dit is wat ze ontdekten, vertaald naar begrijpelijke taal:

Beter dan de oude methode: Het nieuwe team versloeg de standaard "neurale netwerken" (een veelvoorkomend AI-model) met een aanzienlijke marge. Het was alsof je upgradet van een fiets naar een sportwagen.
Omgaan met de onbalans: Omdat slechts 20% van de klanten vertrekt, voorspellen de meeste AI-modellen simpelweg "niemand vertrekt", wat een hoge score oplevert maar nul echte waarde heeft. Deze nieuwe methode richtte zich specifiek op het vinden van die 20% die wel vertrekt, zonder te bedriegen door nepdata te verzinnen (een veelgebruikte truc genaamd SMOTE die de auteurs vermeden).
Betrouwbare voorspellingen: Een van de grootste problemen met AI is dat het vaak zegt: "Ik weet het voor 99% zeker!", terwijl het eigenlijk maar 60% zeker is. Dit nieuwe systeem "kalibreert" zijn vertrouwen. Als het zegt dat er een kans van 70% is op vertrek, dan is dat ook echt ongeveer 70%. Dit is cruciaal voor bedrijven, want je wilt geen geld verspillen aan het bellen van mensen die eigenlijk niet van plan zijn te vertrekken.

De "Aha!" Momenten (Wat de data onthulde)

Door te kijken naar hoe het model beslissingen nam, ontdekten de auteurs enkele interessante patronen:

De "Overbelaste" Klant: Klanten met 3 of meer producten hadden een veel grotere kans om te vertrekken, vooral als ze ouder waren. De "Aandacht-Detective" zag dit complexe verband onmiddellijk.
Het "Inactieve" Risico: Als een klant een hoog saldo heeft maar onlangs niet actief is geweest, is er een hoog risico op vertrek. Het model zag dat "geld hebben" en "niet actief zijn" samen een gevaarsignaal vormden.
De "Onverwachte" Vertrekkers: Het model miste nog steeds sommige mensen (ongeveer 25% van de tijd). Dit waren meestal mensen die op papier perfect leken (actief, goed saldo), maar vertrokken om redenen die de data niet vastlegde (zoals een concurrent die een betere deal bood of een persoonlijke levensgebeurtenis).

De Kern van het Verhaal

Dit artikel bewijst dat je niet hoeft te kiezen tussen een simpel regelgebaseerd model en een complex deep-learning model. Door ze samen te stapelen (stacking) en een slimme scheidsrechter hun stemmen te laten aanpassen, krijg je een systeem dat:

Nauwkeuriger is in het vinden van klanten die zullen vertrekken.
Eerlijker is over hoe zeker het is.
Reproduceerbaar is (andere wetenschappers kunnen exact hetzelfde bouwen en dezelfde resultaten krijgen).

Het is een praktisch, direct inzetbaar hulpmiddel voor banken, abonnementsdiensten of elke andere onderneming die haar klanten tevreden wil houden en wil behouden.

Technische Samenvatting: Voorspelling van Klantverloop op Gestructureerde Data met behulp van FT-Transformer en Stacking Ensembles

Probleemdefinitie
Voorspelling van klantverloop (churn) in gestructureerde tabelgegevens brengt andere uitdagingen met zich mee dan bij ongestructureerde data (afbeeldingen, tekst). Belangrijke moeilijkheden zijn extreme klassenonbalans (doorgaans 15–25% verloop), complexe niet-lineaire feature-interacties en heterogene feature-typen (numeriek en categorisch). Hoewel boomgebaseerde ensembles (zoals XGBoost) historisch gezien beter presteren dan deep learning op tabeldata vanwege hun vermogen om as-georiënteerde splitsingen en onregelmatige beslissingsgrenzen te verwerken, bieden recente transformer-architecturen potentieel voor het vastleggen van hogere-orde feature-afhankelijkheden. Echter, veel eerder onderzoek heeft deze modelfamilies grotendeels geïsoleerd behandeld, waarbij vaak een strikte statistische validatie, probabilistische kalibratie en systematische ablatie van hybride componenten ontbraken. Bovendien vertrouwen veel bestaande studies op synthetische oversampling (bijv. SMOTE), wat artefacten kan introduceren en de distributies van de minderheidsklasse kan verstoren.

Methodologie
De auteurs stellen een hybride architectuur voor die een FT-Transformer (Feature-Tokenized Transformer) integreert met XGBoost via een kalibratie-bewust stacking ensemble. Het framework werkt als volgt:

Data Preprocessing: De pipeline maakt gebruik van Z-score normalisatie en mediaan/modus imputatie, strikt afgeleid van de trainingsset om datalekken te voorkomen. Cruciaal is dat de auteurs geen synthetische oversampling gebruiken, maar kiezen voor geklasseerde verliesfuncties (class-weighted loss functions) om de ~4:1 klassenonbalans aan te pakken.
Basismodellen:
- FT-Transformer: Converteert heterogene features naar een sequentie van embeddings. Numerieke features ondergaan lineaire embedding, terwijl categorische features gebruikmaken van geleerde embedding-matrices. Een leerbaar [CLS] token aggregeert informatie, en multi-head self-attention mechanismen modelleren pairwise feature-interacties. Het model gebruikt een class-weighted binary cross-entropy loss.
- XGBoost: Een gradient-boosted decision tree ensemble geconfigureerd met early stopping en een scale_pos_weight parameter om de onbalans aan te pakken.
Stacking Ensemble: De outputs van de twee basismodellen worden gecombineerd met behulp van Out-of-Fold (OOF) voorspellingen gegenereerd via 5-voudige cross-validatie (gemiddeld over 5 willekeurige seeds). Een Logistische Regressie meta-learner wordt getraind op deze OOF-voorspellingen om optimale combinatiewichten te leren en de waarschijnlijkheden te herkalibreren.
Validatie: De studie maakt gebruik van rigoureuze statistische validatie, inclusief 25 onafhankelijke evaluaties (5-voudige CV × 5 seeds), gepaarde t-testen en Expected Calibration Error (ECE) analyse.

Belangrijkste Bijdragen
Het artikel claimt vier primaire bijdragen:

Hybride Architectuur: Het is een van de eersten die FT-Transformer en XGBoost systematisch combineert specifiek voor churn-voorspelling, waarbij de onafhankelijkheid van fouten ( $\rho = 0,62$ ) en de probabilistische kalibratie (ECE = 0,038) worden gevalideerd.
Uitgebreide Ablatie: De studie isoleert de bijdragen van de transformer-lagen, de ensemble-strategie en de selectie van de meta-learner, en toont aan dat beide componenten essentieel en niet-redundant zijn.
Probabilistische Kalibratie: Door middel van ECE-analyse demonstreert het framework een verbeterde beslissingsbetrouwbaarheid, waarbij wordt aangetoond dat de meta-learner de overmoedige outputs van de basismodellen effectief herkalibreert zonder dat er aparte kalibratiedatasets nodig zijn.
Reproduceerbaarheid: De auteurs bieden gedetailleerde algoritmische specificaties, preprocessing-stappen en exacte hyperparameterconfiguraties om onafhankelijke validatie te faciliteren.

Experimentele Resultaten
Geëvalueerd op een publieke bank-churn dataset (10.000 klanten, 20,4% verlooppercentage), bereikte het voorgestelde hybride model:

F1 Score: 62,10% (95% BI: [61,65, 62,55])
AUC-ROC: 0,861 (95% BI: [0,858, 0,864])
PR-AUC: 0,647

Deze resultaten vertegenwoordigen statistisch significante verbeteringen ( $p < 0,001$ ) ten opzichte van sterke baselines, waaronder een Multi-Layer Perceptron (MLP) (+3,37 F1-punten), XGBoost (+3,89 F1-punten) en de FT-Transformer alleen (+1,10 F1-punten).

Featurebelang en Interpretatie
Zowel SHAP-waarden (van XGBoost) als attention-gewichten (van FT-Transformer) identificeerden Leeftijd (Age), IsActiefLid (IsActiveMember) en AantalProducten (NumOfProducts) als de meest kritieke voorspellers. De transformer legde succesvol specifieke interacties vast, zoals de scherpe toename van het churn-risico voor oudere klanten met drie of meer producten (42% verloop versus 12% voor jongere klanten met één product), een interactiepatroon dat lineaire modellen niet kunnen weergeven.

Betekenis en Claims
Het artikel stelt dat de betekenis ervan ligt in het overbruggen van recente vooruitgang in attention-gebaseerde modellering met gevestigde ensembletechnieken. De auteurs argumenteren dat de hybride aanpak profiteert van complementaire inductieve biases: transformers leggen continue feature-interacties en globale afhankelijkheden vast, terwijl boomgebaseerde modellen uitblinken in discrete beslissingsgrenzen.

De studie benadrukt dat het succes van het ensemble niet louter toe te schrijven is aan modelcomplexiteit, maar voortkomt uit de gedeeltelijke foutonafhankelijkheid ( $\rho = 0,62$ ) tussen de basismodellen, waardoor de meta-learner 89,1% van de gevallen kan herstellen waarin één model faalde. Verder biedt het framework een reproduceerbare referentiearchitectuur die de hiaten in statistische validatie en probabilistische kalibratie die in eerdere literatuur werden gevonden, aanpakt.

Beperkingen en Reikwijdte
De auteurs hanteren een bescheiden houding met betrekking tot generalisatie. Ze erkennen dat de studie gebaseerd is op een enkele dataset (Europese bank, 2010–2015) en een gebrek aan temporele gedragssignalen vertoont. Ze waarschuwen dat de prestaties in productie met 1–2 procentpunten kunnen dalen op ongeziene data en dat het framework domeinspecifieke feature-afstemming vereist voor transfer naar andere sectoren zoals telecommunicatie of verzekeringen. Het artikel vermijdt expliciet de claim van universele optimaliteit, waarbij wordt opgemerkt dat voor datasets met zeer kleine steekproeven (<2.000) of strikte latentiebeperkingen (<10ms), gradient boosting alleen de voorkeur verdient.

De Twee Detectives

De Magische Truc: De "Stacking Ensemble"

Waarom dit ertoe doet (De "Waarom de moeite?" factor)

De "Aha!" Momenten (Wat de data onthulde)

De Kern van het Verhaal

Meer zoals dit