Technische Samenvatting: ChurnNet: Een Geoptimaliseerde Moderne AI voor Churn-voorspelling

Probleemstelling

De detailhandel staat voor een verhoogde concurrentie en verlaagde overstapdrempels door de verschuiving naar omni-channel verkoop, waardoor klantenbehoud een strategische prioriteit is geworden. In tegen tegenstelling tot contractuele sectoren (bijv. telecommunicatie), waar churn wordt gedefinieerd door expliciete opzeggingen, wordt churn in de niet-contractuele detailhandel afgeleid uit gedragsveranderingen, zoals een verminderde aankoopfrequentie of -volume. Deze "stille" vertrekbeweging is moeilijk te detecteren maar cruciaal om aan te pakken.

Hoewel recente deep learning-architecturen, met name transformer-gebaseerde modellen zoals UniTS (Unified Multi-Task Time Series Model), indrukwekkende prestaties hebben getoond in binaire tijdreeksclassificatie in diverse domeinen, blijft hun toepassing op churn-voorspelling in de detailhandel onderbelicht. Deze moderne modellen zijn computationeel duur, gevoelig voor overfitting en vereisen grootschalige datasets. Daartegenover staan traditionele machine learning (ML) methoden die computationeel efficiënt zijn, maar mogelijk het vermogen missen om complexe temporele dynamiek te modelleren. De centrale onderzoeksvraag is of de complexiteit van moderne deep learning-architecturen noodzakelijk is voor churn-voorspelling in de detailhandel, of dat eenvoudigere, traditionele modellen volstaan om sterke voorspellende prestaties, data-efficiëntie en implementeerbaarheid te leveren.

Methodologie

De studie hanteert een gestructureerde pijplijn om traditionele ML-modellen te evalueren en te vergelijken met de UniTS transformer-architectuur over meerdere real-world retail-datasets.

Datasets en Pre-processing

De evaluatie maakt gebruik van vier datasets: twee propriëtaire datasets van Infocube (IC1, IC2) en twee publieke datasets (The Complete Journey [CJ], Let's Get Sort of Real [LGSR]).

• Pre-processing: Transactionele data wordt geaggregeerd per klant-ID, gefilterd om niet-positieve waarden uit te sluiten, en omgezet naar wekelijkse tijdreeksen. Zero-padding wordt toegepast voor weken zonder transacties.
• Filtering: Klanten met minder dan 20 transactionele weken worden uitgesloten om voldoende gedragshistorie te garanderen.
• Churn Labeling: Er wordt een dynamische labelingstrategie gebruikt, waarbij een observatievenster ($A=40$ weken) en een labelingvenster ($B=20$ weken) worden gedefinieerd. Een klant wordt gelabeld als een churner (1) als zowel de gemiddelde wekelijkse besteding ($\mu$) als de transactiefrequentie ($f$) onder configureerbare drempelwaarden zakken ($\alpha \cdot \mu_A > \mu_B$ en $\beta \cdot f_A > f_B$) in het labelingvenster. Drie definities (A, B, C) met variërende sensitiviteit ($\alpha, \beta \in \{0.3, 0.4, 0.5\}$) worden getest.
• Feature Windowing: Een vast venster van 20 weken voor features wordt gebruikt. Voor churners gaat dit venster vooraf aan de periode van inactiviteit; voor niet-churners wordt een willekeurig segment van 20 weken geselecteerd.

Experimenteel Ontwerp

De studie construeert 36 afzonderlijke datasets door churn-definities en balansstrategieën te variëren:

1. Gebalanceerd (1:1): Gelijke aantallen churners en niet-churners.
2. Beperkt Ongestructureerd (1:4): Alle churners behouden met vier keer zoveel niet-churners.
3. Gebalanceerde Subsampling (B-SS): Gedownsamplede versies (2.500 of 5.000 klanten) om data-efficiëntie te testen.

Geëvalueerde Modellen

• Traditionele ML: Random Forests (RF), XGBoost (XGB) en Support Vector Machines (SVM).
• Moderne AI: UniTS, een transformer-gebaseerd model ontworpen voor multi-task tijdreeksanalyse. De studie maakt gebruik van het supervised learning paradigma met transfer learning van een pre-trained checkpoint, om uitgebreide hyperparameter-tuning te vermijden en "plug-and-play" bruikbaarheid te reflecteren.

Belangrijkste Resultaten

De empirische resultaten, geëvalueerd op basis van accuratesse, precisie, recall, F1-score en ROC-AUC, laten consistente trends zien:

1. Superioriteit van Traditionele Modellen: Boom-gebaseerde modellen (XGBoost en Random Forest) presteren consequent beter dan zowel UniTS als SVM onder alle experimentele condities, inclus�clusief gebalanceerde en ongebalanceerde datasets.
   • Op gebalanceerde datasets (bijv. IC1, Definitie A) behaalde XGBoost een accuratesse van 0,77 vergeleken met 0,72 voor UniTS.
   • Op grote datasets (LGSR) bereikten XGBoost en RF accuracess van 0,94–0,96, wat aanzienlijk hoger is dan de 0,80–0,87 van UniTS.
2. Robuustheid tegen Imbalans: Onder klasse-imbalans (1:4) behielden boom-gebaseerde modellen een hogere recall en precisie dan UniTS en SVM. Bijvoorbeeld, op de IC2-dataset behield XGBoost een recall van 0,57 onder imbalans, terwijl de recall van SVM instortte naar 0,24.
3. Data-efficiëntie: Een cruciale bevinding is de degradatie van de prestaties van UniTS in scenario's met beperkte data.
   • Op de volledige IC2-dataset behaalde UniTS een accuratesse van 0,80.
   • Op een gesubsampleerde versie (IC2*) daalde de accuratesse naar 0,73.
   • Op een verder gereduceerde versie (IC2**) stortte de accuratesse in tot 0,50.
   • In contrast hiermee behielden XGBoost en RF een hoge accuratesse (0,82–0,85), zelfs met aanzienlijk kleinere steekproeven, wat een superieure data-efficiëntie demonstreert.
4. Impact van Churn-definitie: De prestaties verbeterden over het algemeen met mildere churn-definities (van A naar C), waarschijnlijk door grotere steekproefomvang en makkelijkere klassenseparabiliteit, maar de relatieve rangorde van de modellen (Boom-gebaseerd > UniTS > SVM) bleef consistent.

Betekenis en Claims

Het paper claimt dat voor de specifieke taak van churn-voorspelling in niet-contractuele retailomgevingen, conventionele machine learning-methoden de superieure keuze blijven boven state-of-the-art transformer-architecturen zoals UniTS.

• Praktische Implicaties: De bevindingen suggereren dat voor typische retailtoepassingen waar data gestructureerd is en vaak beperkt, traditionele ensemble-methoden (XGBoost, Random Forest) een betrouwbaardere, efficiëntere en kosteneffectievere oplossing bieden. Ze bereiken sterke voorspellende prestaties met lagere computationele vereisten en een betere generalisatie op kleinere datasets.
• Beperkingen van Moderne AI: Hoewel UniTS theoretisch goed geschikt is voor het modelleren van temporele dynamiek, geeft de studie aan dat het onderpresteert op klein- tot middelgrote tabulaire datasets vanwege de hoge data-eisen en complexiteit. De auteurs merken op dat hun resultaten de prestaties van UniTS onder standaardconfiguraties reflecteren; specifieke fine-tuning voor churn-taken zou deze resultaten kunnen veranderen, maar het huidige bewijs bevoordeelt simpelere modellen.
• Toekomstige Richtingen: Het paper suggereert dat toekomstig onderzoek de integratie van aanvullende contextuele kenmerken (bijv. browse-activiteit, promoties) moet verkennen en systematische analyses van trainingstijd en energie-efficiëntie moet uitvoeren om de levensvatbaarheid van geavanceerde architecturen in real-world implementaties verder te beoordelen.

Concluderend daagt de studie de aanname uit dat "grotere" of "modernere" modellen altijd noodzakelijk zijn, door aan te tonen dat voor churn-voorspelling in de retail de eenvoud en data-efficiëntie van traditionele boom-gebaseerde modellen een robuust voordeel bieden.