Customer Churn Prediction on Structured Data Using FT-Transformer and Stacking Ensembles

Sintesi Tecnica: Previsione del Churn dei Clienti su Dati Strutturati utilizzando FT-Transformer e Ensemble di Stacking

Definizione del Problema
La previsione del churn (abbandono) dei clienti in dataset tabulari strutturati presenta sfide distinte rispetto ai dati non strutturati (immagini, testo). Le difficoltà chiave includono un severo squilibrio delle classi (tipicamente il 15–25% di churner), interazioni non lineari complesse tra le feature e tipologie di feature eterogenee (numeriche e categoriche). Sebbene gli ensemble basati su alberi (ad es. XGBoost) abbiano storicamente superato il deep learning sui dati tabulari grazie alla loro capacità di gestire split assi-allineati e confini decisionali irregolari, recenti architetture transformer offrono il potenziale per catturare dipendenze tra feature di ordine superiore. Tuttavia, la ricerca precedente ha ampiamente trattato queste famiglie di modelli in isolamento, spesso mancando di una rigorosa validazione statistica, calibrazione delle probabilità e una sistematica ablazione dei componenti ibridi. Inoltre, molti studi esistenti si affidano all'oversampling sintetico (ad es. SMOTE), che può introdurre artefatti e distorcere le distribuzioni delle classi minoritarie.

Metodologia
Gli autori propongono un'architettura ibrida che integra l'FT-Transformer (Feature-Tokenized Transformer) con XGBoost tramite un ensemble di stacking consapevole della calibrazione. Il framework opera come segue:

1. Pre-elaborazione dei Dati: La pipeline impiega la normalizzazione Z-score e l'imputazione mediana/moda derivata strettamente dal set di addestramento per prevenire il data leakage. Fondamentalmente, gli autori evitano l'oversampling sintetico, optando invece per funzioni di perdita pesate per classe per gestire lo squilibrio di circa 4:1.
2. Modelli Base:
   • FT-Transformer: Converte le feature eterogenee in una sequenza di embedding. Le feature numeriche subiscono un embedding lineare, mentre le feature categoriche utilizzano matrici di embedding apprese. Un token [CLS] apprendibile aggrega le informazioni e i meccanismi di multi-head self-attention modellano le interazioni a coppie tra le feature. Il modello utilizza una funzione di perdita binary cross-entropy pesata per classe.
   • XGBoost: Un ensemble di alberi decisionali potenziati dal gradiente configurato con early stopping e un parametro scale_pos_weight per affrontare lo squilibrio.
3. Stacking Ensemble: Gli output dei due modelli base sono combinati utilizzando predizioni Out-of-Fold (OOF) generate tramite cross-validazione a 5 fold (mediata su 5 seed casuali). Un meta-learner di Regressione Logistica viene addestrato su queste predizioni OOF per apprendere i pesi di combinazione ottimali e ricalibrare le probabilità.
4. Validazione: Lo studio utilizza una rigorosa validazione statistica, inclusi 25 test indipendenti (5-fold CV × 5 seed), t-test accoppiati e analisi dell'Expected Calibration Error (ECE).

Contributi Chiave
L'articolo rivendica quattro contributi primari:

1. Architettura Ibrida: È tra i primi a combinare sistematicamente FT-Transformer e XGBoost specificamente per la previsione del churn, validando l'indipendenza dell'errore ($\rho = 0,62$) e la calibrazione della probabilità (ECE = 0,038).
2. Ablazione Comprensiva: Lo studio isola i contributi dei layer transformer, della strategia di ensemble e della selezione del meta-learner, dimostrando che entrambi i componenti sono essenziali e non ridondanti.
3. Calibrazione della Probabilità: Attraverso l'analisi ECE, il framework dimostra una migliore affidabilità decisionale, mostrando che il meta-learner ricalibra efficacemente gli output eccessivamente sicuri dei modelli base senza richiedere dataset di calibrazione separati.
4. Riproducibilità: Gli autori forniscono specifiche algoritmiche dettagliate, passaggi di pre-elaborazione e configurazioni esatte degli iperparametri per facilitare la validazione indipendente.

Risultati Sperimentali
Valutato su un dataset pubblico di churn bancario (10.000 clienti, tasso di churn del 20,4%), il modello ibrido proposto ha ottenuto:

• F1 Score: 62,10% (95% CI: [61,65, 62,55])
• AUC-ROC: 0,861 (95% CI: [0,858, 0,864])
• PR-AUC: 0,647

Questi risultati rappresentano miglioramenti statisticamente significativi ($p < 0,001$) rispetto a solidi baseline, inclusi un Multi-Layer Perceptron (MLP) (+3,37 punti F1), XGBoost (+3,89 punti F1) e l'FT-Transformer da solo (+1,10 punti F1).

Importanza delle Feature e Interpretazione
Sia i valori SHAP (da XGBoost) che i pesi di attenzione (da FT-Transformer) hanno identificato Età (Age), Membro Attivo (IsActiveMember) e Numero di Prodotti (NumOfProducts) come i predittori più critici. Il transformer ha catturato con successo interazioni specifiche, come l'aumento netto del rischio di churn per i clienti più anziani che possiedono tre o più prodotti (42% di churn rispetto al 12% per i clienti più giovani con un prodotto), un pattern di interazione che i modelli lineari non riescono a rappresentare.

Significatività e Rivendicazioni
L'articolo sostiene che la sua significatività risieda nel colmare il divario tra le recenti avanzate nella modellazione basata sull'attenzione e le tecniche di ensemble consolidate. Gli autori sostengono che l'approccio ibrido sfrutti bias induttivi complementari: i transformer catturano le interazioni continue tra le feature e le dipendenze globali, mentre i modelli basati su alberi eccellono nei confini decisionali discreti.

Lo studio sottolinea che il successo dell'ensemble non è dovuto meramente alla complessità del modello, ma deriva dalla parziale indipendenza dell'errore ($\rho = 0,62$) tra i modelli base, permettendo al meta-learner di recuperare l'89,1% dei casi in cui uno dei modelli fallisce. Inoltre, il framework offre un'architettura di riferimento riproducibile che affronta le lacune nella validazione statistica e nella calibrazione della probabilità presenti nella letteratura precedente.

Limitazioni e Ambito
Gli autori mantengono una posizione modesta riguardo alla generalizzazione. Riconoscono che lo studio si basa su un singolo dataset (banca europea, 2010–2015) e manca di segnali comportamentali temporali. Avvertono che le prestazioni in produzione potrebbero degradare di 1–2 punti percentuali su dati non visti e che il framework richiede l'allineamento delle feature specifiche del dominio per il trasferimento ad altri settori come le telecomunicazioni o le assicurazioni. L'articolo evita esplicitamente di rivendicare un'ottimalità universale, notando che per dataset con campioni molto piccoli (<2.000) o vincoli di latenza rigorosi (<10ms), il gradient boosting da solo potrebbe essere preferibile.