Customer Churn Prediction on Structured Data Using FT-Transformer and Stacking Ensembles

Résumé Technique : Prédiction de l'attrition client sur données structurées à l'aide de FT-Transformer et d'ensembles de stacking

Définition du Problème
La prédiction de l'attrition (churn) des clients dans les ensembles de données tabulaires structurées présente des défis distincts par rapport aux données non structurées (images, texte). Les difficultés clés incluent un déséquilibre de classe sévère (généralement 15 à 25 % de clients perdus), des interactions de caractéristiques non linéaires complexes et des types de caractéristiques hétérogènes (numériques et catégorielles). Bien que les ensembles basés sur les arbres (ex. XGBoost) aient historiquement surpassé l'apprentissage profond sur les données tabulaires grâce à leur capacité à gérer les découpes alignées sur les axes et les frontières de décision irrégulières, les architectures de transformateurs récentes offrent un potentiel pour capturer les dépendances de caractéristiques d'ordre supérieur. Cependant, les recherches antérieures ont largement traité ces familles de modèles de manière isolée, manquant souvent de validation statistique rigoureuse, de calibration de probabilité et d'ablation systématique des composants hybrides. De plus, de nombreuses études existantes s'appuient sur le suréchantillonnage synthétique (ex. SMOTE), ce qui peut introduire des artefacts et fausser les distributions de la classe minoritaire.

Méthodologie
Les auteurs proposent une architecture hybride qui intègre le FT-Transformer (Feature-Tokenized Transformer) avec XGBoost via un ensemble de stacking sensible à la calibration. Le cadre fonctionne comme suit :

1. Prétraitement des données : Le pipeline utilise une normalisation Z-score et une imputation par médiane/mode dérivées strictement de l'ensemble d'entraînement pour éviter la fuite de données (data leakage). Crucialement, les auteurs évitent le suréchantillonnage synthétique, optant plutôt pour des fonctions de perte pondérées par la classe pour gérer le déséquilibre d'environ 4:1.
2. Modèles de base :
   • FT-Transformer : Convertit les caractéristiques hétérogènes en une séquence d'embeddings. Les caractéristiques numériques subissent un embedding linéaire, tandis que les caractéristiques catégorielles utilisent des matrices d'embedding apprises. Un jeton [CLS] apprenable agrège l'information, et des mécanismes d'auto-attention multi-têtes modélisent les interactions de paires de caractéristiques. Le modèle utilise une perte de cross-entropie binaire pondérée par la classe.
   • XGBoost : Un ensemble d'arbres de décision boostés par gradient configuré avec un arrêt précoce (early stopping) et un paramètre scale_pos_weight pour traiter le déséquilibre.
3. Ensemble de Stacking : Les sorties des deux modèles de base sont combinées à l'aide de prédictions Out-of-Fold (OOF) générées via une validation croisée à 5 plis (moyennée sur 5 graines aléatoires). Un méta-apprenant de Régression Logistique est entraîné sur ces prédictions OOF pour apprendre les poids de combinaison optimaux et recalibrer les probabilités.
4. Validation : L'étude utilise une validation statistique rigoureuse, incluant 25 évaluations indépendantes (5-fold CV × 5 graines), des tests t appariés et une analyse de l'Erreur de Calibration Attendue (ECE).

Principales Contributions
Le papier revendique quatre contributions primaires :

1. Architecture Hybride : Il est parmi les premiers à combiner systématiquement FT-Transformer et XGBoost spécifiquement pour la prédiction de l'attrition, validant l'indépendance de l'erreur ($\rho = 0,62$) et la calibration de probabilité (ECE = 0,038).
2. Ablation Complète : L'étude isole les contributions des couches de transformateur, de la stratégie d'ensemble et de la sélection du méta-apprenant, démontrant que les deux composants sont essentiels et non redondants.
3. Calibration de Probabilité : À travers l'analyse ECE, le cadre démontre une amélioration de la fiabilité des décisions, montrant que le méta-apprenant recalibre efficacement les sorties sur-confiantes des modèles de base sans nécessiter de jeux de données de calibration séparés.
4. Reproductibilité : Les auteurs fournissent des spécifications algorithmiques détaillées, des étapes de prétraitement et des configurations d'hyperparamètres exactes pour faciliter la validation indépendante.

Résultats Expérimentaux
Évalué sur un ensemble de données public de churn bancaire (10 000 clients, taux d'attrition de 20,4 %), le modèle hybride proposé a atteint :

• Score F1 : 62,10 % (IC 95 % : [61,65, 62,55])
• AUC-ROC : 0,861 (IC 95 % : [0,858, 0,864])
• PR-AUC : 0,647

Ces résultats représentent des améliorations statistiquement significatives ($p < 0,001$) par rapport à des bases solides, incluant un Perceptron Multicouche (MLP) (+3,37 points F1), XGBoost (+3,89 points F1) et le FT-Transformer seul (+1,10 points F1).

Importance des Caractéristiques et Interprétation
Les valeurs SHAP (issues de XGBoost) et les poids d'attention (issus du FT-Transformer) ont identifié l'Âge, IsActiveMember et NumOfProducts comme les prédicteurs les plus critiques. Le transformateur a réussi à capturer des interactions spécifiques, telles que l'augmentation brutale du risque d'attrition pour les clients plus âgés possédant trois produits ou plus (42 % d'attrition contre 12 % pour les clients plus jeunes avec un produit), un schéma d'interaction que les modèles linéaires ne parviennent pas à représenter.

Signification et Revendications
Le papier soutient que sa signification réside dans le pont jeté entre les avancées récentes de la modélisation basée sur l'attention et les techniques d'ensemble établies. Les auteurs soutiennent que l'approche hybride tire parti de biais inductifs complémentaires : les transformateurs capturent les interactions continues des caractéristiques et les dépendances globales, tandis que les modèles basés sur les arbres excellent dans les frontières de décision discrètes.

L'étude souligne que le succès de l'ensemble ne provient pas simplement de la complexité du modèle mais de l'indépendance partielle de l'erreur ($\rho = 0,62$) entre les modèles de base, permettant au méta-apprenant de récupérer 89,1 % des cas où l'un des modèles a échoué. De plus, le cadre offre une architecture de référence reproductible qui répond aux lacunes de validation statistique et de calibration de probabilité trouvées dans la littérature antérieure.

Limites et Portée
Les auteurs maintiennent une position modeste concernant la généralisation. Ils reconnaissent que l'étude est basée sur un seul jeu de données (banque européenne, 2010–2015) et manque de signaux comportementaux temporels. Ils avertissent que la performance en production peut se dégrader de 1 à 2 points de pourcentage sur des données non vues et que le cadre nécessite un alignement des caractéristiques spécifiques au domaine pour un transfert vers d'autres secteurs comme les télécommunications ou l'assurance. Le papier évite explicitement de revendiquer une optimalité universelle, notant que pour les jeux de données avec de très petits échantillons (< 2 000) ou des contraintes de latence strictes (< 10 ms), le gradient boosting seul peut être préférable.