Customer Churn Prediction on Structured Data Using FT-Transformer and Stacking Ensembles

Resumen Técnico: Predicción de la Abandono de Clientes (Churn) en Datos Estructurados mediante FT-Transformer y Ensembles de Apilamiento (Stacking)

Definición del Problema
La predicción del abandono de clientes (churn) en conjuntos de datos tabulares estructurados presenta desafíos distintivos en comparación con los datos no estructurados (imágenes, texto). Las dificultades clave incluyen un desequilibrio de clases severo (típicamente del 15 al 25% de clientes que abandonan) e interacciones de características no lineales complejas, así como tipos de características heterogéneas (numéricas y categóricas). Si bien los ensambles basados en árboles (por ejemplo, XGBoost) han superado históricamente al aprendizaje profundo en datos tabulares debido a su capacidad para manejar divisiones alineadas con los ejes y fronteras de decisión irregulares, las arquitecturas de transformadores recientes ofrecen un potencial para capturar dependencias de características de orden superior. Sin embargo, la investigación previa ha tratado mayoritariamente estas familias de modelos de forma aislada, careciendo a menudo de una validación estadística rigurosa, calibración de probabilidad y una ablación sistemática de los componentes híbridos. Además, muchos estudios existentes dependen del sobremuestreo sintético (por ejemplo, SMOTE), lo que puede introducir artefactos y distorsionar las distribuciones de la clase minoritaria.

Metodología
Los autores proponen una arquitectura híbrida que integra el FT-Transformer (Feature-Tokenized Transformer) con XGBoost mediante un ensamble de apilamiento consciente de la calibración (calibration-aware stacking ensemble). El marco opera de la siguiente manera:

1. Preprocesamiento de Datos: El flujo de trabajo emplea normalización Z-score e imputación de mediana/moda derivada estrictamente del conjunto de entrenamiento para evitar la fuga de datos (data leakage). Crucialmente, los autores evitan el sobremuestreo sintético, optando en su lugar por funciones de pérdida con ponderación de clase para gestionar el desequilibrio de aproximadamente 4:1.
2. Modelos Base:
   • FT-Transformer: Convierte características heterogéneas en una secuencia de embeddings. Las características numéricas pasan por un embedding lineal, mientras que las características categóricas utilizan matrices de embedding aprendidas. Un token [CLS] aprendible agrega la información, y los mecanismos de autoatención de múltiples cabezales modelan las interacciones de pares de características. El modelo utiliza una pérdida de entropía cruzada binaria ponderada por clase.
   • XGBoost: Un ensamble de árboles de decisión potenciados por gradiente configurado con parada temprana (early stopping) y un parámetro scale_pos_weight para abordar el desequilibrio.
3. Ensamble de Apilamiento (Stacking): Los resultados de los dos modelos base se combinan utilizando predicciones Fuera de la Muestra (Out-of-Fold, OOF) generadas mediante validación cruzada de 5 pliegues (promediadas sobre 5 semillas aleatorias). Un meta-aprendiz de Regresión Logística se entrena sobre estas predicciones OOF para aprender los pesos de combinación óptimos y recalibrar las probabilidades.
4. Validación: El estudio utiliza una validación estadística rigurosa, incluyendo 25 evaluaciones independientes (5 pliegues de CV × 5 semillas), pruebas t pareadas y análisis del Error de Calibración Esperado (ECE).

Contribuciones Clave
El artículo reclama cuatro contribuciones primarias:

1. Arquitectura Híbrida: Es uno de los primeros en combinar sistemáticamente FT-Transformer y XGBoost específicamente para la predicción de abandono, validando la independencia de error ($\rho = 0.62$) y la calibración de probabilidad (ECE = 0.038).
2. Ablación Exhaustiva: El estudio aísla las contribuciones de las capas del transformador, la estrategia de ensamble y la selección del meta-aprendiz, demostrando que ambos componentes son esenciales y no redundantes.
3. Calibración de Probabilidad: A través del análisis ECE, el marco demuestra una mejor fiabilidad en la toma de decisiones, mostrando que el meta-aprendiz recalibra eficazmente los resultados excesivamente confiados de los modelos base sin requerir conjuntos de datos de calibración separados.
4. Reproducibilidad: Los autores proporcionan especificaciones algorítmicas detalladas, pasos de preprocesamiento y configuraciones exactas de hiperparámetros para facilitar la validación independiente.

Resultados Experimentales
Evaluado en un conjunto de datos público de abandono bancario (10,000 clientes, tasa de abandono del 20.4%), el modelo híbrico propuesto logró:

• F1 Score: 62.10% (95% IC: [61.65, 62.55])
• AUC-ROC: 0.861 (95% IC: [0.858, 0.864])
• PR-AUC: 0.647

Estos resultados representan mejoras estadísticamente significativas ($p < 0.001$) sobre bases sólidas, incluyendo un MLP (+3.37 puntos F1), XGBoost (+3.89 puntos F1) y el FT-Transformer por sí solo (+1.10 puntos F1).

Importancia de las Características e Interpretación
Tanto los valores SHAP (de XGBoost) como los pesos de atención (del FT-Transformer) identificaron la Edad, IsActiveMember y NumOfProducts como los predictores más críticos. El transformador capturó con éxito interacciones específicas, como el aumento brusco del riesgo de abandono para clientes mayores con tres o más productos (42% de abandono frente al 12% para clientes más jóvenes con un producto), un patrón de interacción que los modelos lineales no logran representar.

Significancia y Reivindicaciones
El artículo postula que su significancia radica en tender un puente entre los avances recientes en el modelado basado en atención y las técnicas de ensamble establecidas. Los autores argumentan que el enfoque híbrido aprovecha sesgos inductivos complementarios: los transformadores capturan interacciones de características continuas y dependencias globales, mientras que los modelos basados en árboles sobresalen en fronteras de decisión discretas.

El estudio enfatiza que el éxito del ensamble no se debe meramente a la complejidad del modelo, sino que proviene de la independencia parcial de error ($\rho = 0.62$) entre los modelos base, permitiendo que el meta-aprendiz recupere el 89.1% de los casos donde uno de los modelos falló. Además, el marco ofrece una arquitectura de referencia reproducible que aborda las brechas en la validación estadística y la calibración de probabilidad encontradas en la literatura previa.

Limitaciones y Alcance
Los autores mantienen una postura modesta respecto a la generalización. Reconocen que el estudio se basa en un único conjunto de datos (banca europea, 2010–2015) y carece de señales conductuales temporales. Advierten que el rendimiento en producción puede degradarse entre 1 y 2 puntos porcentuales en datos no vistos y que el marco requiere una alineación de características específica del dominio para su transferencia a otros sectores como telecomunicaciones o seguros. El artículo evita explícitamente reclamar una optimalidad universal, señalando que para conjuntos de datos con muestras muy pequeñas (<2,000) o restricciones estrictas de latencia (<10ms), el aumento de gradiente por sí solo puede ser preferible.