Customer Churn Prediction on Structured Data Using FT-Transformer and Stacking Ensembles

Resumo Técnico: Predição de Churn de Clientes em Dados Estruturados Usando FT-Transformer e Ensembles de Stacking

Definição do Problema
A predição de churn (rotatividade) de clientes em conjuntos de dados tabulares estruturados apresenta desafios distintos em comparação com dados não estruturados (imagens, texto). As principais dificuldades incluem o desbalanceamento severo de classes (tipicamente 15–25% de churners), interações complexas de características não lineares e tipos heterogêneos de atributos (numéricos e categóricos). Embora ensembles baseados em árvores (ex: XGBoost) tenham historicamente superado o aprendizado profundo em dados tabulares devido à sua capacidade de lidar com divisões alinhadas aos eixos e fronteiras de decisão irregulares, arquiteturas de transformers recentes oferecem potencial para capturar dependências de características de ordem superior. No entanto, pesquisas anteriores trataram amplamente essas famílias de modelos de forma isolada, carecendo frequentemente de validação estatística rigorosa, calibração de probabilidade e ablação sistemática de componentes híbridos. Além disso, muitos estudos existentes dependem de sobreamostragem sintética (ex: SMOTE), que pode introduzir artefatos e distorcer as distribuições das classes minoritárias.

Metodologia
Os autores propõem uma arquitetura híbrida que integra o FT-Transformer (Feature-Tokenized Transformer) com XGBoost por meio de um ensemble de stacking consciente da calibração. O framework opera da seguinte forma:

1. Pré-processamento de Dados: O pipeline utiliza normalização Z-score e imputação de mediana/moda derivada estritamente do conjunto de treinamento para evitar vazamento de dados (data leakage). Crucialmente, os autores evitam a sobreamostragem sintética, optando em vez disso por funções de perda ponderadas por classe para lidar com o desbalanceamento de aproximadamente 4:1.
2. Modelos Base:
   • FT-Transformer: Converte características heterogêneas em uma sequência de embeddings. Características numéricas passam por embedding linear, enquanto características categóricas utilizam matrizes de embedding aprendidas. Um token [CLS] aprendível agrega informações, e mecanismos de autoatenção de múltiplas cabeças modelam interações entre pares de características. O modelo utiliza uma perda de entropia cruzada binária ponderada por classe.
   • XGBoost: Um ensemble de árvores de decisão de gradiente impulsionado (gradient-boosted), configurado com parada antecipada (early stopping) e um parâmetro scale_pos_weight para abordar o desbalanceamento.
3. Ensemble de Stacking: As saídas dos dois modelos base são combinadas usando predições Out-of-Fold (OOF) geradas via validação cruzada de 5 dobras (5-fold CV) (mediadas sobre 5 sementes aleatórias). Um meta-aprendiz de Regressão Logística é treinado nessas predições OOF para aprender pesos de combinação ideais e recalibrar probabilidades.
4. Validação: O estudo utiliza validação estatística rigorosa, incluindo 25 avaliações independentes (5-fold CV × 5 sementes), testes t pareados e análise de Erro de Calibração Esperado (ECE).

Principais Contribuições
O artigo reivindica quatro contribuições primárias:

1. Arquitetura Híbrida: É um dos primeiros a combinar sistematicamente FT-Transformer e XGBoost especificamente para predição de churn, validando a independência de erro ($\rho = 0,62$) e a calibração de probabilidade (ECE = 0,038).
2. Ablação Abrangente: O estudo isola as contribuições das camadas de transformer, da estratégia de ensemble e da seleção do meta-aprendiz, demonstrando que ambos os componentes são essenciais e não redundantes.
3. Calibração de Probabilidade: Através da análise de ECE, o framework demonstra melhoria na confiabilidade das decisões, mostrando que o meta-aprendiz recalibra efetivamente as saídas excessivamente confiantes dos modelos base sem exigir conjuntos de dados de calibração separados.
4. Reprodutibilidade: Os autores fornecem especificações algorítmicas detalhadas, etapas de pré-processamento e configurações exatas de hiperparâmetros para facilitar a validação independente.

Resultados Experimentais
Avaliado em um conjunto de dados público de churn bancário (10.000 clientes, taxa de churn de 20,4%), o modelo híbrido proposto alcançou:

• F1 Score: 62,10% (95% CI: [61,65, 62,55])
• AUC-ROC: 0,861 (95% CI: [0,858, 0,864])
• PR-AUC: 0,647

Estes resultados representam melhorias estatisticamente significativas ($p < 0,001$) sobre baselines fortes, incluindo um MLP (+3,37 pontos de F1), XGBoost (+3,89 pontos de F1) e o FT-Transformer sozinho (+1,10 pontos de F1).

Importância das Características e Interpretação
Tanto os valores SHAP (do XGBoost) quanto os pesos de atenção (do FT-Transformer) identificaram Idade (Age), Membro Ativo (IsActiveMember) e Número de Produtos (NumOfProducts) como os preditores mais críticos. O transformer capturou com sucesso interações específicas, como o aumento acentuado no risco de churn para clientes mais velhos detendo três ou mais produtos (42% de churn vs. 12% para clientes mais jovens com um produto), um padrão de interação que modelos lineares falham em representar.

Significância e Alegações
O artigo postula que sua significância reside em unir avanços recentes em modelagem baseada em atenção com técnicas de ensemble estabelecidas. Os autores argumentam que a abordagem híbrida aproveita vieses indutivos complementares: os transformers capturam interações contínuas de características e dependências globais, enquanto os modelos baseados em árvores se destacam em fronteiras de decisão discretas.

O estudo enfatiza que o sucesso do ensemble não se deve meramente à complexidade do modelo, mas decorre da independência parcial de erro ($\rho = 0,62$) entre os modelos base, permitindo que o meta-aprendiz recupere 89,1% dos casos onde um modelo falhou. Além disso, o framework oferece uma arquitetura de referência reprodutível que aborda lacunas em validação estatística e calibração de probabilidade encontradas na literatura anterior.

Limitações e Escopo
Os autores mantêm uma postura modesta quanto à generalização. Eles reconhecem que o estudo é baseado em um único conjunto de dados (bancário europeu, 2010–2015) e carece de sinais comportamentais temporais. Eles alertam que o desempenho em produção pode degradar de 1 a 2 pontos percentuais em dados não vistos e que o framework requer alinhamento de características específico do domínio para transferência para outros setores, como telecomunicações ou seguros. O artigo evita explicitamente reivindicar otimalidade universal, observando que para conjuntos de dados com amostras muito pequenas (<2.000) ou restrições rigorosas de latência (<10ms), o gradient boosting sozinho pode ser preferível.