How Early Is Early Enough? Design-Dependent Observation-Window Sufficiency in Subscription Churn Prediction

Resumen Técnico: Dependencia del Diseño en la Suficiencia de la Ventana de Observación para la Predicción de Abandono de Suscripciones

Planteamiento del Problema
Las empresas basadas en suscripciones enfrentan un dilema operativo crítico: determinar el momento óptimo para la intervención ante el abandono (churn). Intervenir demasiado pronto conlleva el riesgo de actuar con datos insuficientes, lo que conduce a predicciones erróneas; intervenir demasiado tarde conlleva el riesgo de perder al cliente antes de que las herramientas de marketing sean efectivas. Si bien estudios previos han investigado "cuánto tiempo es suficiente" para la predicción de abandono, estos suelen fijar un diseño de cohorte específico y medir una única curva de rendimiento. Este artículo sostiene que tales hallazgos no son transportables entre diferentes diseños experimentales. La pregunta central abordada es: ¿Cuántos días de comportamiento temprano son suficientes para la predicción de abandono de suscripciones, y depende esta suficiencia de cómo se definan la cohorte, el objetivo y las características?

Metodología
Los autores utilizan el conjunto de datos público KKBox (WSDM Cup 2018), que comprende perfiles de miembros, historial de transacciones y registros diarios de usuarios. Para asegurar la integridad de los datos, la etiqueta de abandono se redefine a partir de los datos de transacciones (sin renovación válida dentro de los 30 días posteriores a la expiración) para evitar fugas de información conocidas por la fecha de vencimiento.

El estudio construye una curva de suficiencia variando la longitud de la ventana de observación ($N$) de 7 a 180 días. Para poner a prueba la validez de estas curvas, se emplean tres diseños experimentales distintos sobre los mismos datos:

1. Diseño A (Primario/Horizonte Fijo): Una cohorte condicionada a la supervivencia. La etiqueta se fija en $t_0 + 180$ días. La cohorte incluye solo a los adquiridos que sobreviven al menos hasta el día 180. El horizonte de características $[0, N)$ crece con $N$. Este diseño pregunta: "Para un suscriptor que alcanza la decisión de renovación, ¿qué tan temprano es predecible?".
2. Diseño B (Hito/Todos los Adquiridos): Un diseño de objetivo móvil sin filtro de supervivencia. En cada hito $N$, el modelo predice el abandono en la ventana residual $(N, 180]$ para usuarios que aún están suscritos. A medida que $N$ aumenta, el horizonte de características crece, la ventana de objetivo se reduce y la cohorte se reselecciona hacia supervivientes más saludables.
3. Diseño C (Hito Controlado): Un diseño de diagnóstico para aislar el efecto del horizonte de características. La cohorte (supervivientes en el día 120) y el objetivo (abandono en $(120, 180]$) son fijos. Solo varía el horizonte de características $[0, N)$.

Modelos y Métricas
Se evalúan tres clases de modelos para verificar su robustez: LightGBM (GBDT), 1D-CNN y Regresión Logística. Las características incluyen demografía de miembros, detalles de transacciones (plan, precio, estado de auto-renovación) y registros de comportamiento agregados (volumen de escucha, días activos, tendencias). El rendimiento se mide utilizando PR-AUC y ROC-AUC, detectando puntos de inflexión ("rodillas") mediante el algoritmo Kneedle y umbrales de ganancia marginal.

Resultados Clave

• Formas de la Curva Dependientes del Diseño: La forma de la curva de suficiencia no es universal.
  • Los Diseños A y C muestran una curva de crecimiento monotónico con rendimientos decrecientes. La "rodilla" (punto de inflexión) cae dentro de una banda de 45 a 90 días, donde aproximadamente el 90% de la mejora conductual alcanzable se recupera para el día 90.
  • El Diseño B (objetivo móvil) produce una forma de U invertida (o curva decreciente). El rendimiento alcanza su máximo en el día 7 y declina a medida que $N$ aumenta, debido a que la reducción de la ventana de predicción y el desplazamiento hacia supervivientes más saludables (desplazamiento de covariables o covariate shift) superan el beneficio de las características adicionales.
• Influencia del Conjunto de Características: Incluso entre las curvas ascendentes (Diseño A vs. C), la ubicación de la rodilla cambia según el conjunto de características. El Diseño A (con registros de comportamiento) se satura más temprano (carga frontal), mientras que el Diseño C (sin registros) gana valor más lentamente (carga posterior).
• Contrato vs. Comportamiento: La predictibilidad temprana está fuertemente impulsada por las características contractuales (estado de auto-renovación, plan, precio) disponibles en la adquisición. Estas características establecen un "suelo" de rendimiento alto (ROC ~0.88 para la cohorte total). Sin embargo, en el segmento de renovación manual (28% de los usuarios, 86.6% de los abandonos), el suelo contractual cae significamente (ROC ~0.63), y los datos de comportamiento proporcionan una mejora sustancial adicional (PR +0.10 para el día 120).
• Verificación de Artefacto de Supervivencia: El estudio confirma que la predictibilidad temprana no es simplemente un artefacto del filtrado de supervivencia. Un control no condicionado (Diseño U) que incluye a todos los adquiridos (incluso aquellos que se fueron temprano) muestra una alta predictibilidad temprana (ROC 0.913 en el día 7), aumentando monotonicamente a 0.963 en el día 120.

Contribuciones Principales

1. No Transportabilidad de "$N$ Días Bastan": El documento demuestra que una afirmación de suficiencia de la ventana de observación específica es inválida sin especificar el diseño de la cohorte (condicionada a la supervivencia vs. todos los adquiridos), la definición del objetivo (fijo vs. móvil) y las familias de características.
2. Curva de Suficiencia Densa: Proporciona una detallada curva de suficiencia de nueve ventanas para el abandono de suscripciones en un gran conjunto de datos público, identificando una banda de inflexión de 45–90 días para diseños de horizonte fijo.
3. Análisis de Señal Segmentado: Identifica que, si bien los términos contractuales dominan la predicción general, las señales de comportamiento son críticas específicamente para el segmento de renovación manual de alto abandono.
4. Prueba de Estrés Metodológica: Utiliza una escala de tres diseños para deconstruir las formas de las curvas, probando que el declive en el rendimiento de las tareas de hito se debe a objetivos móviles y la reselección de la cohorte, no a una falta de utilidad de los datos.

Significancia y Reivindicaciones
El artículo afirma que el mecanismo de dependencia del diseño es generalizable, aunque las magnitudes específicas (por ejemplo, la banda exacta de 45–90 días) pueden variar entre dominios (ej. telecomunicaciones, SaaS). La significancia principal es una precaución metodológica: cualquier afirmación sobre la suficiencia de la ventana de observación debe declarar explícitamente los parámetros del diseño experimental. Sin esta transparencia, las afirmaciones de "$N$ días bastan" no son portátiles. El estudio concluye que, para un diseño de horizonte fijo dirigido a suscriptores que alcanzan una decisión de renovación, el ~90% de la mejora conductual está disponible para el día 90, pero los operadores que utilicen diseños de objetivo móvil pueden observar tendencias enteramente diferentes (y potencialmente engañosas).