How Early Is Early Enough? Design-Dependent Observation-Window Sufficiency in Subscription Churn Prediction

Resumo Técnico: Dependência de Design na Suficiência da Janela de Observação para Predição de Churn de Assinatura

Definição do Problema
Empresas baseadas em assinatura enfrentam um dilema operacional crítico: determinar o momento ideal para a intervenção contra o churn. Intervir cedo demais corre o risco de agir com dados insuficientes, levando a predições incorretas; intervir tarde demais corre o risco de perder o cliente antes que as ferramentas de marketing sejam eficazes. Embora estudos anteriores tenham investigado "quanto tempo é o suficiente" para a predição de churn, eles tipicamente fixam um design de coorte específico e medem uma única curva de desempenho. Este artigo argumenta que tais descobertas não são transportáveis entre diferentes designs experimentais. A questão central abordada é: Quantos dias de comportamento precoce são suficientes para a predição de churn de assinatura, e essa suficiência depende de como a coorte, o alvo e as variáveis (features) são definidos?

Metodologia
Os autores utilizam o conjunto de dados público KKBox (WSDM Cup 2018), composto por perfis de membros, histórico de transações e registros diários de usuários. Para garantir a integridade dos dados, o rótulo de churn é rederivado a partir dos dados de transação (ausência de renovação válida dentro de 30 dias após a expiração) para evitar vazamentos conhecidos de datas de expiração.

O estudo constrói uma curva de suficiência variando o comprimento da janela de observação ($N$) de 7 a 180 dias. Para testar a validade dessas curvas, três designs experimentais distintos são empregados nos mesmos dados:

1. Design A (Primário/Horizonte Fixo): Uma coorte condicionada à sobrevivência. O rótulo é fixo em $t_0 + 180$ dias. A coorte inclui apenas os novos assinantes que sobrevivem até pelo menos o dia 180. O horizonte de variáveis $[0, N)$ cresce conforme $N$ aumenta. Este design pergunta: "Para um assinante que chega à decisão de renovação, quão cedo ele é previsível?"
2. Design B (Landmark/Todos os Novos Assinantes): Um design de alvo móvel sem filtro de sobrevivência. Em cada marco $N$, o modelo prevê o churn na janela residual $(N, 180]$ para usuários ainda assinantes. À medida que $N$ aumenta, o horizonte de variáveis cresce, a janela de alvo encolhe e a coorte se recolhe para sobreviventes mais saudáveis.
3. Design C (Landmark Controlado): Um design de diagnóstico para isolar o efeito do horizonte de variáveis. A coorte (sobreviventes no dia 120) e o alvo (churn em $(120, 180]$) são fixos. Apenas o horizonte de variáveis $[0, N)$ varia.

Modelos e Métricas
Três classes de modelos são avaliadas quanto à robustez: LightGBM (GBDT), 1D-CNN e Regressão Logística. As variáveis incluem demografia de membros, detalhes de transação (plano, preço, status de renovação automática) e logs comportamentais agregados (volume de audição, dias ativos, tendências). O desempenho é medido usando PR-AUC e ROC-AUC, com pontos de inflexão ("joelhos") detectados usando o algoritmo Kneedle e limiares de ganho marginal.

Resultos Principais

• Formas de Curva Dependentes de Design: A forma da curva de suficiência não é universal.
  • Os Designs A e C mostram uma curva monotonicamente crescente com retornos decrescentes. O "joelho" (ponto de inflexão) cai dentro de uma faixa de 45–90 dias, onde aproximadamente 90% do ganho comportamental alcançável é recuperado até o dia 90.
  • O Design B (alvo móvel) produz uma curva em formato de U invertido (ou curva decrescente). O desempenho atinge o pico no dia 7 e declina conforme $N$ aumenta, porque a janela de predição que encolhe e a mudança para sobreviventes mais saudáveis (desvio de covariável) superam o benefismo de variáveis adicionais.
• Influência do Conjunto de Variáveis: Mesmo entre curvas crescentes (Design A vs. C), a localização do joelho muda com base no conjunto de variáveis. O Design A (com logs comportamentais) satura mais cedo (antecipado), enquanto o Design C (sem logs) ganha valor mais lentamente (retardado).
• Contrato vs. Comportamento: A previsibilidade precoce é fortemente impulsionada por variáveis contratuais (status de renovação automática, plano, preço) disponíveis na aquisição. Essas variáveis estabelecem um "piso" de alto desempenho (ROC ~0,88 para a coorte total). No entanto, no segmento de renovação manual (28% dos usuários, 86,6% dos churners), o piso contratual cai significamente (ROC ~0,63), e os dados comportamentais fornecem um ganho adicional substancial (PR +0,10 até o dia 120).
• Verificação de Artefato de Sobrevivência: O estudo confirma que a previsibilidade precoce não é meramente um artefato de filtragem de sobrevivência. Um controle não condicionado (Design U), incluindo todos os novos assinantes (mesmo aqueles que saíram cedo), mostra alta previsibilidade precoce (ROC 0,913 no dia 7), subindo monotonicamente para 0,963 no dia 120.

Contribuições Principais

1. Não-Transportabilidade de "N Dias Suficiam": O artigo demonstra que uma afirmação de suficiência de janela de observação específica é inválida sem especificar o design da coorte (condicionada à sobrevivência vs. todos os novos assinantes), a definição do alvo (fixo vs. móvel) e as famílias de variáveis.
2. Curva de Suficiência Densa: Fornece uma curva de suficiência detalhada de nove janelas para churn de assinatura em um grande conjunto de dados público, identificando uma faixa de inflexão de 45–90 dias para designs de horizonte fixo.
3. Análise de Sinal Segmentada: Identifica que, embora os termos contratuais dominem a predição geral, os sinais comportamentais são críticos especificamente para o segmento de renovação manual de alto churn.
4. Teste de Estresse Metodológico: Utiliza uma escada de três designs para desconstruir as formas das curvas, provando que o declínio no desempenho em tarefas de landmark deve-se a alvos móveis e recolha de coorte, não à falta de utilidade dos dados.

Significância e Alegações
O artigo alega que o mecanismo de dependência de design é generalizável, embora as magnitudes específicas (ex: a faixa exata de 45–90 dias) possam variar entre domínios (ex: telecomunicações, SaaS). A principal significância é uma cautela metodológica: qualquer afirmação sobre a suficiência da janela de observação deve declarar explicitamente os parâmetros do design experimental. Sem essa transparência, as afirmações de "N dias são suficientes" não são portáteis. O estudo conclui que, para um design de horizonte fixo visando assinantes que chegam a uma decisão de renovação, ~90% do ganho comportamental está disponível até o dia 90, mas operadores que utilizam designs de alvo móvel podem observar tendências inteiramente diferentes (e potencialmente enganosas).