When to Target Customers? Retention Management using Constrained Dynamic Off-Policy Policy Learning

Todo negócio que vende produtos enfrenta um problema silencioso e persistente: as pessoas param de comprar. No mundo dos relacionamentos com o cliente, o momento mais perigoso é logo após a primeira compra. Muitos clientes novos desaparecem antes mesmo de retornarem, esgueirando-se enquanto a empresa ainda tenta descobrir quem eles são. Manter esses primeiros clientes é vital, pois uma única compra recorrente sinaliza, muitas vezes, um relacionamento muito mais longo e valioso. Por décadas, as empresas tentaram resolver isso enviando notas de agradecimento ou cupons, mas frequentemente o fizeram cegamente, enviando a mesma mensagem para todos ao mesmo tempo, independentemente de o cliente estar pronto para comprar novamente ou já ter perdido o interesse.

O desafio é que os clientes não são estáticos; eles mudam de um dia para o outro. Uma pessoa pode estar ansiosa para comprar uma camisa uma semana após adquiri-la, mas indiferente um mês depois. Isso é conhecido como a "armadilha da recência", onde quanto mais tempo passou desde uma compra, menor é a probabilidade de o cliente retornar. No entanto, enviar uma recompensa cedo demais pode ser um desperdício de dinheiro se o cliente fosse retornar de qualquer maneira. A solução ideal seria um sistema que observasse o comportamento de cada cliente, esperasse pelo momento certo e, então, decidisse se oferece uma recompensa. Mas há um porém: as empresas têm orçamentos limitados. Elas não podem enviar cupons para todos, portanto, devem escolher quem recebe e quando, garantindo que cada dólar gasto traga o máximo de valor.

Este é o enigma preciso que uma equipe de pesquisadores se propôs a resolver usando dados de um grande varejista de moda online japonês. Eles desenvolveram um método para aprender o momento perfeito para a retenção de clientes, criando uma estratégia que se adapta ao comportamento individual em mudança, respeitando rigorosamente um limite de gastos. Em vez de adivinhar quando enviar um cupom, seu sistema aprende com milhares de experimentos do mundo real para determinar o momento exato em que um cliente específico tem maior probabilidade de responder a um incentivo. O resultado é uma política dinâmica que não é apenas mais eficaz para manter os clientes, mas também significativamente mais barata de operar do que os métodos padrão usados pelas empresas hoje.

Os pesquisadores trabalharam com uma plataforma que vende roupas para mulheres jovens, um lugar onde compradores de primeira viagem são abundantes, mas muitas vezes efêmeros. A estratégia original da empresa era simples e estática: enviar um e-mail de agradecimento genérico com um cupom exatamente dois, dez e trinta dias após a primeira compra do cliente. Essa abordagem tratava todos os clientes da mesma forma, ignorando o fato de que alguns já poderiam ter comprado um segundo item no décimo dia, enquanto outros poderiam estar completamente desinteressados. A empresa queria fazer melhor. Eles precisavam de uma maneira de personalizar essas interações, mas também tinham uma restrição rígida: não podiam gastar dinheiro ilimitado em cupons. Precisavam de uma estratégia que maximizasse o número de clientes que retornavam, sem estourar seu orçamento.

Para encontrar a resposta, a equipe desenhou um experimento massivo no mundo real. Eles pegaram milhares de novos clientes e os atribuíram aleatoriamente a diferentes grupos. Alguns receberam um cupom dois dias após sua primeira compra, outros dez dias depois e outros trinta dias depois. Alguns não receberam nenhum cupom, apenas uma mensagem de agradecimento. Crucialmente, o experimento foi desenhado para que cada cliente recebesse, no máximo, um cupom durante todo o período. Isso simulava a restrição do mundo real de que uma empresa não pode se dar ao luxo de bombardear um único cliente com descontos intermináveis. Ao observar como esses diferentes grupos se comportaram ao longo dos meses seguintes, os pesquisadores reuniram um rico conjunto de dados mostrando exatamente como o tempo de uma oferta influenciou a decisão do cliente de retornar.

Com esses dados em mãos, os pesquisadores aplicaram um método de aprendizado sofisticado para construir um "regime de tratamento dinâmico". Em termos simples, trata-se de um conjunto de regras que muda ao longo do tempo. Diferente de um plano estático que decide tudo no início, um plano dinâmico espera e observa. Ele observa o que um cliente fez desde sua primeira compra — o que ele navegou, o que clicou e quanto tempo se passou — e então decide se envia um cupom agora, se espera ou se não envia nada. Os pesquisadores estenderam ferramentas matemáticas existentes para lidar com o limite orçamentário, garantindo que as regras aprendidas nunca gastassem mais dinheiro do que o permitido. Eles testaram duas abordagens principais: uma que tentava prever o valor futuro de um cliente com base em seu histórico, e outra que aprendia diretamente quais ações levavam aos melhores resultados, tratando o problema como uma série de tarefas de classificação.

Os resultados foram impressionantes. Quando os pesquisadores testaram suas novas políticas dinâmicas em um grupo separado de clientes, descobriram que a estratégia de melhor desempenho era aquela que respeitava a restrição orçamentária. Esta política não simplesmente enviava cupons para todos no segundo dia. Em vez disso, ela aprendeu a ser seletiva. Para alguns clientes, enviava um cupom imediatamente porque seu comportamento sugeria que estavam prestes a partir. Para outros, esperava, enviando um cupom no décimo ou trigésimo dia, ou talvez nem enviando, porque aqueles clientes provavelmente retornariam por conta própria. Ao reter cupons de clientes que retornariam de qualquer maneira, a política economizava dinheiro. Ela então usava esses fundos economizados para focar nos clientes que realmente precisavam de um incentivo para voltar.

Os dados mostraram que essa abordagem dinâmica e consciente do orçamento era muito mais eficiente do que os métodos estáticos antigos. Embora a estratégia tradicional de enviar cupons para todos no segundo dia aumentasse a taxa de retorno em certa medida, ela o fazia a um custo elevado. A nova política dinâmica alcançou um aumento semelhante ou até melhor nas taxas de retorno, gastando significamente menos dinheiro. De fato, quando medida por quanto a taxa de retorno melhorou para cada iene gasto, a nova política superou todos os benchmarks. Resultou que a abordagem de "tamanho único" era desperdiçadora. Ao esperar e observar, o sistema conseguia identificar o momento preciso em que um incentivo faria a diferença, evitando a armadilha de pagar pessoas para fazerem o que já iam fazer.

Os pesquisadores também exploraram uma versão mais complexa do problema, onde o sistema poderia escolher não apenas quando enviar um cupom, mas também se deveria enviar um simples e-mail de agradecimento ou nada. Neste cenário, o sistema aprendeu a substituir e-mails de baixo custo por cupons caros quando apropriado. Ele enviaria um e-mail gratuito para um cliente que parecia interessado, mas não precisava de um impulso financeiro, guardando o cupom para alguém que precisava. Essa flexibilidade melhorou ainda mais a eficiência de custos da estratégia. A empresa então levou essas descobertas para o mundo real, realizando testes online em larga escala onde as novas políticas foram aplicadas a clientes reais. Os resultados online confirmaram as previsões offline: a política dinâmica com restrição de orçamento gerou o maior retorno sobre o investimento, entregando mais clientes retidos por dólar gasto do que qualquer outra estratégia que a empresa já havia tentado.

Este trabalho demonstra que a chave para a retenção eficaz de clientes não é apenas ter dados, mas saber como usá-los ao longo do tempo. Os pesquisadores provaram que, ao tratar a retenção de clientes como uma sequência de decisões em vez de um evento único, e ao considerar rigorosamente os limites orçamentários, as empresas podem alcançar resultados muito melhores. O estudo sugere que a "armadilha da recência" é real, mas pode ser navegada com o tempo certo. A estratégia mais eficaz não é gritar mais alto ou com mais frequência, mas falar no momento certo para a pessoa certa. Para o varejista japonês, isso significou uma política que não era apenas mais inteligente, mas também mais lucrativa, gerando milhões de dólares em valor adicional ao longo de um único ano em comparação com seus métodos anteriores. A lição estende-se além do varejo de moda: em qualquer negócio onde a atenção do cliente é fugaz e os recursos são finitos, a capacidade de adaptar-se e esperar é tão importante quanto a própria oferta.