Resumo Técnico: Estimando o Efeito do Tempo de Entrega na Eficácia de Cupons

Declaração do Problema

Incentivos via cupons são um elemento fundamental das estratégias de marketing, mas as empresas frequentemente lutam para maximizar seu retorno sobre o investimento (ROI). Embora pesquisas anteriores tenham se concentrado na otimização do valor dos cupons (ex: porcentagem de desconto) ou na segmentação de usuários (ex: modelagem de uplift), o impacto do tempo de entrega permanece subexplorado em muitos contextos.

O desafio central é que verificar a hipótese de que "cupons são mais eficazes quando entregues em momentos críticos de engajamento do usuário" normalmente requer um sistema de distribuição disparado por eventos em tempo real. Implementar tal sistema envolve um esforço de engenharia e custo significativos. Consequentemente, as empresas enfrentam um "beco sem saída": elas precisam de evidências dos benefícios para justificar a construção da infraestrutura, mas não podem gerar essas evidências sem a infraestrutura para realizar um Ensaio Controlado Randomizado (RCT) dedicado comparando a entrega imediata versus a atrasada.

Este artigo aborda o problema de estimar o efeito causal do tempo de entrega de cupons nas taxas de conversão sem exigir um teste A/B dedicado ou um serviço de distribuição em tempo real pré-existente.

Metodologia

Os autores propõem um framework que aplica inferência causal a dados de "ensaios controlados randomizados naturais" pré-existentes. A abordagem aproveita dados de campanhas padrão baseadas em lotes (batches), onde os usuários são atribuídos aleatoriamente a grupos de controle e tratamento, mas o tempo exato de entrega do cupom é determinado pelo tempo de registro ou atividade do usuário em relação ao cronograma de processamento do lote.

1. Modelagem Causal e Identificação

O framework utiliza Grafos Acíclicos Dirigidos (DAGs) para identificar variáveis de confusão e determinar o conjunto de condicionamento correto para uma estimativa imparcial.

• Caso de Onboarding de Usuário: Os autores modelam a relação entre atributos do usuário ($X$), tratamento ($T$), um evento de compra pré-tratamento ($P$) e o resultado ($Y$, compra futura). Eles identificam um erro crítico: condicionar em $P$ (usuários que ainda não haviam comprado) bloqueia o caminho direto entre a covariável de tempo e o resultado, levando a estimativas de interação enviesadas. Para estimar a interação entre o tempo e o tratamento ($P(Y|do(T), do(M))$), o modelo não deve condicionar em $P$ ao analisar a interação, ou deve contabilizar cuidadosamente o viés de seleção introduzido pelo processo de lote.
• Caso de Retenção de Usuário: Um modelo causal mais simples é aplicado a um conjunto de dados público (Lenta), onde o objetivo é estimar a interação entre o tempo decorrido desde a última compra e o efeito do tratamento.

2. Modelagem de Uplift com Termos de Interação

Uma vez definida a estrutura causal, os autores empregam Modelagem de Uplift para estimar o Efeito Médio do Tratamento Condicional (CATE).

• Arquitetura do Modelo: Em vez de algoritmos complexos como redes neurais ou árvores de decisão, os autores utilizam um modelo de regressão logística com termos de interação. Esta escolha prioriza a interpretabilidade.
• Formulação: O modelo prevê o log-odds de uma compra futura ($Y$) como uma função de covariáveis de base ($X$) e um componente de uplift específico para o grupo de tratamento ($S$). Crucialmente, termos de interação são criados multiplicando o indicador de tratamento pelas covariáveis relacionadas ao tempo (ex: minuto de registro, tempo desde a última compra).
  $$\ln\left(\frac{y_i}{1-y_i}\right) = \sum_{j \in C} baseline_j x_{ij} + s_i \sum_{j \in C} uplift_j x_{ij} + \epsilon_i$$
• Engenharia de Atributos (Feature Engineering): Atributos relacionados ao tempo (hora, minuto, recência) são padronizados. No caso de onboarding, os autores observam que a padronização do minuto de registro evita problemas com descontinuidades cíclicas (ex: meia-noite), pois os cupons não são distribuídos durante a noite e os atrasos são consistentes dentro da hora.

3. Configuração Experimental

• Dados Internos (Mercari): Uma análise de uma campanha de onboarding de usuários onde os usuários foram atribuídos aleatoriamente aos grupos de controle/tratamento via tarefas de lote (batch jobs) por hora. O aspecto de "experimento natural" surge porque o atraso entre o registro e o recebimento do cupom varia com base no minuto de registro, independentemente do controle do profissional de marketing.
• Dados Públicos (Lenta): Um conjunto de dados de uma campanha de retenção de usuários de uma rede de hipermercados russa, usado para validar a generalização e reprodutibilidade do framework.

Principais Resultados

Onboarding de Usuário (Mercari)

• Significância Estatística: O coeficiente de uplift para o minuto de registro foi encontrado como positivo e estatisticamente significativo ($p \approx 0,05$). Isso indica que usuários que se registraram mais próximos do início da hora (recebendo cupons mais cedo) tiveram uma taxa de conversão incremental maior em comparação com aqueles que se registraram mais tarde na hora.
• Interpretação: O tempo decorrido entre a criação da conta e a entrega do cupom impacta significativamente a eficácia do cupom.
• Análise Contrafactual: Visualizações das previsões do modelo mostram que, embora as taxas de conversão de base variem ligeiramente pelo tempo de registro, o efeito do tratamento (uplift) é claramente maior para usuários que recebem o cupom imediatamente. Isso fornece a evidência necessária para justificar o investimento de engenharia em um sistema de distribuição em tempo real.

Retenção de Usuário (Lenta)

• Efeito de Base: O coeficiente de base para o "tempo da última compra" foi fortemente positivo, confirmando que usuários com compras recentes têm maior probabilidade de converter (a hipótese da "zona").
• Interação de Tempo: O coeficiente de uplift para o tempo decorrido desde a última compra foi fracamente positivo, mas não estatisticamente significativo.
• Conclusão: Ao contrário do cenário de onboarding, entregar cupons imediatamente após uma compra (vs. um lote atrasado) não gera um impacto de negócio considerável para a retenção neste conjunto de dados específico.

Contribuições e Significância

O artigo apresenta as seguintes contribuições específicas:

1. Destacar o Tempo: Estabelece que o tempo de distribuição de cupons é uma variável crítica e frequentemente negligenciada na eficácia do marketing.
2. Framework Metodológico: Propõe um framework para estimar o efeito causal do tempo usando RCTs naturais e inferência causal (especificamente do-calculus e modelagem de uplift). Isso permite que as empresas validem a necessidade de uma infraestrutura de tempo real cara sem construí-la primeiro.
3. Validação Empírica:
   • Demonstra o sucesso do framework em uma campanha interna de onboarding, fornecendo justificativa baseada em dados para a implementação de cupons disparados por eventos em tempo real.
   • Valida sua generalização usando um conjunto de dados público para retenção de usuários, mostrando que o método pode distinguir cenários onde o tempo importa (onboarding) e onde pode não importar (retenção neste contexto específico).
4. Reprodutibilidade: Ao aplicar o método a um conjunto de dados público e liberar o código fonte, os autores visam tornar a pesquisa reprodutível e acessível a outros profissionais.

Limitações

Os autores reconhecem que a validade de suas estimativas imparciais depende inteiramente da correção de seus diagramas causais.

• Confundidores Não Observáveis: No caso de onboarding, eles assumem que não existem confundidores não observáveis (ex: renda, hobbies) que afetem tanto o tempo de registro quanto a conversão. Eles argumentam que controlar a hora de registro mitiga esse risco.
• Especificidade dos Dados: Os resultados de retenção são específicos do conjunto de dados Lenta; a falta de efeitos de tempo significativos ali não nega universalmente a importância do tempo em todos os contextos de retenção, mas sugere que o framework pode identificar onde o tempo não é um alavancador primário.

Conclusão

O artigo conclui que, em geral, quanto mais cedo, melhor para a entrega de cupons, mas a magnitude do benefício depende da etapa da jornada do usuário. Para o onboarding, o atraso causado pelo processamento em lote reduz significamente a eficácia do cupom. Para a retenção, a janela imediatamente após a compra pode não oferecer o mesmo ganho marginal. O framework proposto oferece um caminho econômico e baseado em dados para as empresas determinarem se o investimento em infraestrutura de distribuição em tempo real é justificável para seus casos de uso específicos.