Resumen Técnico: Estimación del Efecto del Tiempo en la Efectividad de los Cupones

Planteamiento del Problema

Los incentivos mediante cupones son un elemento básico de las estrategias de marketing, sin embargo, las empresas suelen tener dificultades para maximizar su retorno de la inversión (ROI). Mientras que la investigación previa se ha centrado en optimizar el valor de los cupones (por ejemplo, el porcentaje de descuento) o la segmentación de los usuarios (por ejemplo, el modelado de uplift), el impacto del tiempo permanece subexplorado en muchos contextos.

El desafío central es que verificar la hipótesis de que "los cupones son más efectivos cuando se entregan en momentos críticos de la interacción del usuario" requiere típicamente un sistema de distribución basado en eventos y en tiempo real. Implementar tal sistema implica un esfuerzo de ingeniería y un costo significativos. En consecuencia, las empresas enfrentan un "círculo vicioso": necesitan evidencia de los beneficios para justificar la construcción de la infraestructura, pero no pueden generar esa evidencia sin la infraestructura para ejecutar un Ensayo Controlado Aleatorizado (RCT) dedicado que compare la entrega inmediata frente a la diferida.

Este documento aborda el problema de estimar el efecto causal del tiempo del cupón en las tasas de conversión sin requerir un test A/B dedicado o un servicio de distribución en tiempo real preexistente.

Metodología

Los autores proponen un marco que aplica la inferencia causal a datos de "ensayos controlados aleatorizados naturales" ya existentes. El enfoque aprovecha los datos de campañas estándar basadas en lotes (batches) donde los usuarios son asignados aleatoriamente a grupos de control y tratamiento, pero el tiempo exacto de entrega del cupón está determinado por el tiempo de registro o actividad del usuario en relación con el cronograma de procesamiento del lote.

1. Modelado Causal e Identificación

El marco utiliza Grafos Acíclicos Dirigidos (DAGs) para identificar las variables de confusión y determinar el conjunto de condicionamiento correcto para una estimación imparcial.

• Caso de Onboarding de Usuario: Los autores modelan la relación entre los atributos del usuario ($X$), el tratamiento ($T$), un evento de compra previo al tratamiento ($P$), y el resultado ($Y$, compra futura). Identifican un error crítico: condicionar en $P$ (usuarios que aún no habían comprado) bloquea la ruta hacia adelante entre la covariable de tiempo y el resultado, lo que conduce a estimaciones de interacción sesgadas. Para estimar la interacción entre el tiempo y el tratamiento ($P(Y|do(T), do(M)$), el modelo no debe condicionar en $P$ al analizar la interacción, o debe contabilizar cuidadosamente el sesgo de selección introducido por el proceso de lote.
• Caso de Retención de Usuario: Se aplica un modelo causal más simple a un conjunto de datos público (Lenta), donde el objetivo es estimar la interacción entre el tiempo transcurrido desde la última compra y el efecto del tratamiento.

2. Modelado de Uplift con Términos de Interacción

Una vez definido el esquema causal, los autores emplean el Modelado de Uplift para estimar el Efecto Promedio del Tratamiento Condicional (CATE).

• Arquitectura del Modelo: En lugar de algoritmos complejos como redes neuronales o árboles de decisión, los autores utilizan un modelo de regresión logística con términos de interacción. Esta elección prioriza la interpretabilidad.
• Formulación: El modelo predice el log-odds de una compra futura ($Y$) como una función de las covariables base ($X$) y un componente de uplift específico para el grupo de tratamiento ($S$). Crucialmente, se crean términos de interacción multiplicando el indicador de tratamiento con las covariables relacionadas con el tiempo (por ejemplo, minuto de registro, tiempo desde la última compra).
  $$\ln\left(\frac{y_i}{1-y_i}\right) = \sum_{j \in C} baseline_j x_{ij} + s_i \sum_{j \in C} uplift_j x_{ij} + \epsilon_i$$
• Ingeniería de Características: Las características relacionadas con el tiempo (hora, minuto, recencia) se estandarizan. En el caso de onboarding, los autores señalan que estandarizar el minuto de registro evita problemas con discontinuidades cíclicas (por ejemplo, la medianoche) porque los cupones no se distribuyen durante la noche y los retrasos son consistentes dentro de la hora.

3. Configuración Experimental

• Datos Internos (Mercari): Un análisis de una campaña de onboarding de usuarios donde los usuarios fueron asignados aleatoriamente a grupos de control/tratamiento mediante trabajos por lotes horarios. El aspecto de "experimento natural" surge porque el retraso entre el registro y la recepción del cupón varía según el minuto de registro, independientemente del control del marketer.
• Datos Públicos (Lenta): Un conjunto de datos de una campaña de retención de usuarios de una cadena de hipermercados rusa, utilizado para validar la generalizabilidad y reproducibilidad del marco.

Resultados Clave

Onboarding de Usuario (Mercari)

• Significancia Estadística: El coeficiente de uplift para el minuto de registro resultó ser positivo y estadísticamente significativo ($p \approx 0.05$). Esto indica que los usuarios que se registraron más cerca del inicio de la hora (recibiendo los cupones más pronto) tuvieron una tasa de conversión incremental mayor en comparación con aquellos que se registraron más tarde en la hora.
• Interpretación: El tiempo transcurrido entre la creación de la cuenta y la entrega del cupón impacta significativamente la efectividad del cupón.
• Análisis Contrafactual: Las visualizaciones de las predicciones del modelo muestran que, si bien las tasas de conversión base varían ligeramente según el tiempo de registro, el efecto del tratamiento (uplift) es claramente mayor para los usuarios que reciben el cupón de inmediato. Esto proporciona la evidencia necesaria para justificar la inversión de ingeniería en un sistema de distribución en tiempo real.

Retención de Usuario (Lenta)

• Efecto Base: El coeficiente base para el "tiempo de la última compra" fue fuertemente positivo, confirmando que los usuarios con compras recientes tienen más probabilidades de convertir (la hipótesis de la "zona").
• Interacción de Tiempo: El coeficiente de uplift para el tiempo transcurrido desde la última compra fue débilmente positivo pero no estadísticamente significativo.
• Conclusión: A diferencia del escenario de onboarding, entregar cupones inmediatamente después de una compra (frente a un lote diferido) no genera un impacto de negocio considerable para la retención en este conjunto de datos específico.

Contribuciones y Significado

El documento realiza las siguientes contribuciones específicas:

1. Resaltar el Tiempo: Establece que el tiempo de distribución de los cupones es una variable crítica y a menudo pasada por alto en la efectividad del marketing.
2. Marco Metodológico: Propone un marco para estimar el efecto causal del tiempo utilizando RCTs naturales y inferencia causal (específicamente do-calculus y modelado de uplift). Esto permite a las empresas validar la necesidad de una infraestructura de tiempo real costosa sin construirla primero.
3. Validación Empírica:
   • Demuestra el éxito del marco en una campaña interna de onboarding, proporcionando una justificación basada en datos para implementar cupones disparados por eventos en tiempo real.
   • Valida su generalizabilidad utilizando un conjunto de datos público para la retención de usuarios, mostrando que el método puede distinguir entre escenarios donde el tiempo importa (onboarding) y donde puede que no sea así (retención en este contexto específico).
4. Reproducibilidad: Al aplicar el método a un conjunto de datos público y liberar el código fuente, los autores buscan que la investigación sea reproducible y accesible para otros profesionales.

Limitaciones

Los autores reconocen que la validez de sus estimaciones imparciales depende enteramente de la corrección de sus diagramas causales.

• Confundidores No Observables: En el caso de onboarding, asumen que no existen confundidores no observables (por ejemplo, ingresos, pasatiempos) que afecten tanto al tiempo de registro como a la conversión. Argumentan que controlar la hora de registro mitiga este riesgo.
• Especificidad de los Datos: Los resultados de retención son específicos del conjunto de datos de Lenta; la falta de efectos de tiempo significativos allí no niega universalmente la importancia del tiempo en todos los contextos de retención, sino que sugiere que el marco puede identificar dónde el tiempo no es un motor primario.

Conclusión

El documento concluye que, en general, cuanto antes, mejor para la entrega de cupones, pero la magnitud del beneficio depende de la etapa del recorrido del usuario. Para el onboarding, el retraso causado por el procesamiento por lotes reduce significamente la eficacia del cupón. Para la retención, la ventana inmediata post-compra puede no ofrecer la misma ganancia marginal. El marco propuesto ofrece un camino rentable y basado en datos para que las empresas determinen si la inversión en infraestructura de distribución en tiempo real está justificada para sus casos de uso específicos.