Sensitivity and Early Detection of Bayesian Causal Impact Models for Marketing Interventions

Resumen Técnico: Sensibilidad y Detección Temprana de Modelos de Impacto Causal Bayesiano para Intervenciones de Marketing

Planteamiento del Problema
En entornos de comercio electrónico dinámicos, los equipos de marketing implementan frecuentemente cambios estructurales en recorridos automatizados (por ejemplo, flujos de carritos abandonados), tales como actualizaciones de software o modificaciones de la lógica. A diferencia de las pruebas A/B aisladas, estas intervenciones a nivel de sistema afectan a toda la población de usuarios, lo que hace que la experimentación controlada sea impracticable. Aunque los modelos de Impacto Causal Bayesiano son un estándar para la estimación retrospectiva de efectos, ofrecen una orientación limitada sobre la detección temprana y la sensibilidad. Los responsables de la toma de decisiones requieren respuestas a preguntas operativas: ¿Cuántos días de datos post-cambio se necesitan para concluir con confianza que el rendimiento se ha deteriorado? ¿Qué tan pronto se puede detectar un impacto negativo para permitir reversiones o ajustes oportunos? Los métodos actuales suelen fallar al cuantificar las compensaciones entre el conservadurismo estadístico, la velocidad de detección y la magnitud de la degradación del rendimiento.

Metodología
El artículo propone un marco basado en simulaciones para evaluar la sensibilidad y las capacidades de detección de los modelos de Impacto Causal Bayesiano bajo degradaciones de rendimiento controladas. La metodología utiliza datos de tráfico diario de un recorrido de marketing de carrito abandonado en Despegar, donde la variable de resultado es el volumen diario de mensajes automatizados enviados.

1. Perturbación de Datos y Submuestreo: Para evaluar la estabilidad frente a la variabilidad de los datos, los autores emplean una estrategia de submuestreo repetido. Para cada iteración, la serie temporal original se reescala por un factor ($\alpha = 0.7$) y se aumenta con ruido estocástico proporcional a la magnitud de la serie. Esto genera múltiples realizaciones plausibles de los datos preservando la estructura temporal.
2. Inyección de Impacto Sintético: Dentro del periodo de validación, los resultados observados se reducen artificialmente mediante factores multiplicativos ($r \in \{1.0, 0.9, 0.8, 0.7, 0.5\}$) para simular diversas magnitudes de pérdida de eficiencia.
3. Modelado: Se ajusta un modelo de Series Temporales Estructurales Bayesianas (BSTS) sobre un periodo de entrenamiento (5 meses) para generar predicciones contrafactuales para el periodo de validación (1 mes). El modelo aprovecha covariables como la entrada de usuarios en los flujos de carrito abandonado y el volumen de búsqueda de productos.
4. Criterios de Alarma: Se evalúan dos criterios de detección distintos a través de varios niveles de confianza ($c \in \{60\%, 70\%, 80\%, 90\%\}$) y horizontes de detección ($h \in \{5, 7, 10, 15\}$ días):
   • Basado en Proporción: Una alarma se dispara si la proporción de días donde el valor observado cae por debajo del límite inferior predictivo supera un umbral ($\tau = 0.4$).
   • Basado en Persistencia: Una alarma se dispara si el impacto acumulado permanece negativo durante tres días consecutivos.
5. Evaluación: Se computa la probabilidad de activar una alarma a través de 100 ejecuciones de simulación para cada configuración, cuantificando la probabilidad de detectar una magnitud de degradación específica dentro de un determinado plazo.

Resultados Clave
El estudio revela que el rendimiento de la detección depende altamente de la interacción entre el tamaño del efecto, el nivel de confianza y el horizonte de evaluación.

• Limitaciones de los Criterios Basados en Proporción: La regla basada en la proporción (que requiere que >40% de las observaciones estén por debajo del límite) exhibe un sesgo estructural a medida que el horizonte aumenta. Para horizontes más largos (por ejemplo, 10 o 15 días), el criterio se vuelve cada vez más difícil de satisfacer, requiriendo reducciones muy fuertes o niveles de confianza bajos para disparar una alarma. Esto limita su utilidad para la detección temprana de degradaciones moderadas.
• Ventajas de los Criterios Basados en Persistencia: El criterio alternativo, basado en tres días consecutivos de impacto acumulado negativo, demuestra un comportamiento más estable y operativamente significativo. Al centrarse en la persistencia temporal en lugar de proporciones agregadas, evita los efectos de dilución en horizontes más largos y responde más rápidamente a tendencias negativas sostenidas.
• Configuración Óptima: Los resultados sugieren una configuración operativa equilibrada de un horizonte de detección de 10 días combinado con un nivel de confianza del 80%. Esta configuración ofrece un compromiso razonable entre robustez y sensibilidad, minimizando las falsas alarmas mientras permite la detección de deterioros de rendimiento relevantes.
• Compensaciones del Nivel de Confianza: Niveles de confianza más bajos (por ejemplo, 60%) aumentan la sensibilidad pero elevan significativamente el riesgo de falsos positivos, incluso ante reducciones leves.

Significancia y Contribuciones
El artículo afirma cerrar la brecha entre la estimación causal retrospectiva y las necesidades operativas de los equipos de marketing. Sus principales contribuciones son:

1. Marco Operativo: Extiende el análisis de impacto causal más allá de la simple estimación de efectos para proporcionar una metodología que cuantifique la sensibilidad de detección y apoye las decisiones de monitoreo en entornos dinámicos.
2. Evaluación de Criterios: Identifica que las reglas de monitoreo estándar basadas en proporciones pueden ser subóptimas para la detección temprana en sistemas de marketing, proponiendo los criterios basados en la persistencia como una alternativa más estable.
3. Soporte a la Decisión: El marco proporciona un mecanismo fundamentado para que los equipos determinen cuántos datos se requieren para detectar de manera confiable un nivel específico de degradación del rendimiento, permitiendo un mejor equilibrio entre incertidumbre, oportunidad y riesgo de negocio.

Direcciones Futuras
Los autores señalan modestamente que el estudio actual depende de una ventana de validación fija. Sugieren que investigaciones futuras deberían evaluar la estabilidad temporal de estos criterios de alarma incorporando ventanas de validación móviles o desplazables. Esto evaluaría si las señales de alarma se mantienen consistentes a través de diferentes realizaciones temporales de los datos, distinguiendo el deterioro persistente de las fluctuaciones específicas de la ventana.