Sensitivity and Early Detection of Bayesian Causal Impact Models for Marketing Interventions

Resumo Técnico: Sensibilidade e Detecção Precoce de Modelos de Impacto Causal Bayesiano para Intervenções de Marketing

Definição do Problema
Em ambientes de e-commerce dinâmicos, equipes de marketing implementam frequentemente mudanças estruturais em jornadas automatizadas (ex: fluxos de carrinho abandonado), como atualizações de software ou modificações de lógica. Diferente de testes A/B isolados, essas intervenções em nível de sistema afetam toda a população de usuários, tornando a experimentação controlada impraticável. Embora os modelos de Impacto Causal Bayesiano sejam o padrão para estimativa retrospectiva de efeito, eles oferecem orientação limitada sobre detecção precoce e sensibilidade. Tomadores de decisão precisam de respostas para questões operacionais: Quantos dias de dados pós-mudança são necessários para concluir com confiança que o desempenho deteriorou? Quão cedo um impacto negativo pode ser detectado para permitir reversões (rollbacks) ou ajustes oportunos? Os métodos atuais frequentemente falham em quantificar as trocas (trade-offs) entre conservadorismo estatístico, velocidade de detecção e a magnitude da degradação de desempenho.

Metodologia
O artigo propõe uma estrutura baseada em simulação para avaliar a sensibilidade e as capacidades de detecção de modelos de Impacto Causal Bayesiano sob degradações de desempenho controladas. A metodologia utiliza dados de tráfego diário de uma jornada de marketing de carrinho abandonado na Despegar, onde a variável de resultado é o volume diário de mensagens automatizadas enviadas.

1. Perturbação de Dados e Subamostragem: Para avaliar a estabilidade contra a variabilidade dos dados, os autores empregam uma estratégia de subamostragem repetida. Para cada iteração, a série temporal original é reescalonada por um fator ($\alpha = 0,7$) e aumentada com ruído estocástico proporcional à magnitude da série. Isso gera múltiplas realizações plausíveis dos dados, preservando a estrutura temporal.
2. Injeção de Impacto Sintético: Dentro do período de validação, os resultados observados são artificialmente reduzidos por fatores multiplicativos ($r \in \{1,0; 0,9; 0,8; 0,7; 0,5\}$) para simular variados magnitudes de perda de eficiência.
3. Modelagem: Um modelo de Séries Temporais Estruturais Bayesianas (BSTS) é ajustado em um período de treinamento (5 meses) para gerar previsões contrafatuais para o período de validação (1 mês). O modelo utiliza covariáveis como a entrada de usuários em fluxos de carrinho abandonado e o volume de busca de produtos.
4. Critérios de Alarme: Dois critérios de detecção distintos são avaliados através de variados níveis de confiança ($c \in \{60\%; 70\%; 80\%; 90\%\}$) e horizontes de detecção ($h \in \{5, 7, 10, 15\}$ dias):
   • Baseado em Proporção: Um alarme é disparado se a proporção de dias onde o valor observado cai abaixo do limite inferior preditivo exceder um limiar ($\tau = 0,4$).
   • Baseado em Persistência: Um alarme é disparado se o impacto cumulativo permanecer negativo por três dias consecutivos.
5. Avaliação: A probabilidade de disparar um alarme é computada através de 100 execuções de simulação para cada configuração, quantificando a probabilidade de detectar uma magnitude específica de degradação dentro de um determinado prazo.

Principais Resultados
O estudo revela que o desempenho de detecção é altamente dependente da interação entre o tamanho do efeito, o nível de confiança e o horizonte de avaliação.

• Limitações dos Critérios Baseados em Proporção: A regra baseada em proporção (exigindo que >40% das observações estejam abaixo do limite) exibe um viés estrutural conforme o horizonte aumenta. Para horizontes mais longos (ex: 10 ou 15 dias), o critério torna-se cada vez mais difícil de satisfazer, exigindo reduções muito fortes ou níveis de confiança baixos para disparar um alarme. Isso limita sua utilidade para detecção precoce de degradações moderadas.
• Vantagens dos Critérios Baseados em Persistência: O critério alternativo, baseado em três dias consecutivos de impacto negativo cumulativo, demonstra um comportamento mais estável e operacionalmente significativo. Ao focar na persistência temporal em vez de proporções agregadas, ele evita efeitos de diluição em horizontes mais longos e responde mais rapidamente a tendências negativas sustentadas.
• Configuração Ótima: Os resultados sugerem uma configuração operacional equilibrada de um horizonte de detecção de 10 dias combinado com um nível de confiança de 80%. Esta configuração oferece um equilíbrio razoável entre robustez e sensibilidade, minimizando falsos alarmes enquanto permite a detecção de deteriorações de desempenho relevantes.
• Trocas de Nível de Confiança: Níveis de confiança mais baixos (ex: 60%) aumentam a sensibilidade, mas elevam significativamente o risco de falsos positivos, mesmo sob reduções leves.

Significância e Contribuições
O artigo afirma preencher a lacuna entre a estimativa causal retrospectiva e as necessidades operacionais das equipes de marketing. Suas principais contribuições são:

1. Estrutura Operacional: Estende a análise de impacto causal além da simples estimativa de efeito para fornecer uma metodologia para quantificar a sensibilidade de detecção e apoiar decisões de monitoramento em ambientes dinâmicos.
2. Avaliação de Critérios: Identifica que as regras padrão de monitoramento baseadas em proporção podem ser subótimas para detecção precoce em sistemas de marketing, propondo critérios baseados em persistência como uma alternativa mais estável.
3. Suporte à Decisão: O framework fornece um mecanismo fundamentado para que as equipes determinem quanto dado é necessário para detectar confiavelmente um nível específico de degradação de desempenho, permitindo um melhor equilíbrio entre incerteza, agilidade e risco de negócio.

Direções Futuras
Os autores observam modestamente que o estudo atual depende de uma janela de validação fixa. Eles sugerem que pesquisas futuras avaliem a estabilidade temporal desses critérios de alarme incorporando janelas de validação móveis ou deslizantes. Isso avaliaria se os sinais de alarme permanecem consistentes através de diferentes realizações temporais dos dados, distinguindo a deterioração persistente de flutuações específicas da janela.