Resumo Técnico: Procedimentos de Inferência Bayesiana para Testes A/B

1. Declaração do Problema

A inferência bayesiana para testes A/B é frequentemente tratada na literatura e na prática como um método monolítico. No entanto, ela é, na verdade, uma família de configurações definidas por diferentes combinações de priors (distribuições a priori) e regras de parada, possuindo propriedades estatísticas fundamentalmente distintas. Essa confusão leva a afirmações enganosas onde propriedades verdadeiras para configurações específicas (ex: controle de taxa de erro) são incorretamente atribuídas ao framework como um todo. Além disso, muitas plataformas comerciais de experimentação operam em um "nível mais baixo" de garantias estatísticas por padrão, muitas vezes falhando em controlar as taxas de falsos positivos (FPR) sob monitoramento contínuo ou em calibrar estimativas de efeito. Há uma falta de uma visão sistemática que organize essas configurações, suas garantias e sua relação com métodos frequentistas.

2. Metodologia e Framework

O artigo organiza as configurações bayesianas comuns em uma hierarquia de três níveis de garantia, ordenada pela força de seu controle de taxa de erro. A análise baseia-se em um modelo normal padrão de dois grupos onde o efeito médio de tratamento $\delta = \mu_T - \mu_C$ é estimado a partir de dados sequenciais.

A Hierarquia de Três Níveis

Nível 1: Coerência Posterior (Sem Controle de Erro)

• Definição: Qualquer procedimento que produza uma posterior própria (proper posterior). A posterior representa uma atualização de crença válida, independentemente da regra de parada (Princípio da Verossimilhança).
• Mecanismos: Inclui parada por probabilidade posterior (ex: $P(B > A) > \gamma$) e parada por perda esperada (minimização do arrependimento esperado).
• Limitações: Estas configurações não fornecem garantias frequentistas de taxa de erro. Sob um prior plano (flat prior), a parada por probabilidade posterior é algebricamente idêntica ao "espiamento simples" (simple peeking) — parar quando um p-valor < 0,05 —, resultando em taxas de erro Tipo I infladas. A parada por perda esperada otimiza para uma função de perda específica, mas não limita o FPR.

Nível 2: FPR Limitado via Parada por Fator de Bayes (BF)

• Definição: Alcança o controle incondicional da Taxa de Falsos Positivos ($FPR \le \alpha$) mesmo sob parada opcional (contínua).
• Mecanismo: Combina um prior próprio com uma regra de limiar de Fator de Bayes ($BF_{10} > 1/\alpha$).
• Base Teórica: Sob a hipótese nula, a sequência de Fatores de Bayes forma uma martingala não negativa. Pela desigualdade de Ville, a probabilidade de o BF exceder $1/\alpha$ em qualquer momento é limitada por $\alpha$, independentemente de quando o experimento é interrompido.
• Otimidade: Para funções de custo com payoffs terminais afins à posterior, a parada por BF é próxima da ótima para tomada de decisão sequencial. A escolha entre uma formulação decision-teórica e uma formulação frequentista é, em grande parte, uma questão de parametrização.

Nível 3: FDR Limitado e Contração Calibrada via Bayes Empírico (EB)

• Definição: Adiciona controle sobre a Taxa de Descobertas Falsas (FDR) entre múltiplas métricas e fornece a contração (shrinkage) calibrada das estimativas de efeito.
• Mecanismo: Requer um prior de Bayes Empírico estimado a partir de um corpo de experimentos históricos. Este prior é tipicamente uma mistura de dois componentes: uma massa de ponto em zero (representando efeitos nulos) e uma distribuição normal (representando efeitos não nulos).
• Garantias:
  • Controle de FDR: O prior de mistura codifica a taxa histórica de não-nulos ($p$). Quando combinado com a parada por BF, o limite inferior $(1-\hat{p})$ nas chances da posterior limita o FDR bayesiano sem exigir correções de multiplicidade explícitas (ex: Bonferroni).
  • Contração Calibrada: A média posterior é contraída em direção a zero com base na distribuição real de tamanho de efeito do programa, corrigindo o "estigma do vencedor" (winner's curse ou erro Tipo M) e reduzindo a variância da estimativa.
• Restrições: As garantias do Nível 3 dependem inteiramente da qualidade e representatividade do corpo histórico. Modos de falha incluem corpora "selecionados por vencedores" (excluindo nulos), programas agrupados com distribuições de efeito heterogêneas ou tamanho de corpus insuficiente (a estabilização requer $\approx 200$ experimentos históricos).

3. Principais Contribuições

1. Taxonomia Sistemática: O artigo fornece a primeira visão sistemática organizando as configurações de testes A/B bayesianos em uma hierarquia de três níveis baseada em garantias de taxa de erro, esclarecendo que "Bayesiano" não é um método único, mas um espectro de propriedades estatísticas.
2. Equivalência de Frameworks: Demonstra que, para muitas configurações práticas, a distinção entre abordagens bayesianas e frequentistas é superficial.
   • A inferência posterior com prior plano é numericamente idêntica aos testes z frequentistas.
   • O Fator de Bayes é idêntico ao estatístico do teste de razão de verossimilhança sequencial de mistura (mSPRT).
   • Regras de parada motivadas por custo frequentemente convergem para limiares de BF, ligando as taxas de erro decision-teóricas e frequentistas.
3. Validação Empírica de Riscos: Através de simulações, o artigo quantifica os riscos de diferentes configurações:
   • Nível 1 (Prior Plano + Parada por Posterior): Reproduz o espiamento simples com um FPR de $\approx 0,30$ (para $\alpha=0,05$).
   • Nível 2 (Parada por BF): Controla o FPR estritamente abaixo de $\alpha$, mas pode ter menor poder do que Testes Sequenciais de Grupo (GST) para sinais marginais devido aos limiares que aumentam logaritmicamente.
   • Nível 3 (EB + BF): Alcança o menor Erro Quadrático Médio (MSE) entre todas as configurações devido à contração calibrada, mas essa vantagem desaparece se o prior for mal especificado (ex: de um corpus selecionado por vencedores).
4. Trade-offs Decision-Teóricos: O artigo analisa o "arrependimento" (regret) de diferentes métodos. A parada por perda esperada minimiza o arrependimento apenas quando o custo de implementar uma variante de efeito nulo é efetivamente zero. Uma vez que a implementação incorre em qualquer custo não relacionado à métrica (manutenção, complexidade), métodos que exigem evidência estatística (parada por BF) alcançam menor arrependimento total.

4. Resultados de Simulação

Os autores apresentam quatro configurações de simulação para validar a hierarquia:

• Configuração A (Controle de FPR): Confirma que a parada por posterior com prior plano falha em controlar o FPR (FPR $\approx 0,30$), enquanto a parada por BF com priors próprios mantém o FPR $\le 0,05$.
• Configuração B (Comparação Sequencial): Compara a parada por BF contra GST frequentista e sequências de confiança sempre válidas (WS-R).
  • Todos os métodos sequenciais válidos controlam o FPR.
  • O GST alcança o maior poder, mas exige um tamanho de amostra pré-comprometido ($n_{max}$).
  • A parada por BF oferece flexibilidade (sem $n_{max}$) e, quando pareada com um prior de Oracle EB, alcança o menor MSE.
  • Priors EB mal especificados (ex: de dados selecionados por vencedores) perdem a vantagem de MSE e podem inflar as taxas de erro.
• Configuração C (Qualidade do Corpus): Demonstra que as propriedades do Nível 3 (controle de FDR, contração) são altamente sensíveis à qualidade do corpus. Um corpus de $\approx 200$ experimentos é necessário para estabilidade. Corpora "selecionados por vencedores" ou "agrupados" levam a uma inflação persistente de FPR/FDR que não converge com mais dados.
• Configuração D (Análise de Regret): Mostra que a parada por perda esperada é ótima apenas quando os custos de implementação são zero. À medida que os custos de implementação aumentam, a parada por BF (mesmo com calibração frouxa) torna-se superior na minimização do arrependimento esperado.

5. Significância e Alegações

O artigo argumenta que o método apropriado para um programa de experimentação deve ser ditado pelos riscos que o programa precisa controlar, e não por uma preferência por um framework estatístico específico.

• Configuração Baseada em Risco:
  • Se o objetivo é minimizar o custo esperado por decisão e implementar nulos é barato, regras decision-teóricas (de perda esperada) podem ser apropriadas.
  • Se o objetivo é limitar a Taxa de Falsos Positivos ou a Taxa de Descobertas Falsas ao longo de um programa, o Nível 2 (parada por BF) ou o Nível 3 (EB + BF) são necessários.
• A Necessidade de Calibração: O artigo enfatiza que os benefícios frequentemente atribuídos a "métodos bayesianos" (correção automática de multiplicidade, contração, baixo erro de estimativa) não são inerentes ao uso de uma posterior. Eles são específicos do Nível 3, exigindo um prior de Bayes Empírico calibrado derivado de um corpus histórico representativo. Sem isso, uma configuração bayesiana não oferece mais proteção contra multiplicidade do que uma frequentista.
• Orientação Prática: Muitas plataformas operam atualmente no Nível 1, replicando inadvertidamente os erros de espiamento frequentista. Os autores sugerem que programas sem um corpus histórico grande e representativo devem operar no Nível 2 (usando parada por BF com um prior fracamente informativo) e aplicar correções de multiplicidade explícitas, em vez de tentar o Nível 3 com um prior subajustado.

Em conclusão, o artigo afirma que a escolha da configuração (prior e regra de parada) é mais crítica do que a escolha do framework (Bayesiano vs. Frequentista). O rótulo "Bayesiano" sozinho não garante controle de erro; apenas configurações específicas dentro da hierarquia fornecem as garantias rigorosas necessárias para a experimentação em larga escala.