Resumo Técnico: Multi-Experiment Analysis (MEA)

1. O Problema

As empresas de tecnologia executam milhares de experimentos controlados online (testes A/B) anualmente. Um desafio crescente é a sobreposição de tráfego (overlap), onde múltiplos testes rodam simultaneamente no mesmo conjunto de usuários.

Existem dois problemas principais decorrentes dessa sobreposição:

1. Colisões: Quando experimentos simultâneos quebram a experiência do usuário (UX), exigindo divisão de tráfego ou execução sequencial, o que reduz a velocidade de experimentação.
2. Interações e Viés: Quando experimentos rodam juntos sem quebrar a UX, eles podem interagir de formas não lineares. Analisar cada experimento isoladamente (análise univariada) produz estimativas de efeito que:
   • Não correspondem a nenhum cenário real de lançamento (pois o estado dos outros experimentos mudará após o lançamento).
   • Ocultam combinações ótimas de funcionalidades.
   • Podem mascarar interações negativas ou positivas entre as variantes.

Métodos tradicionais como designs fatoriais completos exigem coordenação prévia e alocação balanceada, o que é impraticável quando equipes independentes lançam experimentos com condições de gatilho e cronogramas diferentes.

2. Metodologia: Multi-Experiment Analysis (MEA)

O MEA é uma metodologia de análise post-hoc (após o fato) projetada para estimar consistentemente efeitos conjuntos na presença de sobreposições parciais ou totais arbitrárias, sem exigir restrições de tráfego ou execução sequencial.

2.1. Partitionamento Baseado em Gatilho (Triggering)

O núcleo do MEA é particionar a população de usuários com base na lógica de gatilho conjunta dos experimentos, e não apenas na atribuição de variantes.

• Para $k$ experimentos, a população é dividida em regiões mutuamente exclusivas ($R_{s}$) baseadas em quais experimentos foram acionados (gatilho = 1) ou não (gatilho = 0).
• Exemplo para dois experimentos ($E_1, E_2$):
  • $R_{10}$: Apenas $E_1$ acionado.
  • $R_{01}$: Apenas $E_2$ acionado.
  • $R_{11}$: Ambos acionados.
  • $R_{00}$: Nenhum acionado (excluído da estimativa de impacto para aumentar o poder estatístico).

2.2. Estimação Ponderada Consistente

O efeito de uma combinação de lançamento é estimado como uma média ponderada das diferenças de resultados dentro de cada região de gatilho:
$$\hat{\tau} = \sum_{r} w_r (\bar{Y}_{t,r} - \bar{Y}_{c,r})$$
Onde:

• $w_r$ são os pesos proporcionais ao tamanho da região de gatilho na população impactada.
• $\bar{Y}_{t,r}$ e $\bar{Y}_{c,r}$ são as médias de resultado para as células de variante relevantes dentro da região $r$.

Isso permite estimar:

1. Efeitos Individuais Corrigidos: O efeito de um experimento considerando o estado real dos outros.
2. Efeitos Combinados: O impacto de lançar qualquer combinação desejada de variantes.
3. Efeitos Condicionais: O efeito de um experimento dado que outros específicos já foram lançados (cenários de "e se").

2.3. Pressupostos Causais e Diagnóstico

O método baseia-se em dois pressupostos principais:

1. Invariância Gatilho-Braço (Arm-Trigger Invariance): A atribuição de tratamento (braço) de um experimento não deve alterar a probabilidade de um usuário ser gatilho para outro experimento.
   • Diagnóstico Automático: O sistema realiza testes de qui-quadrado e visualizações (gráficos de barras agrupadas) para verificar se a distribuição de gatilhos muda entre os braços de tratamento. Se violado, um alerta é gerado.
2. Independência dentro da Estratificação: As atribuições de tratamento devem ser independentes dentro de cada estrato de gatilho (garantido pelo hashing ortogonal padrão).

2.4. Métricas de Razão e Variância

• O método estende-se naturalmente a métricas de razão (ex: CTR, taxa de conversão) aplicando a ponderação separadamente ao numerador e denominador, seguido pelo método Delta.
• Para estimativa de variância, utiliza-se o Jackknife em Buckets (particionamento de dados), que captura a incerteza tanto das estimativas de efeito quanto dos pesos de estratificação, sendo robusto para grandes volumes de dados.

3. Contribuições Principais

1. Framework de Análise Conjunta Pós-Hoc: Permite recuperar insights análogos a designs fatoriais a partir de sobreposições naturais, sem a necessidade de pré-planejamento complexo.
2. Estimativas Condicionais e Combinatórias: Capacidade de responder perguntas de negócios complexas, como "Qual o efeito do Experimento B se o Experimento A já estiver em produção?".
3. Diagnóstico Automatizado de Interações: Implementação de testes estatísticos e visuais para detectar violações de pressupostos (como tratamento induzindo gatilhos em outros experimentos) em escala de produção.
4. Eficiência Estatística: Demonstração teórica e empírica de que o MEA pode ser mais eficiente (menor variância) do que um design factorial coordenado, especialmente com múltiplos experimentos, pois utiliza estratos de gatilho único que contêm menos células de variante.

4. Resultados e Validação

• Simulações: Validação extensiva confirmou que as estimativas do MEA são consistentes (convergem para o valor verdadeiro) e possuem cobertura correta dos intervalos de confiança (95%), mesmo em cenários de sobreposição complexa.
• Comparação com Alternativas: Em cenários simulados onde a análise univariada e a execução sequencial recomendaram erroneamente a pior combinação de lançamento (devido a interações negativas ocultas), o MEA identificou corretamente a combinação ótima.
• Implementação em Produção (LinkedIn):
  • O sistema foi implantado como uma ferramenta self-service que processa dados distribuídos (Trino/Spark).
  • Casos de Uso Reais: Inclui desbloqueio de lançamentos (mostrando robustez a variantes concorrentes), atribuição de modelos de ML (identificando o driver principal), diagnóstico de migrações de plataforma e resolução de conflitos entre equipes.
  • Impacto: Em uma auditoria de 50 análises, 80-85% resultaram em decisões alteradas ou informadas. A ferramenta é usada para identificar combinações ótimas (35%), análise condicional de cenários (30%) e depuração de anomalias (35%).

5. Significado e Conclusão

O MEA representa uma mudança de paradigma na experimentação online, permitindo que as organizações mantenham a velocidade de experimentação (lançando testes em paralelo) sem sacrificar a validade estatística ou a capacidade de tomar decisões baseadas em dados sobre combinações de recursos.

Ao tratar a sobreposição de experimentos não como um ruído a ser evitado, mas como uma oportunidade de inferência causal, o MEA oferece uma solução escalável para a complexidade crescente dos ambientes de produto modernos, onde múltiplas intervenções ocorrem simultaneamente em populações sobrepostas. A metodologia é aplicável não apenas em tecnologia, mas em qualquer domínio que envolva testes concorrentes em populações sobrepostas, como ensaios clínicos e saúde pública.