📊 statistics

Nobody Puts Bonferroni in a Corner

O artigo defende que a correção de Bonferroni é uma escolha superior para experimentação online, demonstrando através de simulações e dados da Spotify que ela oferece intervalos de confiança incondicionais simples e que sua perda de poder estatístico é mínima quando aplicada corretamente apenas às métricas de sucesso, tornando-a frequentemente indistinguível de métodos mais sofisticados.

Autores originais: Mårten Schultzberg

Publicado 2026-04-13

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mårten Schultzberg

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o gerente de uma grande fábrica de música (como a Spotify) e tem uma equipe de engenheiros propondo milhares de novas ideias: mudar a cor de um botão, adicionar um novo filtro de busca ou criar uma playlist automática.

Para saber se essas ideias funcionam, vocês fazem "experimentos" (testes A/B). Metade dos usuários vê a versão antiga, a outra metade vê a nova. Se a nova versão for melhor, vocês a lançam para todos.

O problema é que, quando vocês testam muitas coisas ao mesmo tempo (métricas diferentes, como "tempo de escuta", "número de cliques", "crescimento de assinantes"), a estatística tradicional começa a brincar de "sorte".

O Problema: O Jogo da Sorte e os Falsos Positivos

Se você jogar uma moeda 10 vezes, é provável que dê "cara" pelo menos uma vez, mesmo que a moeda seja honesta. Se você testar 20 ideias diferentes sem cuidado, a chance de achar que uma delas funcionou (quando na verdade foi só sorte) é enorme. Isso é chamado de Falso Positivo.

Na indústria, o consenso antigo era: "Não use o método mais simples (Bonferroni) porque ele é muito conservador e vai impedir que lancemos coisas boas. Use métodos mais complexos e 'inteligentes'."

Este artigo diz: "Esperem aí! O método simples (Bonferroni) é, na verdade, o melhor amigo de vocês, e ninguém está usando a maneira certa."

O autor, Mårten Schultzberg, usa quatro argumentos principais para defender o "Bonferroni" (que vamos chamar de O Guardião Simples).

1. A Regra de Ouro: Não Confunda "Sucesso" com "Segurança"

Aqui está o grande segredo que a maioria das pessoas ignora. Em um experimento, nem todas as métricas têm o mesmo papel.

Métricas de Sucesso: São as vitórias. "A música toca mais?", "O usuário clica mais?". Se pelo menos uma dessas melhorar, o time quer lançar a mudança.
Métricas de Guarda-Chuva (Guardrails): São os freios de segurança. "O app não travou?", "A bateria não drenou?". Se qualquer uma dessas piorar, o time não deve lançar, não importa o quanto a métrica de sucesso tenha melhorado.

A Analogia do Carro:
Imagine que você está dirigindo um carro novo.

Métricas de Sucesso: O carro é mais rápido? (Você quer que isso aconteça).
Métricas de Guarda-Chuva: Os freios funcionam? O motor não superaqueceu? (Você quer que isso não aconteça).

O erro comum é tratar os freios e o motor como se fossem "metas de velocidade". O autor diz: Não conte os freios na sua lista de metas!

Se você tem 2 metas de sucesso e 10 freios de segurança, o método Bonferroni não deve dividir sua "sorte" por 12. Ele deve dividir apenas por 2.

Por que? Porque um erro nos freios (dizer que estão bons quando estão ruins) só torna mais fácil não lançar o carro. Isso não cria um falso positivo de lançamento. O único jeito de lançar algo ruim é se você errar na métrica de sucesso.
Resultado: Ao separar o que é "vitória" do que é "segurança", o método Bonferroni deixa de ser "punitivo" e se torna muito mais leve e justo.

2. O Mapa do Tesouro (Intervalos de Confiança)

Outros métodos estatísticos complexos são como mapas que só mostram o tesouro se você já tiver encontrado o caminho. Eles dizem: "Se você achou um sucesso, aqui está o mapa". Mas se você não achou, o mapa é inútil.

O Guardião Simples (Bonferroni) é diferente. Ele desenha um mapa completo e honesto para todas as métricas, seja elas vencedoras ou não.

Ele diz: "Aqui está o intervalo de confiança para o tempo de escuta. Aqui está para os cliques. Aqui está para a bateria."
Isso é crucial para engenheiros e gerentes de produto. Eles precisam saber não apenas se algo funcionou, mas quanto funcionou e com que certeza. Métodos mais complexos muitas vezes não conseguem dar essa informação clara para todas as métricas ao mesmo tempo.

3. Planejar a Viagem Antes de Sair (Cálculo de Amostra)

Antes de começar um experimento, você precisa saber quantos usuários testar.

Com o Guardião Simples, é fácil: você faz uma conta simples e sabe exatamente quantas pessoas precisa. É como calcular o combustível para uma viagem com uma régua.
Com os métodos complexos, é como tentar calcular o combustível sem saber quantas pessoas vão subir no carro ou se vai chover. Você precisa fazer suposições que ninguém consegue provar antes de começar. Isso torna o planejamento difícil e impreciso.

4. O Custo Real da "Sorte" (Poder Estatístico)

A maior crítica ao Bonferroni é: "Ele é tão conservador que vamos perder muitas ideias boas (perder poder estatístico)".

O autor fez um estudo com 1.296 experimentos reais da Spotify e descobriu algo surpreendente:

Quando as métricas são poucas e bem definidas (apenas as de sucesso): A diferença entre o método simples e os métodos complexos é quase zero. Você não perde quase nada de "ideias boas" ao usar o simples.
Quando as métricas são muitas e mal definidas: Aí sim, os métodos complexos ajudam um pouco mais (ganham cerca de 4% a 5% a mais de lançamentos). Mas o autor argumenta que, se você tem 10 métricas de sucesso, você provavelmente está fazendo o experimento errado. Você deveria ter focado em 2 ou 3 principais.

A Lição: A diferença de poder não vem do método estatístico, mas de como você organiza suas perguntas. Se você organizar bem (separando sucesso de segurança), o método simples funciona tão bem quanto os complexos.

Conclusão: Por que voltar ao básico?

O artigo é um chamado para parar de ter medo do método mais simples.

Confiança: Em uma empresa, as decisões são tomadas com base nesses números. Se o método é complexo e difícil de explicar, as pessoas param de confiar nele. O Bonferroni é transparente: "Dividimos o risco pelo número de vitórias que buscamos".
Simplicidade: Ele funciona bem com intervalos de confiança, com planejamento de tamanho de amostra e com testes sequenciais (olhar os dados enquanto o experimento roda).
A Verdade: A maioria das mudanças de produto não funciona. A maioria dos testes é "nula". Em um mundo onde a maioria das coisas não tem efeito, métodos que permitem mais "falsos positivos" (como os métodos de FDR) apenas aumentam o lixo estatístico, fazendo com que times lancem coisas que não funcionam.

Em resumo: Não tenha medo de usar o "Guardião Simples". Se você separar claramente o que é "vitória" do que é "segurança", ele será tão poderoso quanto os métodos complexos, mas muito mais honesto, fácil de entender e confiável para toda a empresa.

O título do artigo é uma brincadeira com a frase "Ninguém coloca o Rocky em um canto" (Nobody puts Baby in a corner), sugerindo que o Bonferroni foi injustamente "empurrado para o canto" da estatística e merece voltar ao centro do palco.

Resumo Técnico: Nobody Puts Bonferroni in a Corner

1. Problema e Contexto

O artigo aborda o problema do teste múltiplo em experimentação online (A/B testing) em plataformas de produtos digitais, como a do Spotify.

O Desafio: Testar múltiplas hipóteses simultaneamente infla a Taxa de Erro Familiar (FWER - Family-Wise Error Rate), aumentando a probabilidade de falsos positivos (enviar mudanças ineficazes).
A Percepção Atual: Na prática e na literatura, a correção de Bonferroni é frequentemente vista como excessivamente conservadora, "ingênua" e com alto custo de poder estatístico. Praticantes tendem a ignorar correções ou optar por métodos mais sofisticados (como Holm, Hommel ou Benjamini-Hochberg - BH) para ganhar poder, muitas vezes sem considerar se esses métodos suportam a lógica de inferência e decisão necessária.
A Tese do Artigo: O autor argumenta que a reputação negativa do Bonferroni é, em grande parte, injustificada no contexto de experimentação de produtos. O Bonferroni é, na verdade, a escolha superior para esse cenário devido à sua simplicidade, coerência em todo o fluxo de trabalho e adequação à estrutura de decisão de produtos.

2. Metodologia

O estudo combina uma análise teórica rigorosa com evidências empíricas e simulações:

Análise Teórica: Reavaliação da estrutura de decisão em experimentos de produto, distinguindo entre métricas de sucesso, métricas de guarda-chuva (guardrails) e métricas de qualidade.
Estudo de Simulação: Um estudo de Monte Carlo com $m=8$ métricas, $N=1.000$ observações e 10.000 replicações, variando o tamanho do efeito, a correlação entre métricas ( $\rho = 0$ e $\rho = 0.95$ ) e a esparsidade de efeitos verdadeiros (número de métricas não-nulas).
Análise Empírica: Análise de 1.296 experimentos (1.840 comparações tratamento-controle) executados na plataforma "Confidence" do Spotify. O estudo comparou as taxas de envio (ship rates) de diferentes métodos de correção (Bonferroni, Holm, Hommel, BH, BY) sob diferentes definições de "família" de métricas.

3. Principais Contribuições e Argumentos

O artigo sustenta a defesa do Bonferroni através de quatro considerações principais:

A. Coerência dos Intervalos de Confiança (CIs)

O Bonferroni é o método mais simples que gera Intervalos de Confiança Simultâneos Incondicionais para todas as métricas.
Métodos como Benjamini-Hochberg (BH) não fornecem CIs simultâneos válidos para todas as métricas testadas (eles são condicionais à seleção). Métodos como Holm e Hommel geram CIs que são não-informativos para as hipóteses rejeitadas (o momento em que a "maldição do vencedor" é mais crítica).
Para engenheiros e gestores de produto, um CI honesto e interpretável é crucial para avaliar o tamanho do efeito e a incerteza, não apenas a significância binária.

B. A Estrutura de Decisão e o Denominador Correto

O artigo argumenta que a correção de Bonferroni é frequentemente aplicada de forma incorreta ao incluir todas as métricas no denominador.
Métricas de Sucesso: Requerem controle de erro Tipo I (pelo menos uma deve ser significativa para enviar). Aqui, o denominador é o número de métricas de sucesso ( $S$ ).
Métricas de Guarda-chuva (Guardrails): Operam sob lógica de Interseção-União (IU). Todas devem passar (não piorar). Um falso positivo em uma métrica de guarda-chuva torna mais fácil passar o teste, não mais difícil. Portanto, eles não inflam a taxa de falsos positivos da decisão de envio, mas sim a taxa de falsos negativos (bloqueio de bons tratamentos).
Conclusão Chave: O denominador de Bonferroni deve ser apenas o número de métricas de sucesso ( $S$ ), não o total de métricas. Em experimentos típicos onde as métricas de guarda-chuva superam as de sucesso, a correção é muito mais branda do que se imagina (ex: $\alpha/2$ em vez de $\alpha/12$ ).

C. Tratabilidade no Cálculo de Tamanho de Amostra

O Bonferroni é único por ser facilmente incorporado no planejamento pré-experimento. O nível de significância ajustado ( $\alpha^* = \alpha/S$ ) permite cálculos de poder diretos e verificáveis.
Métodos como BH dependem de suposições desconhecidas no momento do design (como a proporção de verdadeiras nulas $\pi_0$ e a distribuição conjunta), tornando o planejamento de amostra impreciso ou impossível na prática.

D. Compatibilidade com Testes Sequenciais

O Bonferroni se integra limpiamente com testes sequenciais em grupo (GST), permitindo que cada métrica tenha sua própria função de gasto de erro baseada em sua fração de informação. Métodos que exploram correlação (como Hommel) enfrentam dificuldades práticas devido à dependência da distribuição conjunta ao longo do tempo.

4. Resultados

Evidência de Simulação

Cenário Esparsos (Poucas métricas não-nulas): Quando poucas métricas têm efeito real (comum em produtos), a diferença de poder entre Bonferroni e métodos mais sofisticados (Holm, Hommel, BH) é praticamente zero.
Correlação Alta: Sob alta correlação, todos os métodos perdem poder. A vantagem do BH sobre o Bonferroni aumenta em cenários densos e altamente correlacionados, mas isso é atenuado pelo fato de que o BH controla FDR (Taxa de Descoberta Falsa), não FWER, e em cenários de produtos com alta taxa de nulos, o aumento de "envios" do BH reflete principalmente a relaxação do limiar, não a captura de mais efeitos verdadeiros.

Evidência Empírica (Spotify)

Definição da Família é Decisiva:
- Quando se usa uma definição "ingênua" (todas as métricas na família), Holm e Hommel são indistinguíveis do Bonferroni (+0,5 a +0,6 pontos percentuais de taxa de envio).
- Quando se usa a definição correta (apenas métricas de sucesso), Holm e Hommel ganham cerca de 4,5 a 4,6 pontos percentuais em relação ao Bonferroni.
Custo de Poder: Mesmo com a família correta, o ganho de poder dos métodos mais complexos é modesto (4-5 pp) e condicional à implementação correta da estrutura de decisão.
Redução de Variância: A aplicação de redução de variância tende a reduzir a correlação entre métricas, diminuindo ligeiramente a vantagem dos métodos que exploram correlação em relação ao Bonferroni.

5. Significado e Conclusão

O artigo conclui que a preferência por métodos complexos sobre o Bonferroni é frequentemente baseada em uma compreensão incompleta do problema de teste múltiplo em experimentação de produtos.

Confiança e Escala: O Bonferroni oferece coerência em todo o fluxo de trabalho (CIs, decisão, planejamento, monitoramento). Em organizações onde os resultados dos experimentos passam por múltiplas camadas de revisão e decisão, a simplicidade e a honestidade do Bonferroni previnem erros de interpretação e acumulam menos erros de aproximação.
Recomendação Prática: As equipes não devem abandonar as correções, mas sim reavaliar o medo do Bonferroni.
1. Defina corretamente a família de correção (apenas métricas de sucesso).
2. Utilize o Bonferroni para obter CIs simultâneos incondicionais e planejamento de amostra transparente.
3. Reconheça que, no cenário típico de produtos (muitos nulos, poucas métricas de sucesso), o custo de poder do Bonferroni é mínimo, enquanto os benefícios de robustez e interpretabilidade são máximos.

Em suma, o Bonferroni não é uma escolha obsoleta, mas sim a ferramenta mais robusta e adequada para a tomada de decisões em experimentação de produtos em escala.