📊 statistics

Statistical Significance Revisited

Este artigo examina os recentes apelos para reformar as práticas de significância estatística — como abandonar o limiar padrão de 0,05 e ir além da teste de hipóteses binário — analisando os pontos fortes e as limitações dessas mudanças propostas.

Autores originais: Reason Machete

Publicado 2026-05-08

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Reason Machete

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério: Existe um padrão real nos dados, ou é apenas uma coincidência?

Por quase um século, cientistas têm usado uma ferramenta específica chamada Teste de Significância (e seu principal resultado, o valor-p) para ajudar a responder a isso. Pense no valor-p como um "medidor de suspeita". Se o medidor indicar um valor muito baixo (geralmente abaixo de 0,05, ou 5%), o detetive diz: "Isso é muito improvável de ser um acaso; deve haver um padrão real aqui!"

No entanto, recentemente, muitas pessoas argumentaram que essa ferramenta está quebrada. Elas dizem que ela leva a muitos "falsos alarmes" (encontrar padrões que não existem realmente) e que o limiar de 5% é arbitrário. Este artigo, escrito por R. L. Machete, mergulha fundo nessas queixas e pergunta: Devemos jogar a ferramenta fora, apertar as regras ou apenas aprender a usá-la melhor?

Aqui está uma análise dos argumentos do artigo usando analogias simples.

1. As Duas Escolas de Pensamento: O Porteiro vs. O Apostador

O artigo começa explicando a história dessa ferramenta.

Fisher (O Porteiro): Ele inventou o teste para ver se um resultado era "surpreendente" o suficiente para rejeitar a ideia de que nada está acontecendo (a Hipótese Nula). Ele usou um limiar de 5%, mas alertou contra tratá-lo como uma lei rígida.
Neyman & Pearson (Os Apostadores): Eles adicionaram um segundo lado à aposta. Eles perguntaram: "Se houver de fato um efeito real, qual a probabilidade de o perdermos?" Eles introduziram a ideia de Erros do Tipo I (falsos alarmes) e Erros do Tipo II (perder um sinal real).

A Analogia: Imagine um detector de metais em um aeroporto.

Fisher diz: "Se apitar, é suspeito."
Neyman & Pearson dizem: "Precisamos equilibrar os apitos. Se o tornarmos muito sensível, pegaremos cada fivela de cinto (Erro do Tipo I). Se o tornarmos muito pouco sensível, perderemos armas reais (Erro do Tipo II)."

2. A Grande Controvérsia: "Vamos Tornar as Regras Mais Rígidas!"

Recentemente, alguns cientistas (como Benjamin et al.) argumentaram que o limiar de 5% é muito frouxo. Eles querem mudá-lo para 0,5% (ou 0,005).

Sua Lógica: Se tornarmos o detector de metais muito mais difícil de disparar, pegaremos menos falsos alarmes. Isso deveria dobrar o número de vezes que conseguimos repetir com sucesso um experimento (replicação).
O Contra-Argumento do Artigo: O autor diz que isso é um trade-off. Se você tornar o detector mais difícil de disparar, definitivamente perderá mais armas reais (Erros do Tipo II).
- O Custo: Você pode parar de encontrar descobertas reais porque a barra está tão alta que apenas as "super óbvias" passam.
- A Matemática: O artigo mostra que, embora baixar o limiar reduza os falsos alarmes, isso não corrige automaticamente a "crise de replicação", a menos que você já saiba quantas descobertas verdadeiras existem em primeiro lugar — o que geralmente é impossível de saber.

3. O Desvio "Bayesiano": Adivinhando as Probabilidades

Alguns críticos argumentam que os valores-p são enganosos porque não levam em conta o quão provável uma teoria era desde o início. Eles sugerem o uso de métodos Bayesianos, que exigem que você adivinhe a "probabilidade a priori" (o quão provável você acha que a hipótese é antes mesmo de começar).

A Visão do Artigo: O autor argumenta que, no mundo real, muitas vezes não podemos conhecer essas probabilidades a priori. Você não pode adivinhar facilmente qual porcentagem de todas as teorias científicas é realmente verdadeira.
A Metáfora: Tentar usar métodos Bayesianos para cada estudo é como tentar dirigir um carro adivinhando a densidade do tráfego antes mesmo de sair da garagem. É uma boa ideia, mas na prática, muitas vezes não temos esses dados. O artigo sugere que manter-se nas probabilidades de erro (com que frequência o teste comete um erro) é mais prático.

4. O Movimento "Jogue Fora Tudo"

Alguns reformadores dizem: "Parem de usar valores-p e limiares completamente! Apenas reportem os números e deixem as pessoas decidirem."

A Visão do Artigo: O autor acha isso perigoso.
- A Analogia: Imagine um médico dizendo: "Não me diga se o paciente tem febre ou não. Apenas me dê a temperatura e deixe eu adivinhar."
- O Problema: Humanos são ruins em tomar decisões binárias (Sim/Não) sem uma linha clara. Se você remover o limiar, não removeu a decisão; apenas escondeu a linha. Eventualmente, alguém ainda terá que decidir se o resultado é "bom o suficiente".
- Intervalos de Confiança: O artigo concorda que devemos reportar Intervalos de Confiança (uma faixa de valores prováveis), mas argumenta que eles não devem substituir os valores-p. Eles devem trabalhar juntos, como um mapa e uma bússola.

5. O Teste de "Severidade": Uma Nova Maneira de Olhar para os Dados

O artigo introduz um conceito de uma filósofa chamada Mayo chamado Severidade.

A Ideia: Não basta apenas passar em um teste. Você tem que perguntar: "Se essa hipótese fosse falsa, qual seria a probabilidade de ela passar neste teste de qualquer maneira?"
A Metáfora: Imagine que um suspeito passa em um detector de mentiras.
- Teste Padrão: "Eles passaram, então são inocentes."
- Teste de Severidade: "Se eles fossem culpados, esse detector de mentiras específico os teria pegado? Se a máquina está quebrada e deixa todos passarem, então 'passar' não prova nada. Mas se a máquina é muito rigorosa e eles ainda assim passaram, isso é evidência severa de inocência."
O autor sugere usar esse pensamento de "severidade" para investigar mais profundamente os dados, em vez de olhar apenas para um único número.

6. Exemplo do Mundo Real: Incêndios na Savana Africana

Para provar que essas ferramentas funcionam, o autor analisa dados sobre incêndios na África.

A Pergunta: Os incêndios ocorrem em ciclos de 5 anos?
O Resultado: A matemática mostrou um padrão forte (um valor-p muito baixo).
A Aplicação: O autor não disse apenas "É significativo". Ele usou o conceito de Severidade para dizer: "Temos 95% de certeza de que o ciclo é real e não um acaso." Ele também usou Intervalos de Confiança para mostrar exatamente quão forte é esse ciclo.
A Lição: As ferramentas trabalharam juntas para dar uma resposta clara e confiante, sem necessidade de mudar as regras do jogo.

O Veredito Final

O artigo conclui que estamos em uma encruzilhada.

Não jogue as ferramentas fora: Valores-p e testes de significância ainda são úteis para distinguir ciência real de ruído.
Não apenas aperte os parafusos: Tornar o limiar 0,005 pode reduzir falsos alarmes, mas também esconderá descobertas reais.
Use as ferramentas com sabedoria: Os cientistas devem ser os mestres das ferramentas, não seus escravos. Eles devem usar valores-p, intervalos de confiança e verificações de severidade juntos para tomar decisões informadas.
O Verdadeiro Inimigo: O problema não é a matemática; é o comportamento. Coisas como "garimpo de dados" (buscar padrões até encontrar um) e "parada opcional" (parar um experimento assim que se obtém um bom resultado) são as verdadeiras causas da má ciência. Mudar o limiar do valor-p não corrigirá o mau comportamento; apenas uma ética e incentivos melhores farão isso.

Em resumo: O artigo argumenta que não devemos entrar em pânico e reescrever as regras da estatística. Em vez disso, devemos confiar nas ferramentas existentes, usá-las com mais nuance (como verificar a "severidade") e focar em corrigir os comportamentos humanos que levam à má ciência.

Resumo Técnico: Significância Estatística Revisitada

Declaração do Problema
O artigo aborda a controvérsia em curso sobre o Teste de Significância da Hipótese Nula (NHST), especificamente a dependência do valor $p$ e do limiar de significância padrão de $\alpha = 0.05$ . Recentes chamados por reformas, incluindo propostas para reduzir o limiar para 0.005, abandonar completamente o teste de significância em favor de intervalos de confiança, ou relatar valores $p$ continuamente sem limiares, acenderam o debate sobre a crise de reprodutibilidade na ciência. O autor identifica uma falta de consenso sobre como equilibrar os erros Tipo I e Tipo II, a validade de usar fórmulas de diagnóstico bayesianas para justificar mudanças de limiar e a viabilidade de substituir métodos estatísticos de erro por teoria da decisão ou análise custo-benefício.

Metodologia
O artigo emprega uma abordagem teórica e analítica para avaliar várias propostas de reforma. A metodologia inclui:

Derivação Teórica: O autor deriva a relação entre o limiar de significância ( $\alpha$ ), a taxa de erro Tipo II ( $\beta$ ) e a Taxa de Falsos Positivos (FPR) usando a fórmula de diagnóstico (probabilidade posterior bayesiana da hipótese nula). Isso envolve analisar as derivadas parciais da FPR em relação a $\alpha$ e $\beta$ .
Análise de Trade-off: O artigo demonstra matematicamente o trade-off inerente entre erros Tipo I e Tipo II em frameworks frequentistas, contrastando isso com as premissas feitas em modelos de diagnóstico onde a redução do erro Tipo I é alegada reduzir simultaneamente a FPR sem aumentar o erro Tipo II.
Modelagem da Probabilidade de Reprodutibilidade: A distribuição de valores $p$ sob a hipótese alternativa é analisada usando a aproximação log-normal (baseada em Hung et al., 1997) para derivar fórmulas para probabilidade de reprodutibilidade.
Análise da Função de Custo: Um framework de minimização de custo frequentista é construído para determinar valores críticos ótimos baseados nos custos dos erros Tipo I e Tipo II, comparando isso com a teoria da utilidade esperada bayesiana.
Avaliação de Severidade: O artigo aplica a função de severidade de Mayo (2018) para avaliar alegações, demonstrando como a severidade pode complementar intervalos de confiança sem abandonar o teste de hipóteses.
Exemplo Ilustrativo: Os conceitos teóricos são aplicados a um conjunto de dados do mundo real sobre a autocorrelação das proporções de área queimada nas savanas da África Subsaariana (2001–2020) para demonstrar o cálculo de valores $p$ , limites de confiança e severidade.

Principais Contribuições

Crítica à Redução de Limiar: O artigo desafia a proposta de reduzir o limiar de significância de 0.05 para 0.005. Demonstra que, embora reduzir $\alpha$ diminua a Taxa de Falsos Positivos, isso inevitavelmente aumenta a taxa de erro Tipo II ( $\beta$ ). O autor argumenta que o benefício líquido depende fortemente da "taxa de verdadeiros positivos" (ou valor preditivo positivo) no limiar atual, uma quantidade praticamente impossível de estimar com precisão na maioria dos campos.
Distinção entre Bayesiano e Frequentista: O autor esclarece que a fórmula de diagnóstico usada por proponentes da redução de limiar (por exemplo, Benjamin et al., 2017) é fundamentalmente bayesiana, dependendo de probabilidades a priori ( $\phi$ ) que são frequentemente desconhecidas ou incalculáveis. O artigo argumenta que misturar essa probabilidade posterior bayesiana com probabilidades de erro frequentistas cria confusão.
Defesa da Estabelecimento de Limiares: O artigo argumenta que abandonar completamente os limiares é impraticável porque a tomada de decisão frequentemente requer escolhas dicotômicas. Postula que intervalos de confiança e valores $p$ são duais entre si e ambos dependem de limiares subjacentes; relatar valores $p$ continuamente sem um limiar meramente cria um "limiar não divulgado".
Limitações da Análise Custo-Benefício: A análise de funções de custo mostra que o valor crítico ótimo para minimizar o custo esperado frequentemente não se alinha com níveis de significância padrão (por exemplo, 0.05) e que, em muitos cenários do mundo real (por exemplo, aquecimento global, desenvolvimento de medicamentos), quantificar os custos específicos dos erros é impraticável.
Severidade como Complemento: O artigo defende o uso de funções de severidade para sondar o espaço de parâmetros mais a fundo após um teste de significância, oferecendo uma maneira de avaliar a força da evidência para alegações específicas sem descartar o framework estatístico de erro.

Resultados

Análise de Redução de Limiar: A análise matemática confirma que reduzir $\alpha$ diminui a Taxa de Falsos Positivos mesmo quando $\beta$ aumenta, mas a magnitude dessa redução é altamente sensível à razão de chances a priori. O artigo deriva que dobrar a taxa de replicação via uma redução de 10 vezes no limiar só é possível se a taxa de verdadeiros positivos predominante for exatamente 4/9.
Probabilidade de Reprodutibilidade: O artigo encontra que as probabilidades de reprodutibilidade derivadas de distribuições de valores $p$ são construções teóricas que podem não refletir a realidade empírica, pois o cenário predominante não é necessariamente a hipótese alternativa.
Análise de Custo: Nos gráficos ilustrativos de função de custo, o valor crítico minimizante foi encontrado sendo menor que 1.5 (correspondendo a $\alpha > 0.07$ ), sugerindo que limiares padrão nem sempre são a escolha de minimização de custo, contudo, a aplicação da análise de custo é frequentemente limitada pela incapacidade de quantificar custos de erro.
Exemplo de Fogo na Savana: Na aplicação a incêndios de savana, um valor $p$ de $2.37 \times 10^{-4}$ levou à rejeição da hipótese nula. A função de severidade confirmou que a alegação $\beta_1 > 0.30529$ passou com uma severidade de 0.95, e a probabilidade de reprodutibilidade calculada foi de 93.8%.

Significância e Alegações
O artigo afirma que os atuais chamados por reformas frequentemente falham em contabilizar os trade-offs fundamentais entre erros Tipo I e Tipo II e a impossibilidade prática de estimar probabilidades a priori necessárias para o diagnóstico bayesiano. O autor argumenta que:

Testes de significância não devem ser abandonados, mas sim entendidos como ferramentas para controlar probabilidades de erro, não como provas definitivas de verdade.
A "crise de replicação" não é apenas uma questão de limiar estatístico, mas envolve práticas científicas mais amplas (por exemplo, mineração de dados, parada opcional).
Embora intervalos de confiança e avaliações de severidade sejam complementos valiosos, eles não eliminam a necessidade de limiares na tomada de decisão.
A comunidade científica não deve ser "escrava" de limiares rígidos, mas deve usá-los como guias enquanto abraça a incerteza. O autor conclui que a inovação prospera sob liberdade e que o limiar de 0.05, apesar de suas falhas, serviu como uma ferramenta fiel para identificar descobertas falsas, e que a ciência é, em última análise, autocorretiva. O artigo alinha-se com a posição da Associação Americana de Estatística (ASA) de que valores $p$ não devem ser a única base para decisões, mas não devem ser aposentados.