p-Hacking Inflates Type I Error Rates in the Error Statistical Approach but not in the Formal Inference Approach

Título: p-Hacking na Abordagem de Inferência Formal

Autor: Mark Rubin (Durham University, UK)
Data: 3 de março de 2026

1. O Problema

O artigo aborda o fenômeno do p-hacking (ou "pesca de dados"), definido como a prática de realizar múltiplos testes de significância e relatar seletivamente apenas aqueles que produzem resultados desejados (geralmente significativos, $p \leq 0,05$), sem corrigir para testes múltiplos.

O consenso atual na literatura estatística e científica considera o p-hacking uma prática questionável que infla as taxas de erro do Tipo I (falsos positivos) acima do nível nominal (ex: 0,05), contribuindo significativamente para a "crise de replicação". A premissa dominante é que a "taxa de erro real" (considerando todos os testes não relatados) é muito maior do que a taxa nominal relatada, invalidando a inferência estatística.

Rubin argumenta que essa visão depende inteiramente de uma filosofia específica de teste de hipóteses e que, sob uma filosofia alternativa, a premissa de inflação de erro não se sustenta.

2. Metodologia e Enquadramento Teórico

O artigo não utiliza dados empíricos ou simulações computacionais, mas sim uma análise filosófica e lógica comparando duas abordagens distintas de inferência estatística:

1. Abordagem Estatística de Erro (Error Statistical Approach): Associada a Deborah Mayo e Aris Spanos.

   • Foca na capacidade do procedimento de teste de detectar erros em um longo prazo de amostragem repetida.
   • Considera o "procedimento de teste real" (actual test procedure), incluindo a busca por resultados e a seleção de hipóteses baseada nos dados.
   • Exige que a probabilidade de observar um resultado significativo seja $\leq \alpha$ quando todas as hipóteses nulas são verdadeiras.
   • Defende que o p-hacking altera o "procedimento real", tornando a taxa de erro familiar (FWER) a métrica relevante, o que infla a taxa de erro real.

2. Abordagem de Inferência Formal (Formal Inference Approach): Associada a Rubin, Fisher, Neyman e Popper.

   • Foca na inferência baseada no que é formalmente relatado e publicamente especificado.
   • Trata os testes de significância como "experimentos de pensamento" condicionais a hipóteses nulas específicas e distribuições de amostragem hipotéticas.
   • Distingue entre o "contexto de descoberta" (como a hipótese foi gerada) e o "contexto de justificação" (a lógica do teste relatado).
   • Argumenta que as taxas de erro do Tipo I são probabilidades condicionais a um modelo estatístico específico e não são alteradas por processos psicológicos ou de seleção não relatados.

3. Contribuições Principais

A. A Distinção entre Taxas de Erro "Reais" e Nominais

A contribuição central é a tese de que o p-hacking infla as taxas de erro do Tipo I na Abordagem Estatística de Erro, mas não na Abordagem de Inferência Formal.

• Na Abordagem de Erro: O p-hacking é parte do procedimento. Se um pesquisador testa 20 hipóteses e relata apenas uma, o procedimento "real" envolve 20 testes. A taxa de erro familiar (FWER) é calculada para os 20 testes ($1 - (1-0,05)^{20} \approx 0,64$). Relatar apenas um com $p=0,05$ é enganoso porque a taxa de erro real é 0,64, não 0,05.
• Na Abordagem Formal: A inferência estatística é definida pelo que é relatado. Se o pesquisador relata uma inferência individual sobre a hipótese $H_{0,2}$, a taxa de erro relevante é a nominal de 0,05 para aquele teste específico. O fato de que $H_{0,1}$ foi testada e rejeitada (ou ignorada) é irrelevante para a validade lógica da inferência sobre $H_{0,2}$, pois são hipóteses distintas com distribuições de amostragem distintas. Comparar a taxa de erro familiar (que se aplica a uma inferência de união-interseção não relatada) com a taxa nominal de uma inferência individual é uma falácia de divisão (aplicar uma probabilidade de conjunto a um membro individual).

B. Reinterpretação do "Texas Sharpshooter Fallacy"

O autor reexamina a analogia do "Atirador de Texas" (atirar aleatoriamente e depois pintar um alvo ao redor dos buracos).

• Visão de Erro: O atirador não tem habilidade; o teste é inválido porque o alvo foi escolhido post hoc.
• Visão Formal: O cálculo da probabilidade de acertar o alvo pintado, dado que o atirador atirou aleatoriamente, é matematicamente válido como uma declaração hipotética sobre o acaso. O erro está na inferência substantiva (que o atirador é habilidoso), não na inferência estatística (que a probabilidade de acertar por acaso é baixa). O p-hacking invalida a conclusão substantiva, mas não a taxa de erro estatística nominal do teste relatado.

C. O Papel dos Resultados Nulos Não Relatados

O artigo discute que a não divulgação de resultados nulos não infla a taxa de erro do Tipo I na abordagem formal, mas pode enviesar inferências substantivas se os resultados nulos forem considerados "evidência de ausência" e forem teoricamente relevantes.

• A solução proposta não é necessariamente o registro prévio (preregistration) para corrigir erros estatísticos, mas sim o debate racional crítico entre pares para identificar quais resultados nulos são teoricamente relevantes e devem ser reportados.

4. Resultados e Argumentos Chave

1. Incomensurabilidade de Taxas de Erro: Taxas de erro do Tipo I para diferentes testes são incomensuráveis. A taxa de erro de um teste não pode ser "inflada" pela existência de outro teste não relatado, pois cada teste licencia uma decisão sobre uma hipótese nula específica baseada em seu próprio modelo estatístico.
2. Irrelevância do Procedimento "Real": Na inferência formal, o que importa é o procedimento hipotético formalmente especificado no relatório. Intenções, planos alterados ou testes não relatados pertencem ao contexto de descoberta e não alteram a lógica dedutiva da inferência relatada.
3. Falácia da Divisão: Argumentar que a taxa de erro familiar (probabilidade de encontrar pelo menos um resultado significativo em um conjunto) se aplica a um resultado individual selecionado é um erro lógico. A probabilidade de encontrar um resultado em 20 testes é alta, mas a probabilidade de um teste específico (o relatado) ser falso positivo permanece em 0,05 (assumindo que a hipótese nula individual é verdadeira).
4. Causa da Crise de Replicação: Rubin argumenta que a crise de replicação não é causada pela inflação de taxas de erro do Tipo I devido ao p-hacking (na visão formal), mas sim pela subestimação de erros interpretativos substantivos e "desconhecidos desconhecidos" (moderadores ocultos) que não são capturados pelos testes estatísticos.

5. Significado e Implicações

• Reavaliação do P-Hacking: O p-hacking deve ser visto como uma prática problemática para a integridade substantiva e a comunicação científica, mas não necessariamente como um mecanismo que "quebra" a matemática das taxas de erro do Tipo I em testes individuais relatados.
• Crítica ao Registro Prévio (Preregistration): A abordagem formal sugere que o registro prévio não é necessário para corrigir taxas de erro estatísticas (que já são válidas nominalmente), mas pode ser útil para garantir a transparência e o debate racional sobre a relevância teórica dos testes.
• Mudança Epistemológica: A solução para a crise de replicação não está em novas correções estatísticas ou auditorias de procedimentos, mas em uma mudança cultural que reconheça a falibilidade do conhecimento e a necessidade de discutir criticamente as premissas teóricas e os resultados nulos.
• Distinção entre Erro Estatístico e Substantivo: O artigo reforça a distinção crucial entre um erro estatístico (rejeitar uma nula verdadeira devido ao acaso) e um erro substantivo (interpretar mal um resultado verdadeiro devido a viés de seleção ou falhas teóricas). O p-hacking gera principalmente o segundo, não o primeiro, sob a ótica da inferência formal.

Em suma, Rubin desafia a narrativa predominante de que o p-hacking invalida estatisticamente os resultados publicados, propondo que a validade estatística depende da lógica formal do teste relatado, enquanto os danos reais ocorrem no nível da interpretação substantiva e da comunicação científica.