Critical Values Robust to P-hacking

Resumo Técnico: Valores Críticos Robustos à P-hacking

Problema
O p-hacking — a prática de engajar-se em comportamentos para aumentar a probabilidade de relatar resultados estatisticamente significativos — é prevalente na pesquisa científica, mas está ausente da teoria clássica de testes de hipóteses. Consequentemente, sob valores críticos clássicos, hipóteses nulas verdadeiras são rejeitadas com mais frequência do que o nível de significância nominal ($\alpha$) sugere. Isso ocorre porque os cientistas enfrentam fortes incentivos (publicação, progressão na carreira) para buscar a significância e possuem flexibilidade suficiente na coleta e análise de dados para fazê-lo sem violar normas. Correções clássicas para testes múltiplos (ex: Bonferroni) falham em resolver este problema porque tratam o número de experimentos como fixo. Na realidade, os cientistas ajustam seu comportamento em resposta a novos padrões; se uma correção torna a significância mais difícil de alcançar, os cientistas simplesmente realizarão mais experimentos até encontrar um resultado significativo, sobrecarregando assim a correção.

Metodologia
Os autores desenvolvem um modelo estrutural de teste de hipóteses que incorpora explicitamente o comportamento de p-hacking usando a teoria de parada ótima.

1. O Ambiente do Cientista: Um cientista testa uma hipótese nula ($H_0$) contra uma alternativa ($H_1$). O cientista recebe um alto ganho ($v_s$) por um resultado significativo e um ganho menor ($v_i$) por um resultado insignificante.
2. Restrições de Recursos: Realizar experimentos consome recursos finitos (tempo, dinheiro, estamina). O limite total de recursos $L$ segue uma distribuição exponencial. O custo de cada experimento é aleatório. O cientista para quando os recursos se esgotam (índice $K$) ou quando um resultado significativo é encontrado.
3. Estratégia de P-hacking: O cientista realiza experimentos sequencialmente ($n=1, 2, \dots$). Se um resultado é insignificante e os recursos permanecem, o cientista continua para o próximo experimento. Se um resultado é significativo, o cientista para e o relata. Se os recursos se esgotarem antes de atingir a significância, o cientista relata a melhor (máxima) estatística obtida até o momento, que é necessariamente insignificante.
4. Probabilidade de Conclusão ($\gamma$): O modelo define $\gamma$ como a probabilidade de o primeiro experimento ser concluído antes que os recursos se esgotem. Este parâmetro captura a facilidade de conduzir pesquisas e a prevalência de restrições de recursos.
5. Derivação de Valores Críticos Robustos:
   • Os autores derivam o número esperado de experimentos $E(N(z))$ realizados por um cientista sob um valor crítico $z$ quando $H_0$ é verdadeira.
   • Eles calculam a probabilidade real de um Erro do Tipo I ($S^*(z)$), que é a probabilidade de a estatística reportada exceder $z$. Mostra-se que $S^*(z) = S(z) \times E(N(z))$, onde $S(z)$ é a função de sobrevivência clássica.
   • O valor crítico robusto ($z^*$) é definido como o valor que satisfaz $S^*(z^*) = \alpha$. Isso garante que, mesmo quando os cientistas ajustam de forma ótima seu comportamento de p-hacking ao novo padrão, a frequência de falsas rejeições permaneça no nível de significância desejado $\alpha$.

Principais Contribuições e Resultados

• Comportamento de Parada Ótima: O modelo demonstra que a estratégia ótima para um cientista é continuar experimentando até que um resultado significativo seja encontrado ou os recursos sejam esgotados. Isso leva a uma distribuição geométrica do tempo de parada.
• A Fórmula do Valor Crítico Robusto: O artigo deriva uma correção de Bonferroni não padrão. O valor crítico robusto $z^*$ para um nível de significância $\alpha$ é equivalente ao valor crítico clássico para um nível de significância reduzido $\alpha^*$, onde:
  $$\alpha^* = \frac{\alpha}{E(N(z^*))}$$
  Crucialmente, $E(N(z^*))$ é o número esperado de experimentos sob o valor crítico robusto, não o clássico. Os autores mostram que $z^*$ é definido implicitamente por:
  $$z^* = Z\left( \alpha \cdot \frac{1 - \gamma}{1 - \alpha\gamma} \right)$$
  onde $Z$ é a função inversa de sobrevivência da estatística de teste.
• Resposta Comportamental: Ao contrário de correções anteriores, esta abordagem considera a resposta comportamental: conforme o valor crítico se torna mais rigoroso, os cientistas praticam mais p-hacking (aumentam $E(N)$). O valor crítico robusto é sempre maior que o valor crítico clássico para compensar esse aumento na experimentação.
• Generalização: O valor crítico robusto derivado sob a suposição de experimentos independentes permanece válido para uma ampla gama de outras estratégias de p-hacking (ex: agrupamento de dados, remoção de outliers, busca de especificações) desde que essas estratégias induzam dependência positiva entre as estatísticas de teste.

Ilustração Numérica e Calibração
Os autores calam o modelo usando dados das ciências médicas (Dwan et al., 2008) relativos ao ciclo de vida dos estudos.

• Calibração: Eles estimam a probabilidade de conclusão $\gamma$ analisando a fração de estudos aprovados que nunca foram iniciados ou foram interrompidos precocemente. A probabilidade de conclusão estimada é $\gamma = 80\%$.
• Regra de Bolso: Com $\gamma = 0,8$, o nível de significância efetivo necessário para manter uma taxa de Erro do Tipo I de 5% é aproximadamente $\alpha/5$.
  • Para um teste z unilateral com $\alpha=5\%$, o valor crítico robusto é 2,33 (vs. o clássico 1,64).
  • Para um teste z bilateral com $\alpha=5\%$, o valor crítico robusto é 2,58 (vs. o clássico 1,96).
• Sensibilidade: Os valores críticos robustos são relativamente insensíveis a variações em $\gamma$. Mesmo se $\gamma$ variar entre 70% e 90%, os valores críticos para um teste bilateral permanecem entre 2,42 e 2,79.

Significância e Alegações
O artigo afirma fornecer uma base teórica para ajustar os padrões de significância para considerar a realidade do p-hacking.

• Restaurando a Credibilidade: Ao usar valores críticos robustos, a comunidade científica pode garantir que a taxa de falsos positivos (Erros do Tipo I) não exceda o nível de significância anunciado, mesmo na presença de p-hacking ótimo.
• Comparação com Alternativas: Os autores contrastam sua abordagem com o registro de planos de pré-análise. Embora o registro previna certas formas de p-hacking, ele pode sufocar a análise exploratória de dados. Valores críticos robustos permitem a exploração enquanto mantêm a validade estatística. Além disso, o registro não impede que cientistas repitam experimentos até encontrar um resultado significativo; os valores críticos robustos abordam essa limitação específica.
• Vínculo Teórico com Propostas: A análise fornece um embasamento teórico para propostas de redução dos níveis de significância (ex: de 5% para 0,5%, como sugerido por Benjamin et al., 2018). O artigo mostra que a magnitude da redução necessária depende da probabilidade de conclusão (disponibilidade de recursos) do campo. Uma redução de 10 vezes corresponde a uma probabilidade de conclusão de 90%, enquanto uma redução de 5 vezes corresponde a 80%.

O artigo conclui que valores críticos robustos são uma ferramenta necessária para manter a informatividade dos testes de hipóteses em um ambiente onde os cientistas têm incentivos e oportunidades para buscar a significância.