The Rise of Null Hypothesis Significance Testing (NHST): Institutional Massification and the Emergence of a Procedural Epistemology

1. O Problema de Pesquisa

O artigo aborda um paradoxo central na ciência aplicada contemporânea: a persistência e o domínio do Teste de Significância de Hipótese Nula (NHST) como método estatístico padrão, apesar de mais de 60 anos de críticas contundentes, reformas estatísticas e um vasto corpo de literatura documentando suas falhas técnicas e concepções errôneas generalizadas (como a confusão entre significância estatística e importância prática, e a interpretação incorreta de valores-p).

A questão central é: Por que o NHST continua a dominar a adjudicação de reivindicações científicas e a formação de pesquisadores, mesmo sendo tecnicamente problemático e amplamente criticado por estatísticos? O autor argumenta que a explicação não reside apenas em falhas cognitivas individuais ou na falta de educação estatística, mas em condições históricas e institucionais específicas.

2. Metodologia e Enquadramento Teórico

O estudo adota uma abordagem histórica e sociológica, utilizando a Teoria Ator-Rede (TAR/ANT) de Bruno Latour e Michel Callon como ponto de entrada analítico.

• Conceitos Chave:
  • Caixa Preta (Black Box): O processo de como o NHST se tornou uma "caixa preta" onde os detalhes técnicos complexos e as premissas são ocultados, permitindo que o resultado (significativo/não significativo) circule sem necessidade de reavaliação constante.
  • Tradução: Como as ideias originais de Fisher e Neyman-Pearson foram simplificadas, misturadas e adaptadas ao serem disseminadas através de redes científicas em expansão.
  • Pontos de Passagem Obrigatória (Obligatory Passage Points): O NHST tornou-se o mecanismo necessário para validar conhecimento em diversos campos.
• Análise Histórica: O artigo traça a genealogia do NHST, desde suas origens teóricas distintas (Fisher vs. Neyman-Pearson) até sua fusão híbrida e institucionalização durante o período de pós-guerra nos EUA.
• Contexto Estrutural: A análise situa o desenvolvimento do método dentro do contexto da massificação institucional do ensino superior e da pesquisa científica americana após a Segunda Guerra Mundial (impulsionada pelo GI Bill, NDEA e financiamento federal massivo).

3. Contribuições Principais e Argumentos Teóricos

A. A Origem Híbrida e a "Casamento Forçado"

O NHST não é uma teoria coerente, mas um híbrido instável resultante da fusão de dois frameworks teoricamente incompatíveis:

1. Abordagem de Fisher (Inferência Indutiva): Focada na evidência contra a hipótese nula ($H_0$) baseada em um valor-p. Fisher via o valor-p como uma medida contínua de evidência e rejeitava thresholds fixos, enfatizando o julgamento científico contextual.
2. Abordagem de Neyman-Pearson (Decisão Teórica): Focada em regras de decisão de longo prazo para controlar taxas de erro (Tipo I e Tipo II). Exigia hipóteses alternativas especificadas ($H_1$) e não atribuía valor evidencial a um único teste, mas sim à performance do método ao longo do tempo.

O NHST resultante é uma "mistura" que retém o valor-p de Fisher (mas o transforma em um threshold binário rígido de 0,05) e a estrutura de decisão de Neyman-Pearson (rejeitar ou aceitar), mas descarta os requisitos rigorosos de especificação de $H_1$ e o contexto de erro de longo prazo.

B. A Massificação Institucional como Motor de Adoção

O argumento central do artigo é que o sucesso do NHST deve-se à sua capacidade de resolver o problema da massificação institucional da ciência no pós-guerra.

• Expansão Rápida: O aumento explosivo no número de estudantes, pesquisadores e projetos de pesquisa (impulsionado por fundos governamentais) criou uma escassez crítica de estatísticos qualificados.
• Escalabilidade: O treinamento estatístico tradicional (baseado em julgamento profundo, compreensão de processos de geração de dados e premissas de modelagem) não era escalável.
• Solução Tecnológica Social: O NHST emergiu como uma "tecnologia social" que permitia a autossuficiência procedimental. Ao remover o contexto e substituir o julgamento epistêmico por regras mecânicas (se $p \le 0,05$, rejeitar $H_0$), o método permitiu que:
  • Instrutores não especialistas ensinassem estatística.
  • Pesquisadores de diversas áreas aplicassem testes sem compreender profundamente as premissas.
  • Editores e financiadores auditassem e validassem pesquisas de forma rápida e padronizada.

C. A Emergência de uma "Epistemologia Procedural"

O artigo introduz o conceito de epistemologia procedural, onde a confiança nas reivindicações científicas não deriva da compreensão substantiva do fenômeno ou da validade das premissas, mas da conformidade com um procedimento padronizado. O NHST atua como uma tecnologia de confiança que permite a coordenação em larga escala em sistemas com objetivos heterogêneos e expertise desigual.

4. Resultados e Dinâmicas Identificadas

• O NHST como "Black Box": O processo de ensino e aplicação do NHST envolveu a omissão sistemática de premissas de modelagem (como aleatoriedade, independência e distribuição dos dados). Isso transformou a inferência estatística em uma receita de cozinha ("cookbook"), onde o usuário executa passos mecânicos sem entender a ponte entre a amostra e a população.
• Função Institucional vs. Técnica: O NHST não resolveu o problema técnico da inferência estatística (na verdade, introduziu novas distorções); ele resolveu o problema social de como gerenciar a produção e validação massiva de conhecimento científico com recursos limitados de expertise.
• Estabilização: As "falhas técnicas" do NHST (como a dicotomização arbitrária e a perda de contexto) tornaram-se recursos funcionais para a massificação. Elas reduziram os custos de coordenação e negociação epistêmica, tornando o método "portátil" e resistente a críticas técnicas.
• Ciclo de Retroalimentação: A massificação institucional legitimou o NHST, e o NHST, por sua vez, permitiu a continuação da massificação, criando um sistema onde a reforma técnica isolada é insuficiente.

5. Significado e Implicações

• Reenquadramento do Debate: O artigo desloca o foco das críticas ao NHST de "erros cognitivos" ou "má educação" para uma análise estrutural das incentivos institucionais. Isso explica por que as reformas técnicas (como mudar o valor-p ou ensinar mais estatística) falham em desmantelar o domínio do método.
• Implicações para Reformas: A conclusão sugere que a reforma estatística não pode ser apenas técnica. Requer uma estratégia social que conscientize a comunidade científica sobre a função institucional do NHST e os custos de sua "autossuficiência procedimental".
• Risco de Repetição Histórica: O autor alerta que métodos alternativos, como a estatística Bayesiana, correm o risco de sofrer o mesmo processo de "caixa preta" e automatização (ex.: o uso do Fator Bayes como um novo threshold binário) se forem adotados em contextos de massificação institucional sem as devidas adaptações epistêmicas.
• Visão Sociológica: O estudo demonstra que a estabilidade de métodos científicos é frequentemente determinada por sua adequação às necessidades de escala e governança institucional, e não apenas por sua correção lógica ou matemática.

Em suma, o NHST domina não porque é o melhor método estatístico, mas porque é a tecnologia de escalabilidade mais eficiente para a ciência de massa do pós-guerra, permitindo a produção e validação de conhecimento em um sistema com expertise distribuída e desigual.