The Difference Between "Replicable" and "Not replicable" is not Itself Scientifically Replicable

1. Declaração do Problema

O artigo aborda uma falha fundamental nas práticas metacientíficas atuais em relação às taxas de replicabilidade. A comunidade científica agrega rotineiramente veredictos binários (replicado vs. não replicado) de múltiplos estudos para estimar uma taxa média de replicabilidade ($\mu$) para um campo ou um resultado específico. Essa taxa é então utilizada para demarcar resultados "confiáveis" de "suspeitos" ou para declarar uma "crise de replicação".

Os autores argumentam que essa prática é estatisticamente insustentável porque:

1. Não-exatidão: Replicações do mundo real raramente são "exatas" (estatisticamente equivalentes à referência). Elas diferem em grupos de sujeitos, procedimentos e contextos, introduzindo heterogeneidade.
2. Limitação da Estrutura de Dados: Estudos de replicação padrão relatam apenas um veredito binário por experimento. Essa estrutura de dados carece da informação necessária para distinguir entre ruído de amostragem e heterogeneidade entre experimentos.
3. A Alegação Central: A diferença entre um resultado "replicável" (alta $\mu$) e um resultado "não replicável" (baixa $\mu$) não pode ser distinguida de forma confiável usando métodos atuais, mesmo com grandes números de replicações. A maquinaria estatística usada para produzir esses veredictos perde seu poder discriminatório sob condições realistas de não-exatidão.

2. Metodologia

Os autores formalizam o problema usando dois modelos estatísticos distintos para capturar as fontes ontológicas da não-exatidão:

A. O Modelo de Referência (Taxa Latente Compartilhada)

• Suposição: Todas as $m$ replicações são intercambiáveis e dependem de uma única taxa latente de replicabilidade $\phi$, que é extraída de uma distribuição populacional com média $\mu$ e correlação intraclasse $\rho$.
• Mecanismo: O número total de sucessos segue uma distribuição Beta-Binomial.
• Insight Chave: Mesmo que $\rho$ (o grau de heterogeneidade) seja conhecido, a variância da média estimada $\hat{\mu}$ possui um piso de variância irredutível à medida que $m \to \infty$:
  $$\lim_{m \to \infty} V(\hat{\mu}) = \mu(1-\mu)\rho$$
  Isso significa que adicionar mais replicações não pode eliminar a incerteza se $\rho > 0$. Regimes de alta e baixa replicabilidade terão intervalos de confiança sobrepostos, tornando-os indistinguíveis.

B. O Modelo Operacional (Taxas Condicionalmente Independentes)

• Suposição: Este modelo reflete a prática atual, onde cada um dos $m$ experimentos é único (não exato) e possui sua própria taxa de replicabilidade $\phi_i$, extraída independentemente de uma distribuição populacional.
• Estrutura de Dados: Cada experimento $i$ contribui exatamente com um veredito binário ($k_i = 1$).
• Insight Chave: Quando $k_i = 1$, o parâmetro $\rho$ (heterogeneidade) torna-se não identificável a partir dos dados. A distribuição conjunta dos resultados binários colapsa para uma simples distribuição Binomial $Bin(m, \mu)$, independentemente do valor verdadeiro de $\rho$.
• Consequência: Os pesquisadores não podem dizer se estão operando em um regime de baixa heterogeneidade (onde mais replicações ajudam) ou em um regime de alta heterogeneidade (onde não ajudam). A estrutura de dados subestima sistematicamente a incerteza.

C. Exemplos Numéricos e Reanálise

Os autores validam sua teoria através de:

1. Modelos Gerativos: Simulando heterogeneidade decorrente de (a) heterogeneidade de amostra (diferentes populações de sujeitos) e (b) heterogeneidade de estímulo/dosagem (erros de entrega e viés). Eles mostram como essas fontes físicas mapeiam para valores altos de $\rho$.
2. Estudo de Caso (Many Labs 4): Uma reanálise do projeto de replicação da "Teoria do Gerenciamento do Terror".
   • Eles usaram um modelo auxiliar de efeitos aleatórios Normal em tamanhos de efeito contínuos (Hedges' $g$) para estimar o $\rho$ implícito.
   • Eles mapearam essas estimativas para o Modelo de Referência para demonstrar que os intervalos de variância resultantes são tão amplos que a classificação binária é impossível.

3. Contribuições Principais

• Formalização da Não-Identificabilidade: O artigo prova que, sob o desenho padrão de "um veredito binário por experimento", o grau de não-exatidão ($\rho$) é matematicamente não identificável. Consequentemente, a precisão da taxa média de replicabilidade não pode ser avaliada.
• O Piso de Variância Irredutível: Estabelece que a heterogeneidade cria um limite rígido na precisão. Diferentemente do erro de amostragem, que diminui com $N$, a variância induzida pela heterogeneidade permanece constante, independentemente do número de replicações.
• O "Paradoxo da Replicação": Os autores demonstram que aumentar o número de replicações em um cenário heterogêneo pode levar a uma falsa sensação de precisão (se $\rho$ for ignorado) ou simplesmente falhar em distinguir alta/baixa replicabilidade (se $\rho$ for reconhecido).
• Crítica à Agregação: Eles argumentam que agregar taxas de replicabilidade através de literaturas diversas (por exemplo, "Psicologia como um todo") produz uma média sem sentido que confunde regimes experimentais incomensuráveis.

4. Resultados Principais

• Perda de Discriminabilidade: Sob heterogeneidade realista (por exemplo, $\rho = 0,15$), os Intervalos de Densidade Mais Alta (HDI) de 95% para uma taxa de replicabilidade "alta" (por exemplo, $\mu=0,80$) e uma taxa "baixa" (por exemplo, $\mu=0,20$) sobrepõem-se significativamente, mesmo com $m=50$ replicações.
• Tamanho Amostral Efetivo: O número efetivo de replicações independentes ($m_e$) cai drasticamente à medida que $\rho$ aumenta. Por exemplo, no Projeto de Reprodutibilidade: Psicologia ($m=100$), se $\rho=0,20$, o peso inferencial é equivalente a apenas 5 replicações exatas.
• Análise Many Labs 4:
  • O $\rho$ estimado para a sequência ML4 foi alto (média posterior $\approx 0,37$ a $0,59$).
  • Neste nível de heterogeneidade, o HDI de 95% para a taxa de replicabilidade estimada abrange quase todo o intervalo [0, 1].
  • Os dados não conseguem distinguir se o efeito subjacente é verdadeiramente replicável ou não; a sequência é "não diagnóstica".
• Viés e Ruído: Viés sistemático (por exemplo, subentrega de estímulos) desloca a média $\mu$, enquanto o ruído infla $\rho$. Ambos distorcem a taxa de replicabilidade aparente e minam a capacidade de emitir veredictos binários.

5. Significado e Implicações

• Refutação da Narrativa da "Crise": Os autores argumentam que a "crise de replicação" não pode ser estabelecida pelos métodos atuais. Uma taxa de replicabilidade baixa (por exemplo, 36%) é estatisticamente indistinguível de uma literatura saudável cheia de estudos pequenos e ruidosos, porque a taxa base de efeitos verdadeiros e o grau de heterogeneidade são desconhecidos.
• Falha de Demarcação: A distinção binária entre "replicável" e "não replicável" não é uma propriedade cientificamente replicável de um resultado sob as metodologias atuais.
• Recomendações para a Prática:
  • Pare Veredictos Binários: Os pesquisadores devem evitar reduzir os resultados de replicação a contagens simples de "sucesso/fracasso" para fins de demarcação.
  • Estruturas de Dados Mais Ricas: Para recuperar informações sobre heterogeneidade, os estudos precisam de resultados contínuos, múltiplas medições por experimento ($k > 1$) ou desenhos hierárquicos.
  • Mudança de Foco: A replicação deve ser usada para estimar magnitudes de efeito, caracterizar variabilidade e calibrar procedimentos, em vez de atuar como um "tribunal" para julgar a verdade de resultados individuais.
• Avanço Teórico: O artigo sugere que resolver questões de replicabilidade requer previsões teóricas mais fortes (para definir a âncora) ou a identificação de "experimentos mínimos viáveis" para eliminar ruído auxiliar, em vez de apenas padronizar protocolos em torno de estudos de referência arbitrários.

Em conclusão, o artigo fornece uma prova estatística rigorosa de que o paradigma atual de agregar veredictos binários de replicação é fundamentalmente incapaz de distinguir entre alta e baixa replicabilidade na presença da heterogeneidade inevitável encontrada na prática científica.