Directional replicability: when can the factor of two be omitted

Resumo Técnico: Replicabilidade Direcional: Quando o Fator de Dois Pode Ser Omitido

Enunciado do Problema
O artigo aborda o desafio estatístico de avaliar a replicabilidade direcional através de $n$ estudos independentes. Diferente da replicabilidade padrão, que meramente exige que um efeito esteja presente em pelo menos $r$ estudos, independentemente do sinal, a replicabilidade direcional exige que pelo menos $r$ estudos exibam efeitos do mesmo sinal (todos positivos ou todos negativos).

Formalmente, seja $\theta = (\theta_1, \dots, \theta_n)$ o vetor dos tamanhos de efeito verdadeiros. Os autores definem $n_+$ como a contagem de efeitos positivos e $n_-$ como a contagem de efeitos negativos. O objetivo é testar a hipótese nula $H_{r/n}: n_+ < r \land n_- < r$. Rejeitar esta hipótese permite concluir que existem pelo menos $r$ efeitos do mesmo sinal ($n_+ \ge r \lor n_- \ge r$).

A abordagem padrão, seguindo Owen (2009), trata $H_{r/n}$ como a interseção de duas hipóteses unilaterais: $H^+_{r/n}: n_+ < r$ e $H^-_{r/n}: n_- < r$. Para controlar a taxa de erro de família (family-wise error rate), o procedimento padrão combina os valores-$p$ para estes dois testes unilaterais e multiplica o mínimo por 2 (ou seja, $p_{r/n} = 2 \min\{p^+_{r/n}, p^-_{r/n}\}$) para contabilizar o teste múltiplo de direções. A questão central deste trabalho é se este fator de correção multiplicativo de 2 é sempre necessário.

Metodologia
Os autores assumem estimadores normais independentes $T_i \sim N(\theta_i, 1)$ para os tamanhos de efeito. Eles utilizam o método de conjunção parcial de Bonferroni para construir valores-$p$ para as hipóteses unilaterais.

• Para a direção positiva ($H^+_{r/n}$), o valor-$p$ é $p^+_{r/n} = (n-r+1)p_{(r)}$, onde $p_{(r)}$ é o $r$-ésimo menor valor-$p$ dos estudos individuais.
• Para a direção negativa ($H^-_{r/n}$), o valor-$p$ é $p^-_{r/n} = (n-r+1)q_{(r)}$, onde $q_{(r)}$ corresponde ao $r$-ésimo menor valor-$p$ para a direção negativa.

O artigo investiga a validade do estatístico não corrigido $p_{r/n} = \min\{p^+_{r/n}, p^-_{r/n}\}$ como um valor-$p$ válido para a hipótese de interseção $H_{r/n}$ sob condições específicas.

Contribuições Principais e Resultados

1. Condição Suficiente para Omitir o Fator de Dois (Teorema 1):
   A principal contribuição teórica é o Teorema 1, que estabelece que o fator de 2 é desnecessário quando $r$ é suficientemente grande em relação a $n$. Especificamente, se $(n+1)/2 < r \le n$, então $p_{r/n} = \min\{p^+_{r/n}, p^-_{r/n}\}$ é um valor-$p$ válido para $H_{r/n}$ ao nível de significância $\alpha$.

   • Mecanismo: A prova demonstra que, sob a condição $r > (n+1)/2$, os eventos que levam a erros do Tipo I para as direções positiva e negativa são disjuntos. Consequentemente, a probabilidade de rejeitar a hipótese nula sob a configuração de parâmetros de pior caso não excede $\alpha$ sem a correção de duplicação.

2. Necessidade de Correção para $r$ Pequeno (Seção 3):
   Os autores fornecem um contraexemplo mostrando que, para valores menores de $r$ (especificamente $2 \le r \le (n+1)/2$), o estatístico não corrigido pode levar a taxas de Erro do Tipo I superiores a $\alpha$.

   • Neste regime, é possível ter uma configuração de parâmetros "discordante" onde existem $r-1$ efeitos positivos fortes e $r-1$ efeitos negativos fortes simultaneamente. Nesses casos, os eventos que levam à rejeição em ambas as direções não são disjuntos, e a probabilidade de Erro do Tipo I excede o nível nominal se o fator de 2 for omitido.
   • Simulações numéricas (Figura 1) ilustram que, para $n=20$ e $\alpha=0,1$, o Erro do Tipo I excede $\alpha$ para $r \in \{2, \dots, 7\}$, mas permanece controlado para $r \in \{8, 9, 10\}$, embora a condição estrita $r > (n+1)/2$ (ou seja, $r > 10,5$) não seja atendida. Isso sugere que a condição no Teorema 1 é suficiente, mas não necessária.

3. Seleção de $r$ Adaptativa aos Dados:
   O artigo descreve um procedimento de teste sequencial para situações em que $r$ não é pré-especificado. Ao testar hipóteses aninhadas $H_{k/n}, H_{(k+1)/n}, \dots, H_{n/n}$ começando de $k = \lceil(n+2)/2\rceil$, pode-se derivar um limite inferior de confiança $(1-\alpha)$ para o número máximo de efeitos do mesmo sinal.

4. Extensão para Outras Funções de Combinação:
   Os autores observam que, embora a prova dependa do método de Bonferroni, o resultado provavelmente se estende a outras funções de combinação que assumem independência, como a correção de Šidák, o método de Simes e a função de combinação de Fisher, embora isso requeira verificação futura.

Significância e Alegações
O artigo afirma refinar a metodologia de ponta para análise de replicabilidade direcional. Ao identificar a condição $(n+1)/2 < r \le n$, os autores demonstram que os pesquisadores podem omitir com segurança a conservadora "correção do fator de dois" em cenários onde o número exigido de efeitos replicantes ($r$) constitui uma maioria dos estudos totais ($n$). Esta omissão aumenta o poder estatístico sem inflar as taxas de Erro do Tipo I.

O trabalho também aborda o problema do Erro do Tipo III (inferir o sinal errado). Os autores afirmam que o procedimento no Teorema 1 controla o Erro do Tipo III, permitindo inferência post-hoc válida do sinal dos efeitos replicados (positivo se $p^+_{r/n} < p^-_{r/n}$, negativo caso contrário).

Finalmente, o artigo reconhece que, embora foque em uma única hipótese, muitas aplicações envolvem múltiplas características. Sugere-se que a lógica proposta possa ser integrada com abordagens de filtragem existentes (ex: Wang et al., 2022), mas deixa a questão de se o fator de 2 pode ser removido no contexto de testes múltiplos entre características como um problema aberto para pesquisas futuras.