Predictive Power Analysis of Multiple Test Procedures Under Arbitrary Dependence

Título: Análise de Poder Preditivo de Procedimentos de Teste Múltiplo Sob Dependência Arbitrária

Autor: George Karabatsos (Universidade de Illinois em Chicago)
Data: Março de 2026

1. O Problema

A análise de poder estatístico em cenários de testes múltiplos (MTP - Multiple Testing Procedures) enfrenta desafios significativos quando os valores-p (e as estatísticas de teste subjacentes) são dependentes de forma arbitrária e desconhecida.

• Limitações dos Métodos Atuais: As abordagens tradicionais de análise de poder são condicionais. Elas assumem que os tamanhos de efeito e a matriz de correlação das estatísticas de teste são fixos e conhecidos. Isso é problemático porque:
  • Em muitos estudos aplicados, a matriz de correlação exata entre testes heterogêneos é difícil ou impossível de especificar.
  • Ignorar a incerteza sobre esses parâmetros leva a estimativas de poder e determinações de tamanho de amostra imprecisas.
  • Métodos existentes para otimizar pesos de valores-p (para aumentar o poder) geralmente assumem independência ou uma estrutura de correlação fixa, falhando em lidar com dependências arbitrárias sem modelagem explícita complexa.
• Necessidade: Há uma lacuna para um método de poder preditivo que integre a incerteza dos parâmetros (tamanhos de efeito e correlações) e seja compatível com procedimentos que controlam a Taxa de Erro Familiar (FWER) ou a Taxa de Descoberta Falsa (FDR) sob dependências arbitrárias.

2. Metodologia Proposta

O autor propõe um novo método de Análise Preditiva de Poder Baseada em Simulação para qualquer MTP que controle FWER ou FDR sob dependências arbitrárias. A metodologia baseia-se em uma distribuição conjunta a priori para os parâmetros das estatísticas de teste.

• Distribuição das Estatísticas de Teste: Assume-se que as $m$ estatísticas de teste sob a hipótese alternativa seguem uma distribuição $t$ não-central multivariada superior ($NT_m$), definida por:
  • Um vetor de localização ($\mu$): Razão entre tamanhos de efeito esperados e seus erros padrão.
  • Uma matriz de escala/correlação ($P$): Representa as dependências entre os testes.
  • Vetor de graus de liberdade ($\nu$).
• Distribuições A Priori (O Núcleo da Inovação):
  1. Para os Tamanhos de Efeito ($\mu$): Utiliza-se uma distribuição normal multivariada centrada em tamanhos de efeito estimados (ou julgamento de especialistas), permitindo a incorporação de conhecimento prévio ou dados históricos.
  2. Para a Matriz de Correlação ($P$): Utiliza-se uma distribuição uniforme (especificamente a distribuição LKJ com parâmetro $\eta=1$) sobre o espaço de todas as matrizes de correlação válidas. Isso é crucial, pois permite que o método "cubra" todas as possíveis estruturas de dependência, sem precisar assumir uma matriz fixa.
• Algoritmo de Simulação (Algoritmo 1):
  O método utiliza um processo de Monte Carlo para calcular o poder preditivo:
  1. Amostra-se $\mu^{(s)}$ da distribuição a priori dos efeitos.
  2. Amostra-se $P^{(s)}$ da distribuição uniforme sobre matrizes de correlação (usando o algoritmo de Pourahmadi & Wang, 2015).
  3. Gera-se estatísticas de teste $t^{(s)}$ da distribuição $NT_m(\mu^{(s)}, P^{(s)}, \nu)$.
  4. Calculam-se os valores-p correspondentes.
  5. Aplica-se o MTP escolhido (Bonferroni, Holm, Benjamini-Yekutieli ou DP-MTP) aos valores-p simulados.
  6. Repete-se por $S$ iterações para estimar o poder marginal, médio, disjuntivo e conjuntivo.
• MTPs Considerados: O método é aplicável a procedimentos clássicos (Bonferroni, Holm, BY) e ao DP-MTP (Dirichlet Process MTP), um método bayesiano não paramétrico que trata os limiares de significância como variáveis aleatórias, suportando todo o espaço de MTPs.

3. Principais Contribuições

1. Primeira Análise de Poder Preditiva para MTPs com Dependência Arbitrária: Este é o primeiro trabalho a fornecer uma avaliação de poder que não assume uma matriz de correlação fixa, mas sim integra a incerteza sobre ela através de uma distribuição a priori uniforme.
2. Compatibilidade Congênial: O método é "congénial" (compatível) com MTPs que controlam FWER/FDR sob dependências arbitrárias, pois o espaço de simulação reflete a mesma incerteza que o MTP tenta gerenciar.
3. Detecção de Viés e Otimização de Pesos:
   • O método gera pesos de valores-p otimizados para maximizar o poder do MTP.
   • Introduz uma métrica de Viés de Perseguição de Significância (Significance Chasing Bias) baseada na distância de Hellinger, comparando os valores-p observados com as probabilidades preditivas de descoberta. Isso ajuda a identificar resultados que podem ser fruto de p-hacking ou viés de publicação.
4. Implementação Computacional: O método é implementado no pacote R bnpMTP, tornando-o acessível para pesquisadores.

4. Resultados do Estudo de Caso

O método foi aplicado a um conjunto de dados clássico de 41 testes de hipóteses sobre os efeitos neuropsicológicos da exposição à chumbo na infância (Needleman et al., 1979).

• Configuração: 41 testes (11 testes Z e 30 testes t ANCOVA) com $\alpha = 0.05$.
• Comparação: O desempenho do DP-MTP foi comparado com Bonferroni (B-MTP), Holm (H-MTP) e Benjamini-Yekutieli (BY-MTP).
• Descobertas:
  • Poder: O DP-MTP obteve um poder médio de 0,25, ligeiramente superior ao Bonferroni (0,21) e Holm (0,22), e próximo ao BY-MTP (0,26). Todos tiveram poder disjuntivo de 1,00 (probabilidade de rejeitar pelo menos uma hipótese nula falsa) e poder conjuntivo de 0.
  • Viés: O DP-MTP demonstrou índices de viés de perseguição de significância (distância de Hellinger) geralmente mais baixos do que os outros métodos, sugerindo que a abordagem baseada em Dirichlet Process é mais robusta contra resultados espúrios.
  • Descobertas: O DP-MTP identificou descobertas (valores de PrSig > 0) onde outros métodos não o fizeram, fornecendo uma quantificação de incerteza mais rica sobre quais testes são verdadeiramente significativos.

5. Significância e Conclusão

Este trabalho representa um avanço metodológico significativo na estatística aplicada e na meta-análise.

• Praticidade: Permite que pesquisadores planejem estudos de replicação ou intermediários sem a necessidade de especificar matrizes de correlação complexas e frequentemente desconhecidas.
• Robustez: Ao integrar a incerteza dos parâmetros, o método evita a superestimação do poder (comum em análises condicionais otimistas) e oferece uma avaliação mais realista da sensibilidade dos testes múltiplos.
• Combate a Viés: A capacidade de calcular pesos e medir o viés de perseguição de significância oferece uma ferramenta poderosa para melhorar a integridade da pesquisa científica, especialmente em campos com alta taxa de testes múltiplos e dependências complexas.

Em resumo, o artigo propõe uma mudança de paradigma de uma análise de poder "condicional e fixa" para uma "preditiva e integrada", utilizando simulação bayesiana para lidar com a complexidade da dependência arbitrária em testes múltiplos.