Sensitivity Analysis for False Discovery Rate Estimation with Published p-Values

Título: Análise de Sensibilidade para a Estimativa da Taxa de Descoberta Falsa com Valores-p Publicados

1. O Problema

Existe um interesse crescente em estimar a Taxa de Descoberta Falsa (FDR - False Discovery Rate) utilizando apenas valores-p publicados na literatura científica. No entanto, a maioria dos métodos existentes assume um modelo de viés de publicação (ou seleção) específico e rígido, geralmente a regra "publicar apenas se $p < 0.05$".

O problema central abordado é que:

• O mecanismo real de seleção/publicação é frequentemente desconhecido e mais complexo do que uma simples regra de corte.
• A especificação incorreta do modelo de seleção (misspecification) pode levar a estimativas de FDR enviesadas (conservadoras ou liberais).
• Há uma lacuna na pesquisa formal sobre como a escolha do modelo de viés de publicação impacta o viés e a variância dos estimadores de FDR.

2. Metodologia

Os autores desenvolvem uma estrutura teórica para analisar o comportamento de um estimador de FDR estabelecido sob modelos de seleção arbitrários.

• Modelo de Mistura de Valores-p: Assumem um modelo onde os valores-p seguem uma distribuição de mistura: uniforme sob a hipótese nula ($H_0$) e uma distribuição alternativa (geralmente Beta) sob a hipótese alternativa ($H_1$).
• Modelo de Probabilidade de Seleção (SPM): Introduzem uma função $\mu(p)$ não crescente que define a probabilidade de um valor-p ser publicado/observado. Isso generaliza regras simples como "publicar se $p \le 0.05$" para funções contínuas ou degraus mais complexos.
• Estimador de FDR Pós-Seleção: Utilizam um estimador baseado em momentos (proposto por Hung e Fithian, 2020), que ajusta os valores-p publicados ($p'_i = p_i / \alpha$) e aplica um estimador de proporção de nulos ($\hat{\pi}_0$) com um parâmetro de ajuste $\lambda$.
• Derivação Analítica: O cerne da metodologia é a derivação de expressões de forma fechada (closed-form) para o viés e a variância assintótica do estimador de FDR sob qualquer SPM arbitrário.

3. Principais Contribuições

1. Expressões Gerais de Viés e Variância: O artigo fornece fórmulas matemáticas exatas para o viés e a variância do estimador de FDR quando o modelo de seleção utilizado no ajuste dos valores-p difere do modelo de seleção real que gerou os dados.
2. Análise de Sensibilidade: Demonstra que o viés pode ser positivo ou negativo e não necessariamente monotônico, dependendo de quão bem a regra de publicação assumida (ex: $p < 0.05$) aproxima o mecanismo real.
   • Exemplo: Se valores muito pequenos ($p \ll 0.05$) são muito mais propensos a serem publicados do que valores próximos a 0.05, o estimador pode subestimar significativamente a FDR (viés negativo).
3. Validação Empírica: As expressões teóricas foram validadas usando dados de um projeto de replicação em psicologia (Open Science Collaboration), onde se conhece tanto os valores-p originais quanto os de replicação, permitindo calcular uma "estimativa padrão-ouro" para comparação.
4. Ferramenta Prática para Políticas: Propõe que, em vez de confiar em uma única estimativa de FDR baseada em uma suposição de seleção, pesquisadores e formuladores de políticas devem relatar uma faixa de estimativas de FDR sob diferentes modelos de seleção plausíveis.

4. Resultados Chave

• Comportamento do Viés:
  • Quando o modelo de seleção é correto, o estimador mantém suas propriedades conhecidas (viés positivo que diminui com o aumento da potência do teste).
  • Quando o modelo é incorreto, o viés pode tornar-se negativo. Isso ocorre, por exemplo, se a probabilidade de publicação de valores $p < 0.025$ for muito maior do que a de valores entre $0.025$e$0.05$.
  • Em cenários onde a probabilidade a priori de hipóteses nulas ($\pi_0$) é alta e a potência estatística é baixa, a FDR pode ser subestimada substancialmente se o modelo de seleção assumir uma regra rígida de $p < 0.05$.
• Aplicação em Dados Reais:
  • Estudo de Replicação (Johnson et al., 2017): As expressões de viés corrigiram as discrepâncias entre o estimador baseado apenas em valores-p publicados e a estimativa baseada em replicação, demonstrando a precisão das fórmulas teóricas.
  • Meta-análise Médica (Jager and Leek, 2014): Ao aplicar a análise de sensibilidade a valores-p de resumos médicos, os autores mostraram que a estimativa de FDR ajustada varia significativamente dependendo do parâmetro $\rho$ (que controla a probabilidade relativa de publicação de valores $p$ entre $0.025$e$0.05$).
    • Sob a regra padrão ($p < 0.05$), a FDR ajustada foi $\approx 0.19$.
    • Sob um modelo onde valores menores são 2.5 vezes mais prováveis de serem publicados, a FDR ajustada subiu para $\approx 0.30$.

5. Significado e Implicações

Este trabalho é fundamental para a ciência da reprodutibilidade e a inferência seletiva.

• Diagnóstico de Ecossistema Científico: Permite que pesquisadores avaliem a saúde do ecossistema de publicações sem precisar de dados de replicação (que são caros e raros), utilizando apenas os valores-p disponíveis.
• Tomada de Decisão Informada: Fornece uma ferramenta para formuladores de políticas e revisores entenderem que uma única estimativa de FDR é insuficiente. A incerteza sobre o mecanismo de seleção deve ser comunicada através de intervalos de sensibilidade.
• Robustez: Demonstra que métodos de FDR baseados apenas em valores-p selecionados podem ser robustos se acompanhados de uma análise de sensibilidade adequada, mas podem ser altamente enganosos se as suposições de seleção forem ignoradas.

Em resumo, o artigo transforma a estimativa de FDR de um exercício de "ponto único" baseado em suposições arbitrárias para uma análise de sensibilidade estruturada, quantificando explicitamente o risco de viés devido ao desconhecimento do mecanismo de publicação.