E-Values For Multiplicity Control In Multiverse Analysis

Resumo Técnico: Valores-e para Controle de Multiplicidade em Análise de Multiverso

Definição do Problema
A análise de multiverso é uma estrutura exploratória utilizada para avaliar a associação entre múltiplas definições de tratamento, múltiplas definições de desfecho e, potencialmente, múltiplas subpopulações. Embora valiosa para detectar heterogeneidade e sensibilidade entre especificações, o artigo aborda a questão crítica do uso da análise de multiverso para inferência estatística formal. Quando os pesquisadores vão além da avaliação descritiva para o teste de hipóteses, eles enfrentam um problema massivo de múltiplas comparações. Abordagens padrão, como agregar resultados em uma única medida de resumo (ex: Análise de Curva de Especificação), podem ser enganosas quando os efeitos do tratamento são heterogêneos ou quando se combinam associações marginais e condicionais. Por outro lado, testar cada especificação individualmente sem correção leva a taxas infladas de falsos positivos. O artigo busca um método para controlar a Taxa de Descoberta Falsa (FDR) neste cenário que permaneça válido independentemente da estrutura de dependência entre os testes e que considere covariáveis de confusão, sem exigir a estimação de parâmetros de incerteza (nuisance parameters) frequentemente necessários por métodos de Bayes empírico ou valores-q.

Metodologia
Os autores propõem uma estrutura baseada em valores-e dentro de um cenário de Modelo Linear Generalizado (GLM).

1. Estrutura Estatística: A análise modela $L$ desfechos e $p_x$ tratamentos através de $p_z$ covariáveis de controle e $p_g$ subpopulações. O modelo estima Efeitos Médios de Tratamento (ATEs) para cada par tratamento-desfecho, permitindo efeitos específicos por subpopulação via termos de interação. Os autores incluem explicitamente todas as covariáveis de controle no modelo para garantir o controle estrito do erro do Tipo I, contrastando com métodos que fazem a média sobre subconjuntos de covariáveis.
2. Construção de Valores-e: O artigo avalia três estratégias para gerar valores-e para testar a hipótese nula de que um tratamento específico possui efeito zero:
   • Valores-e de Mistura Universal: Baseados em inferência universal, utilizando uma abordagem de verossimilhança dividida (split-likelihood) ou uma abordagem híbrida frequentista-bayesiana com a priori de informação unitária de Zellner para evitar a divisão arbitrária de dados.
   • Valores-e de Soft-rank: Derivados de testes de permutação, onde a estatística de teste é a razão de verossimilhança. Estes são robustos à especificação incorreta do modelo (ex: efeitos não lineares de covariáveis), mas computacionalmente intensivos.
   • Calibração P-para-E: Conversão de p-valores padrão (de testes de razão de verossimilhança) em valores-e usando calibradores específicos, detalhadamente um calibrador de mistura ($E_{c1}$) e um calibrador de raiz inversa ($E_{c2}$).
3. Controle de Multiplicidade: Os autores aplicam o procedimento e-BH (e suas variantes fechadas e refinadas) ao conjunto de $L \times p_x$ valores-e. Este procedimento garante o controle da FDR no nível $\alpha$, independentemente da estrutura de dependência entre os testes.

Contribuições Principais e Resultados de Simulação
O artigo contribui com uma análise comparativa dessas estratégias de valores-e através de estudos de simulação em configurações de regressão linear e logística, mimetizando as dimensões das análises de multiverso das ciências sociais.

• Controle do Erro do Tipo I: Todas as estratégias de valores-e propostas controlaram com sucesso a taxa de erro do Tipo I abaixo dos níveis de significância especificados ($\alpha = 0.01, 0.05$), comportando-se frequentemente de forma conservadora.
• Poder Estatístico: As simulações revelaram diferenças significativas no poder.
  • Calibração P-para-E ($E_{c1}$ e $E_{c2}$): Estes métodos superaram significativamente os valores-e de mistura universal e de soft-rank, particularmente para amostras e efeitos de tamanho moderados. O calibrador de mistura ($E_{c1}$) foi considerado o mais poderoso, acumulando evidências mais fortes contra a nulidade para hipóteses verdadeiramente alternativas.
  • Mistura Universal ($E_{um}$): Esta abordagem mostrou-se extremamente conservadora, muitas vezes falhando em detectar efeitos a menos que os tamanhos de amostra ou de efeito fossem muito grandes.
  • Soft-rank ($E_{sr}$): Embora menos poderosos que os valores-e calibrados para amostras pequenas ($n$), tornaram-se competitivos para amostras maiores e oferecem robustez contra a especificação incorreta do modelo.
• Aplicação Prática: A metodologia foi aplicada ao Millennium Cohort Study (MCS) para investigar a associação entre o uso de tecnologia por adolescentes e o bem-estar mental.
  • Análises anteriores utilizando Análise de Curva de Especificação concluíram que a associação era negligenciável.
  • O framework de valores-e proposto, controlando a FDR em 0,05, rejeitou quatro hipóteses específicas, identificando associações significativas entre o alto uso de internet/redes sociais e sintomas depressivos, baixa autoestima e problemas com pares. As razões de chance (odds ratios) estimadas variaram de 2 a 4, indicando relevância prática ao lado da significância estatística.

Significância e Alegações
O artigo posiciona os valores-e como um "procedimento conservador" que é um complemento útil para a análise de multiverso quando a inferência de hipóteses é necessária.

• Validade: A principal vantagem destacada é que os valores-e fornecem controle de FDR em amostra finita que não depende de suposições de independência ou dependência positiva entre os testes, nem exigem a estimação de parâmetros de incoreteza (como a proporção de nulidades verdadeiras).
• Limitações: Os autores são modestos quanto ao poder estatístico dos valores-e. Eles reconhecem que, comparados a métodos com suposições mais fortes (como valores-q ou Bayes empírico), os valores-e podem gerar menos descobertas significativas, particularmente em amostras pequenas.
• Recomendação: Os autores recomendam reportar os efeitos de tratamento para todas as especificações separadamente e aplicar o controle de multiplicidade, em vez de confiar em medidas de resumo agregadas que podem ocultar efeitos heterogêneos. Eles recomendam especificamente a calibração de mistura p-para-e ($E_{c1}$) por seu poder superior em configurações típicas de multiverso, desde que o modelo subjacente seja aproximadamente correto. Se a especificação incorreta do modelo for uma preocupação central, os valores-e de soft-rank são sugeridos como uma alternativa robusta, embora com um custo de poder.

Em conclusão, o artigo argumenta que, embora os valores-e possam limitar o número de descobertas devido à sua natureza conservadora, eles oferecem um framework rigoroso e de poucas suposições para uma inferência estatística válida no complexo e de alta dimensão cenário da análise de multiverso.