How accurate are Bayes factor-based null hypothesis tests? A simulation study

Resumo Técnico: Quão precisos são os testes de hipótese nula baseados em fator de Bayes? Um estudo de simulação

Problema
Os fatores de Bayes (BFs) tornaram-se uma ferramenta padrão para quantificar evidências e comparar modelos nas ciências cognitivas, particularmente para testes de hipótese nula em delineamentos fatoriais utilizando modelos lineares de efeitos mistos (LMMs). No entanto, para modelos complexos comuns na psicologia e psicolinguística, o cálculo exato dos fatores de Bayes não pode ser realizado analiticamente. Em vez disso, os pesquisadores dependem de aproximações numéricas, tipicamente envolvendo amostragem de Markov-chain Monte Carlo (MCMC) seguida de amostragem de ponte (bridge sampling) para estimar as verossimilhanças marginais (por exemplo, usando os pacotes bridgesampling e brms do R).

O problema central abordado é que a precisão dessas aproximações é frequentemente desconhecida. Não está claro se os fatores de Bayes computados correspondem aos verdadeiros fatores de Bayes ou se sofrem de viés (liberal ou conservador) devido a imprecisões computacionais nos passos de amostragem MCMC ou de estimativa da verossimilhança marginal. Aproximações enviesadas podem levar a conclusões errôneas sobre a força da evidência para as hipóteses.

Metodologia
Os autores empregam a Calibração Baseada em Simulação Marginal (SBC) especificamente adaptada para fatores de Bayes, um método proposto recentemente por Schad et al. (2023). Esta técnica testa se as probabilidades posteriores dos modelos derivadas de dados simulados coincidem com as probabilidades a priori dos modelos utilizadas para gerar esses dados. Se a estimativa for precisa, a probabilidade posterior média deve ser igual à probabilidade a priori; desvios indicam viés.

O estudo utiliza o seguinte fluxo de trabalho:

1. Design de Simulação: Três designs experimentais comuns na psicologia cognitiva e psicolinguística foram simulados:
   • Design 1: Um design de medidas repetidas 2x2 com efeitos aleatórios para sujeitos apenas (inspirado em tarefas de tomada de decisão de 2 etapas).
   • Design 2: Um design de quadrado latino com um fator fixo de 2 níveis e efeitos aleatórios cruzados para sujeitos e itens.
   • Design 3: Um design de quadrado latino 2x2 com efeitos aleatórios cruzados para sujeitos e itens.
2. Procedimento: Os modelos foram ajustados usando brms com amostragem MCMC (10.000 ou 40.000 iterações) e as verossimilhanças marginais foram estimadas usando o pacote bridgesampling (usando o método "warp3"). Para cada design, dados foram simulados de um "modelo verdadeiro" ($H_1$) e de um modelo nulo ($H_0$) onde efeitos fixos específicos foram definidos como zero. As probabilidades a priori dos modelos foram definidas (ex: $p(H_0)=0,5$ ou $0,8$).
3. Diagnósticos: Os autores analisaram os resultados com base em se o amostrador de ponte emitiu uma mensagem de aviso ("logml could not be estimated within maxiter..."). Eles compararam:
   • O desvio das probabilidades posteriores médias em relação às a priori.
   • Testes t bayesianos sobre esses desvios.
   • Diagramas de confiabilidade (gráficos de calibração) para avaliar se as probabilidades posteriores predizem com precisão o modelo verdadeiro.
4. Análises de Sensibilidade: O estudo variou as iterações de MCMC (10k vs. 40k), o número de simulações de SBC (200 vs. 1000) e as probabilidades a priori dos modelos ($p(H_0)=0,8$ vs. $0,2$) para testar a robustez.

Principais Resultados
O estudo produz uma conclusão bifurcada dependendo da presença de mensagens de aviso:

• Sem Mensagens de Aviso: Quando o amostrador de ponte não emitiu um aviso, as estimativas do fator de Bayes foram consideradas precisas.

  • As probabilidades médias dos modelos posteriores coincidiram com as probabilidades a priori.
  • Os diagramas de confiabilidade mostraram que as estimativas se alinharam à diagonal, indicando calibração adequada.
  • Os testes t bayesianos apoiaram a hipótese nula de que não havia desvio entre a priori e a posterior (ex: $BF_{01} > 10$).
  • Isso se manteve para todos os três designs e vários efeitos fixos (efeitos principais e interações).

• Com Mensagens de Aviso: Quando o amostrador de ponte emitiu um aviso, as estimativas do fator de Bayes foram enviesadas e altamente variáveis.

  • Direção do Viés: O viés não foi consistentemente unidirecional, mas dependeu da probabilidade a priori.
    • Quando $p(H_0)$ era alto (0,8), os avisos levaram a probabilidades posteriores para $H_1$ excessivamente altas (viés liberal), potencialmente indicando evidência de um efeito quando ele não existe.
    • Quando $p(H_0)$ era baixo (0,2), os avisos levaram a probabilidades posteriores para $H_1$ excessivamente baixas (viés conservador), potencialmente mascarando efeitos reais.
  • Mecanismo: O viés foi impulsionado pela alta variância nas estimativas de log verossimilhança marginal. Os avisos indicaram que a geometria da posterior era irregular (ex: desvios padrão residuais pequenos ou variâncias de efeitos aleatórios próximas de zero), fazendo com que o algoritmo de amostragem de ponte falhasse em estimar a verossimilhança marginal com precisão.
  • Tentativas de Mitigação: Aumentar as iterações de MCMC de 10.000 para 40.000 reduziu apenas ligeiramente a frequência de avisos (de ~37% para ~32,5%) sem resolver o viés nos casos com aviso. Aumentar o número de simulações de SBC para 1.000 confirmou que o viés nos casos com aviso era robusto e claro.

Significância e Alegações
O artigo afirma fornecer uma validação prática da estimativa do fator de Bayes em designs fatoriais comumente usados nas ciências cognitivas. Suas principais contribuições são:

1. Validação de Ferramentas Padrão: Confirma que o fluxo de trabalho brms/bridgesampling produz fatores de Bayes precisos para designs padrão, desde que o algoritmo não emita um aviso.
2. Utilidade Diagnóstica dos Avisos: Os autores argumentam que as mensagens de aviso do amostrador de ponte não são meros incômodos técnicos, mas indicadores críticos de resultados não confiáveis. Eles afirmam que resultados de fatores de Bayes acompanhados de tais avisos não devem ser confiáveis, pois são provavelmente enviesados e não informativos.
3. Recomendação Metodológica: O estudo defende o uso de SBC marginal e gráficos de calibração como um passo necessário para verificar a precisão das estimativas do fator de Bayes antes de confiar em resultados de análises individuais.
4. Orientação Prática: Para pesquisadores que encontram avisos, o artigo sugere que a reparametrização (ex: restrições de soma zero, remoção de efeitos aleatórios) pode resolver o problema, mas, se não resolver, deve-se evitar reportar o fator de Bayes ou considerar métodos alternativos (ex: ROPE, intervalos de credibilidade posterior ou outros métodos de estimativa de BF, dependendo de sua própria validação).

Os autores mantêm um tom modesto, reconhecendo que seus resultados são específicos para os designs, priors e versões de software testados. Eles enfatizam que, embora as ferramentas atuais funcionem bem sob condições específicas, a comunidade deve permanecer vigilante quanto aos avisos computacionais e validar suas configurações de análise específicas usando calibração baseada em simulação.