📊 statistics

How accurate are Bayes factor-based null hypothesis tests? A simulation study

Este estudio de simulación valida la precisión de las pruebas de hipótesis nula basadas en el factor de Bayes en diseños psicológicos comunes utilizando los paquetes brms y bridgesampling, demostrando que las estimaciones son fiables cuando no se emiten advertencias algorítmicas, pero deben desestimarse cuando tales advertencias aparecen.

Autores originales: Daniel J. Schad, Martin Modrák

Publicado 2026-08-06

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Daniel J. Schad, Martin Modrák

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio: ¿una nueva pista realmente prueba que tu sospechoso es culpable, o es solo una coincidencia? En el mundo de la ciencia, especialmente en campos como la psicología y la lingüística, los investigadores se enfrentan a menudo a esta misma pregunta. Tienen datos y tienen dos historias contrapuestas: una donde existe un efecto específico (la historia del "culpable") y otra donde no está pasando nada (la historia del "inocente"). Para decidir qué historia es mejor, los científicos utilizan una herramienta matemática llamada factor de Bayes. Piensa en el factor de Bayes como una balanza súper precisa que pesa la evidencia. Si la balanza se inclina fuertemente hacia la historia del "culpable", el investigador se siente confiado; si permanece equilibrada, sabe que la evidencia es débil.

Sin embargo, calcular el peso exacto en esta balanza es como intentar contar cada grano de arena en una playa mientras se está de pie en un bote en movimiento. Es matemáticamente imposible hacerlo a la perfección, por lo que los científicos utilizan ingeniosos atajos informáticos para obtener una respuesta aproximada. La gran preocupación es: ¿qué tan cerca está esa aproximación de la verdad? Si el cálculo de la computadora falla, el detective podría condenar a un inocente o dejar libre a un culpable. Este es exactamente el problema que aborda un nuevo estudio de Daniel J. Schad y Martin Modrák. Ellos querían saber si las herramientas informáticas populares que los científicos usan para pesar estos factores de Bayes son realmente precisas, o si están secretamente averiadas de formas que podrían conducir a conclusiones erróneas.

Para probar esto, los autores no se limitaron a observar datos reales; construyeron un "laboratorio de simulación". Imagina que crearon miles de experimentos falsos donde conocían la respuesta de antemano. Generaron datos falsos utilizando un conjunto específico de reglas, luego pidieron a las herramientas informáticas que calcularan el factor de Bayes y vieran si la conclusión de la herramienta coincidía con la verdad que habían plantado. Se centraron en tres tipos muy comunes de diseños experimentales utilizados en psicología y lingüística: un diseño simple de 2x2, un diseño que mezcla sujetos y elementos (como diferentes personas leyendo diferentes palabras), y una versión más compleja de esa mezcla.

Los resultados fueron un relato de dos resultados muy diferentes, dependiendo de un pequeño detalle: un mensaje de advertencia. Cuando el software informático ejecutaba sus cálculos y no mostraba un mensaje de advertencia, los factores de Bayes eran exactos. La balanza estaba perfectamente calibrada; la estimación de la herramienta de la evidencia coincidía casi exactamente con la verdad. Era como si la balanza del detective funcionara perfectamente, dando veredictos fiables cada vez.

Sin embargo, la historia cambiaba drásticamente cuando el software sí emitía una advertencia. En las simulaciones donde la computadora decía: "Oye, tengo problemas para estimar este número", los resultados se volvían poco fiables. Los factores de Bayes ya no eran precisos; estaban sesgados y eran ampliamente variables. A veces, la herramienta exageraba la evidencia, haciendo que un efecto débil pareciera fuerte (un sesgo "liberal"), y otras veces minimizaba un efecto real, haciendo que pareciera que no pasaba nada (un sesgo "conservador"). Los autores descubrieron que, en estos casos de advertencia, la computadora estaba esencialmente adivinando con mucho ruido, y los resultados no podían ser confiables.

Curiosamente, los autores intentaron solucionar esto diciéndole a la computadora que trabajara más duro, aumentando de 10,000 a 40,000 iteraciones. Aunque esto ayudó un poco, no detuvo las advertencias ni solucionó completamente el sesgo. El estudio sugiere que el problema no es solo hacer más matemáticas; es que la forma de los datos es demasiado complicada para que los atajos actuales puedan manejarla con fluidez.

Entonces, ¿qué significa esto para el futuro de la ciencia? Los autores concluyen que, para los diseños experimentales comunes que probaron, los factores de Bayes son una gran herramienta, pero solo si la computadora permanece en silencio. Si el software muestra una advertía, los investigadores deben detenerse y no confiar en el resultado. Es un poco como conducir un coche: si la luz de "Check Engine" está apagada, puedes conducir con confianza. Pero si esa luz parpadea, no deberías simplemente ignorarla y seguir acelerando; necesitas detenerte y arreglar el problema antes de confiar en el velocímetro. El estudio sirve como un recordatorio crucial de que, en el juego de alto riesgo del descubrimiento científico, prestar atención a las señales de advertencia de la computadora es tan importante como los datos mismos.

Resumen Técnico: ¿Qué tan precisos son los tests de hipótesis nula basados en el factor de Bayes? Un estudio de simulación

Planteamiento del problema
Los factores de Bayes (BF, por sus siglas en inglés) se han convertido en una herramienta estándar para cuantificar la evidencia y comparar modelos en las ciencias cognitivas, particularmente para las pruebas de hipótesis nula en diseños factoriales utilizando modelos lineales de efectos mixtos (LMM). Sin embargo, para los modelos complejos comunes en psicología y psicolingüística, no se pueden computar factores de Bayes exactos de forma analítica. En su lugar, los investigadores dependen de aproximaciones numéricas, que generalmente implican el muestreo de Markov-chain Monte Carlo (MCMC) seguido de un muestreo de puente (bridge sampling) para estimar las verosimilitudes marginales (por ejemplo, utilizando los paquetes de R bridgesampling y brms).

El problema central abordado es que la precisión de estas aproximaciones suele ser desconocida. No está claro si los factores de Bayes computados corresponden a los verdaderos factores de Bayes o si sufren de sesgo (liberal o conservador) debido a imprecisiones computacionales en los pasos de MCMC o de estimación de la verosimilitud marginal. Las aproximaciones sesgadas pueden conducir a conclusiones erróneas sobre la fuerza de la evidencia para las hipótesis.

Metodología
Los autores emplean la Calibración Basada en Simulación Marginal (SBC, por sus siglas en inglés), adaptada específicamente para los factores de Bayes, una técnica propuesta recientemente por Schad et al. (2023). Esta técnica evalúa si las probabilidades posteriores del modelo derivadas de datos simulados coinciden con las probabilidades a priori del modelo utilizadas para generar dichos datos. Si la estimación es precisa, la probabilidad posterior promedio debería ser igual a la probabilidad a priori; las desviaciones indican sesgo.

El estudio utiliza el siguiente flujo de trabajo:

Diseño de simulación: Se simularon tres diseños experimentales comunes en psicología cognitiva y psicolingüística:
- Diseño 1: Un diseño de medidas repetidas 2x2 con efectos aleatorios para sujetos únicamente (inspirado en tareas de toma de decisiones de 2 pasos).
- Diseño 2: Un diseño de cuadrado latino con un factor fijo de 2 niveles y efectos aleatorios cruzados para sujetos e ítems.
- Diseño 3: Un diseño de cuadrado latino 2x2 con efectos aleatorios cruzados para sujetos e ítems.
Procedimiento: Los datos se simularon a partir de un modelo "verdadero" ( $H_1$ ) y un modelo nulo ( $H_0$ ) donde los efectos fijos específicos se fijaron en cero. Las probabilidades de los modelos a priori se establecieron (por ejemplo, $p(H_0)=0.5$ o $0.8$).
Estimación: Los modelos se ajustaron usando brms con muestreo MCMC (10,000 o 40,000 iteraciones) y las verosimilitudes marginales se estimaron utilizando el paquete bridgesampling (usando el método "warp3").
Diagnósticos: Los autores analizaron los resultados basándose en si el muestreador de puente emitía un mensaje de advertencia ("logml could not be estimated within maxiter..."). Compararon:
- La desviación de las probabilidades posteriores promedio respecto a las a priori.
- Tests t bayesianos sobre estas desviaciones.
- Diagramas de fiabilidad (gráficos de calibración) para evaluar si las probabilidades posteriores predicen adecuadamente el modelo real.
Análisis de sensibilidad: El estudio varió las iteraciones de MCMC (10k vs. 40k), el número de simulaciones de SBC (200 vs. 1000) y las probabilidades a priori de los modelos ( $p(H_0)=0.8$ vs. $0.2$) para probar la robustez.

Resultos clave
El estudio arroja una conclusión bifurcada dependiendo de la presencia de mensajes de advertencia:

Sin mensajes de advertencia: Cuando el muestreador de puente no emitió ninguna advertencia, se encontró que las estimaciones de los factores de Bayes eran precisas.
- Las probabilidades posteriores promedio de los modelos coincidieron con las probabilidades a priori.
- Los diagramas de fiabilidad mostraron que las estimaciones se alineaban con la diagonal, indicando una adecuada calibración.
- Los tests t bayesianos respaldaron la hipótesis nula de que no había desviación entre la a priori y la posterior (por ejemplo, $BF_{01} > 10$ ).
- Esto se mantuvo en los tres diseños y en varios efectos fijos (efectos principales e interacciones).
Con mensajes de advertía: Cuando el muestreador de puente emitió un mensaje de advertencia, las estimaciones de los factores de Bayes fueron sesgadas y altamente variables.
- Dirección del sesgo: El sesgo no fue consistentemente unidireccional, sino que dependió de la probabilidad a priori.
  - Cuando $p(H_0)$ era alta (0.8), las advertencias condujeron a probabilidades posteriores para $H_1$ demasiado altas (sesgo liberal), lo que podría indicar evidencia de un efecto cuando este no existe.
  - Cuando $p(H_0)$ era baja (0.2), las advertencias condujeron a probabilidades posteriores para $H_1$ demasiado bajas (sesgo conservador), lo que podría enmascarar efectos reales.
- Mecanismo: El sesgo fue impulsado por una alta varianza en las log-verosimilitudes marginales estimadas. Las advertencias indicaron que la geometría de la posterior era irregular (por ejemplo, desviaciones estándar residuales pequeñas o varianzas de efectos aleatorios cercanas a cero), lo que causó que el algoritmo de muestreo de puente fallara en la estimación precisa de la verosimilitud marginal.
- Intentos de mitigación: Aumentar las iteraciones de MCMC de 10,000 a 40,000 solo redujo ligeramente la frecuencia de las advertencias (de ~37% a ~32.5%) sin resolver el sesgo en los casos advertidos. Aumentar el número de simulaciones de SBC a 1,000 confirmó que el sesgo en los casos con advertencia era robusto y claro.

Significancia y afirmaciones
El artículo afirma proporcionar una validación práctica de la estimación de factores de Bayes en diseños factoriales comúnmente utilizados en las ciencias cognitivas. Sus contribuciones principales son:

Validación de herramientas estándar: Confirma que el flujo de trabajo brms/bridgesampling produce factores de Bayes precisos para diseños estándar, siempre y cuando el algoritmo no señale una advertencia.
Utilidad diagnóstica de las advertencias: Los autores argumentan que los mensajes de advertencia del muestreador de puente no son meros inconvenientes técnicos, sino indicadores críticos de resultados poco fiables. Afirman que los resultados de los factores de Bayes acompañados de tales advertencias no deben ser confiables, ya que probablemente estén sesgados y sean poco informativos.
Recomendación metodológica: El estudio aboga por el uso de la SBC marginal y los gráficos de calibración como un paso necesario para verificar la precisión de las estimaciones de los factores de Bayes antes de confiar en los resultados de análisis individuales.
Guía práctica: Para los investigadores que encuentran advertencias, el artículo sugiere que la reparametrización (por ejemplo, restricciones de suma a cero, eliminar efectos aleatorios) podría resolver el problema, pero si no es así, se debe evitar reportar el factor de Bayes o considerar métodos alternativos (por ejemplo, ROPE, intervalos de credibilidad posterior u otros métodos de estimación de BF, como Savage-Dickey, pendientes de su propia validación).

Los autores mantienen un tono modesto, reconociendo que sus resultados son específicos de los diseños, priors y versiones de software probados. Enfatizan que, si bien las herramientas actuales funcionan bien bajo condiciones específicas, la comunidad debe permanecer vigilante ante las advertencias computacionales y validar sus configuraciones de análisis específicas mediante la calibración basada en simulación.

Resumen Técnico: ¿Qué tan precisos son los tests de hipótesis nula basados en el factor de Bayes? Un estudio de simulación

Más como este