The Difference Between "Replicable" and "Not replicable" is not Itself Scientifically Replicable

A continuación se presenta un resumen técnico detallado del artículo "La diferencia entre 'replicable' y 'no replicable' no es en sí misma científicamente replicable", de Devezer y Buzbas.

1. Planteamiento del Problema

El artículo aborda una falla fundamental en las prácticas metacientíficas actuales respecto a las tasas de replicabilidad. La comunidad científica agrupa rutinariamente veredictos binarios (replicado vs. no replicado) de múltiples estudios para estimar una tasa media de replicabilidad ($\mu$) para un campo o un resultado específico. Esta tasa se utiliza luego para delimitar resultados "confiables" de "sospechosos" o para declarar una "crisis de replicación".

Los autores argumentan que esta práctica es estadísticamente insostenible porque:

1. No exactitud: Las replications del mundo real rara vez son "exactas" (estadísticamente equivalentes a la referencia). Difieren en grupos de sujetos, procedimientos y contextos, introduciendo heterogeneidad.
2. Limitación de la estructura de datos: Los estudios de replicación estándar informan solo un veredicto binario por experimento. Esta estructura de datos carece de la información necesaria para distinguir entre el ruido de muestreo y la heterogeneidad entre experimentos.
3. La afirmación central: La diferencia entre un resultado "replicable" (alta $\mu$) y un resultado "no replicable" (baja $\mu$) no puede distinguirse de manera fiable utilizando los métodos actuales, incluso con grandes números de repeticiones. La maquinaria estadística utilizada para producir estos veredictos pierde su poder discriminatorio bajo condiciones realistas de no exactitud.

2. Metodología

Los autores formalizan el problema utilizando dos modelos estadísticos distintos para capturar las fuentes ontológicas de la no exactitud:

A. El Modelo de Referencia (Tasa Latente Compartida)

• Supuesto: Todas las $m$ repeticiones son intercambiables y dependen de una única tasa latente de replicabilidad $\phi$, que se extrae de una distribución poblacional con media $\mu$ y correlación intraclase $\rho$.
• Mecanismo: El número total de éxitos sigue una distribución Beta-Binomial.
• Insight clave: Incluso si $\rho$ (el grado de heterogeneidad) es conocido, la varianza de la media estimada $\hat{\mu}$ tiene un piso de varianza irredudible cuando $m \to \infty$:
  $$\lim_{m \to \infty} V(\hat{\mu}) = \mu(1-\mu)\rho$$
  Esto significa que añadir más repeticiones no puede eliminar la incertidumbre si $\rho > 0$. Los regímenes de alta y baja replicabilidad tendrán intervalos de confianza superpuestos, haciéndolos indistinguibles.

B. El Modelo Operativo (Tasas Condicionalmente Independientes)

• Supuesto: Este modelo refleja la práctica real donde cada uno de los $m$ experimentos es único (no exacto) y tiene su propia tasa de replicabilidad $\phi_i$, extraída independientemente de una distribución poblacional.
• Estructura de datos: Cada experimento $i$ contribuye exactamente con un veredicto binario ($k_i = 1$).
• Insight clave: Cuando $k_i = 1$, el parámetro $\rho$ (heterogeneidad) se vuelve no identificable a partir de los datos. La distribución conjunta de los resultados binarios colapsa a una simple distribución Binomial $Bin(m, \mu)$, independientemente del valor verdadero de $\rho$.
• Consecuencia: Los investigadores no pueden determinar si están operando en un régimen de baja heterogeneidad (donde más repeticiones ayudan) o en un régimen de alta heterogeneidad (donde no lo hacen). La estructura de datos subestima sistemáticamente la incertidumbre.

C. Ejemplos Numéricos y Reanálisis

Los autores validan su teoría mediante:

1. Modelos Generativos: Simulación de la heterogeneidad que surge de (a) heterogeneidad de la muestra (diferentes poblaciones de sujetos) y (b) heterogeneidad de estímulo/dosis (errores de entrega y sesgo). Muestran cómo estas fuentes físicas se mapean a valores altos de $\rho$.
2. Estudio de Caso (Many Labs 4): Un reanálisis del proyecto de replicación de la "Teoría del Manejo del Terror".
   • Utilizaron un modelo auxiliar de efectos aleatorios Normal sobre tamaños de efecto continuos (Hedges' $g$) para estimar el $\rho$ implícito.
   • Mapearon estas estimaciones al Modelo de Referencia para demostrar que los intervalos de varianza resultantes son tan amplios que la clasificación binaria es imposible.

3. Contribuciones Clave

• Formalización de la No Identificabilidad: El artículo demuestra que bajo el diseño estándar de "un veredicto binario por experimento", el grado de no exactitud ($\rho$) es matemáticamente no identificable. En consecuencia, la precisión de la tasa media de replicabilidad no puede evaluarse.
• El Piso de Varianza Irredudible: Establece que la heterogeneidad crea un límite duro en la precisión. A diferencia del error de muestreo, que disminuye con $N$, la varianza inducida por la heterogeneidad permanece constante independientemente del número de repeticiones.
• La "Paradoja de la Replicación": Los autores demuestran que aumentar el número de repeticiones en un entorno heterogéneo puede conducir a una falsa sensación de precisión (si se ignora $\rho$) o simplemente fallar en distinguir la alta/baja replicabilidad (si se reconoce $\rho$).
• Crítica a la Agregación: Argumentan que agregar tasas de replicabilidad a través de literaturas diversas (por ejemplo, "la Psicología en su conjunto") produce un promedio carente de sentido que confunde regímenes experimentales inconmensurables.

4. Resultados Clave

• Pérdida de Discriminabilidad: Bajo heterogeneidad realista (por ejemplo, $\rho = 0.15$), los Intervalos de Densidad Más Alta (HDI) del 95% para una tasa de replicabilidad "alta" (por ejemplo, $\mu=0.80$) y una tasa "baja" (por ejemplo, $\mu=0.20$) se superponen significativamente, incluso con $m=50$ repeticiones.
• Tamaño de Muestra Efectivo: El número efectivo de repeticiones independientes ($m_e$) disminuye drásticamente a medida que aumenta $\rho$. Por ejemplo, en el Proyecto de Reproducibilidad: Psicología ($m=100$), si $\rho=0.20$, el peso inferencial es equivalente a solo 5 repeticiones exactas.
• Análisis de Many Labs 4:
  • El $\rho$ estimado para la secuencia ML4 fue alto (media posterior $\approx 0.37$ a $0.59$).
  • A este nivel de heterogeneidad, el HDI del 95% para la tasa de replicabilidad estimada abarca casi todo el intervalo [0, 1].
  • Los datos no pueden distinguir si el efecto subyacente es realmente replicable o no; la secuencia es "no diagnóstica".
• Sesgo y Ruido: El sesgo sistemático (por ejemplo, entrega insuficiente de estímulos) desplaza la media $\mu$, mientras que el ruido infla $\rho$. Ambos distorsionan la tasa de replicabilidad aparente y socavan la capacidad de emitir veredictos binarios.

5. Significado e Implicaciones

• Refutación de la Narrativa de la "Crisis": Los autores argumentan que la "crisis de replicación" no puede establecerse mediante los métodos actuales. Una tasa de replicabilidad baja (por ejemplo, 36%) es estadísticamente indistinguible de una literatura sana llena de estudios pequeños y ruidosos, porque la tasa base de efectos verdaderos y el grado de heterogeneidad son desconocidos.
• Fallo de Delimitación: La distinción binaria entre "replicable" y "no replicable" no es una propiedad científicamente replicable de un resultado bajo las metodologías actuales.
• Recomendaciones para la Práctica:
  • Detener los Veredictos Binarios: Los investigadores deben evitar reducir los resultados de replicación a conteos simples de "éxito/fracaso" con fines de delimitación.
  • Estructuras de Datos Más Ricas: Para recuperar información sobre la heterogeneidad, los estudios necesitan resultados continuos, múltiples mediciones por experimento ($k > 1$) o diseños jerárquicos.
  • Cambio de Enfoque: La replicación debe utilizarse para estimar magnitudes de efecto, caracterizar la variabilidad y calibrar procedimientos, en lugar de actuar como un "tribunal" para juzgar la verdad de resultados individuales.
• Avance Teórico: El artículo sugiere que resolver los problemas de replicabilidad requiere predicciones teóricas más fuertes (para definir el ancla) o la identificación de "experimentos mínimamente viables" para eliminar el ruido auxiliar, en lugar de simplemente estandarizar protocolos alrededor de estudios de referencia arbitrarios.

En conclusión, el artículo proporciona una prueba estadística rigurosa de que el paradigma actual de agregar veredictos binarios de replicación es fundamentalmente incapaz de distinguir entre alta y baja replicabilidad en presencia de la heterogeneidad inevitable encontrada en la práctica científica.