Estimating the replicability of Brazilian biomedical science

Resumen Técnico: Estimación de la Replicabilidad de la Ciencia Biomédica Brasileña

Planteamiento del Problema
A pesar de la creciente preocupación mundial con respecto a la replicabilidad y reproducibilidad de la investigación publicada, los datos empíricos necesarios para informar las políticas siguen siendo escasos. Esta brecha es particularmente aguda en el contexto de la investigación biomédica brasileña, la cual ha experimentado una rápida expansión durante las últimas tres décadas, pero carece de una evaluación sistemática de la fiabilidad de sus hallazgos.

Metodología
Para abordar esto, los autores establecieron la Iniciativa Brasileña de Reproducibilidad, un proyecto de replicación multicéntrico diseñado para probar experimentos publicados de la ciencia brasileña. La iniciativa se centró en tres métodos experimentales comunes:

1. El ensayo MTT (viabilidad celular).
2. La reacción en cadena de la polimerasa con transcripción inversa (RT-PCR).
3. El laberinto en cruz elevado (EPM) (comportamiento relacionado con la ansiedad en roedores).

El estudio involucró a 56 laboratorios que realizaron un total de 143 replicaciones de 56 experimentos originales. Un comité independiente evaluó la calidad de estas replicaciones, identificando 90 replicaciones válidas de 45 experimentos para el análisis final. El estudio utilizó cinco criterios predefinidos para determinar el éxito de la replicación y analizó diversos factores estadísticos y contextuales, incluyendo tamaños del efecto, coeficientes de variación, predicciones de los investigadores y tasas de publicación de los autores originales.

Resultados Clave
El análisis arrojó varios hallazgos críticos sobre el estado de la replicabilidad en la región:

• Tasas de Replicación: Las tasas de éxito para los experimentos variaron entre el 20% y el 44%, dependiendo de los criterios específicos aplicados.
• Tamaño del Efecto y Variabilidad: En términos medianos, las relaciones entre las medias de los grupos en las replicaciones fueron un 58% menores que las reportadas en los experimentos originales. Por el contrario, los coeficientes de variación en las replicaciones fueron un 82% mayores.
• Factores Predictivos:
  • Las disminuciones en el tamaño del efecto fueron menos pronunciadas en los experimentos de MTT, en resultados originales que exhibían menor variabilidad y en estudios originalmente considerados más difíciles de replicar.
  • Los valores $t$ en las replicaciones mostraron una correlación positiva con las predicciones de los investigadores respecto a la replicabilidad.
  • Los valores $t$ mostraron una correlación negativa con la tasa de publicación del último autor de los artículos originales.
• Desviaciones de Protocolo: Las desviaciones de los protocolos prerregistrados fueron frecuentes durante el proceso de replicación. Estas se atribuyeron principalmente a factores inherentes a los modelos experimentales o a problemas relacionados con la infraestructura y la logística, en lugar de cambios intencionales en el protocolo.

Significancia y Reivindicaciones
El artículo concluye que sus resultados resaltan factores específicos que limitan la replicabilidad de los hallazgos publicados por investigadores en Brasil. Al cuantificar la discrepancia entre los resultados originales y replicados e identificar los obstáculos logísticos y metodológicos involucrados, el estudio sugiere vías a través de las cuales este escenario puede mejorar. El trabajo sirve como una base empírica para abordar las preocupaciones de reproducibilidad dentro de la comunidad científica brasileña, con el objetivo de fomentar un entorno de investigación más robusto sin sobreestimar la universalidad de los hallazgos más allá del contexto específico del estudio.