Attempts to Reproduce Health Sciences Research Are Uncommon and May Be Declining Over Time: A Systematic Review and Meta-Analysis

Resumen Técnico: "Los intentos de reproducir la investigación en ciencias de la salud son poco comunes y pueden estar disminuyendo con el tiempo"

Planteamiento del problema
A pesar de la preocupación generalizada respecto a la investigación irreproducible en las ciencias de la salud —citada como un factor que genera desperdicio de recursos, daño a los pacientes y erosión de la confianza pública—, existe una falta de cuantificación sistemática sobre la frecuencia con la que la comunidad científica intenta reproducir trabajos previos. Si bien se estima que una parte significativa de los métodos y resultados de las ciencias de la salud no puede ser reproducida, no está claro con qué frecuencia se llevan a cabo estudios de reproducibilidad dedicados para monitorear este problema. Además, las tendencias temporales de estos esfuerzos en respuesta a las crecientes preocupaciones sobre la reproducibilidad no están bien caracterizadas. Este estudio aborda la brecha de conocimiento respecto a la prevalencia de los intentos de reproducibilidad, los métodos utilizados para identificarlos y su evolución en el tiempo.

Metodología
Esta revisión sistemática y meta-análisis se adhirió a las directrices PRISMA y al manual Cochrane, con un protocolo registrado a priori en PROSPERO.

• Fuentes de datos: Los autores buscaron en MEDLINE, Embase, Web of Science, el Registro Cochrane de Ensayos Controlados, la Base de Datos Cochrane de Revisiones Sistemáticas y literatura gris desde el 1 de enero de 2000 hasta el 31 de mayo de 2023.
• Criterios de inclusión: Estudios en inglés publicados después de 1999 que estimaran la proporción de artículos de investigación publicados dedicados a reproducir investigaciones previas o concurrentes dentro de las ciencias de la salud.
• Clasificación de la reproducibilidad: Los intentos se categorizaron en tres tipos:
  1. Metodológica: Repetir exactamente los métodos de otro estudio.
  2. De resultados: Comparar resultados utilizando los mismos métodos o métodos similares (clasificados además como aproximados, de re-test o no especificados).
  3. Inferencial: Comparar conclusiones, incluyendo re-análisis de datos originales.
• Métodos de identificación: La revisión analizó cómo los estudios identificaron los intentos de reproducibilidad: (1) inferencia basada en el lenguaje del estudio, (2) inferencia basada en la comparabilidad de los elementos del diseño entre estudios, o (3) reporte explícito de que un estudio era un intento de reproducibilidad.
• Análisis estadístico: Las estimaciones de prevalencia se sometieron a meta-análisis utilizando modelos de efectos aleatorios (regresión logística de efectos mixtos) ponderados por el tamaño de la muestra. La heterogeneidad se evaluó mediante la Q de Cochrane. Se empleó meta-regresión con covariables variables en el tiempo para evaluar las tendencias temporales, con un umbral de significancia estadística de p < 0.01. Se realizaron análisis de sensibilidad utilizando las fechas de publicación más tempranas, medianas y más recientes de los datos subyacentes para tener en cuenta los conjuntos de datos de varios años.

Resultos clave

• Selección de estudios: De 41,218 artículos cribados, se incluyeron 41 estudios, que representan 30 áreas de investigación distintas de Clarivate en los dominios biomédico/preclínico (n=10), clínico (n=26), salud poblacional (n=2) y múltiples dominios (n=3).
• Prevalencia general: La prevalencia estimada combinada de los intentos de reproducibilidad en la literatura de las ciencias de la salud entre 2000 y 2023 fue del 1.6% (IC del 95%: 0.6–4.2%).
• Variabilidad: La prevalencia varió significativamente según el dominio de investigación, el área de investigación y el método utilizado para identificar los intentos.
  • Por dominio: La salud poblacional mostró la prevalencia más alta (3.5%), seguida de la biomédica/preclínica (3.0%), la clínica (1.3%) y múltiples dominios (0.1%).
  • Por método de identificación: Los estudios inferidos mediante el lenguaje (12.6%) o la comparabilidad del diseño (11.9%) mostraron una prevalencia mucho mayor que aquellos reportados explícitamente como intentos de reproducibilidad (0.3%).
  • Por área de investigación: Las estimaciones oscilaron entre 0.0% y 77.8%, aunque 22 de las 30 áreas de investigación se basaron en estudios únicos.
• Tendencias temporales: La meta-regresión identificó un aumento no significativo en las probabilidades de intentos de reproducibilidad por año entre 2000 y 2015 (un aumento del 49.8%, p=0.03). Sin embargo, esto fue seguido por una disminución significativa entre 2016 y 2023, con una disminución del 50.2% en las probabilidades por año (p < 0.001).
• Sensibilidad: El hallazgo de la disminución posterior a 2016 fue sensible a los supuestos analíticos. Cuando los análisis de sensibilidad asignaron diferentes años de publicación (más temprano, mediana, más reciente) a los datos de varios años, las disminuciones observadas se volvieron no significativas, lo que sugiere que la tendencia debe interpretarse con cautela.

Significancia y afirmaciones
Los autores concluyen que los intentos de reproducir la investigación en las ciencias de la salud constituyen una pequeña proporción de la literatura y pueden estar disminuyendo. El estudio destaca varias implicaciones críticas:

1. Necesidad de mayor esfuerzo: A pesar de la importancia reconocida de la reproducibilidad, la proporción de la literatura dedicada a ella es baja y parece haber disminuido desde años 2016. Los autores abogan por una mayor inversión en intentos de reproducibilidad para identificar la ciencia irreproducible y construir bases de evidencia robustas.
2. Estandarización de la clasificación: La variación significativa en las estimaciones de prevalencia basada en cómo se identifican los intentos (explícitos vs. inferidos) subraya la necesidad de métodos estandarizados para clasificar y reportar los intentos de reproducibilidad. Es necesario distinguir entre intentos de reproducibilidad deliberados e incidentales para una meta-ciencia precisa.
3. Monitoreo de dominios específicos: Los autores señalan una falta de estimaciones para la reproducibilidad metodológica e inferencial específicamente. Sugieren que el monitoreo de estos tipos es crucial, particularmente dadas las intervenciones existentes (por ejemplo, registros de protocolos, guías de reporte) destinadas a mejorar el rigor metodológico.
4. Direcciones de investigación futura: El artículo hace un llamado a que los estudios primarios cuantifiquen la prevalencia de diferentes tipos de reproducibilidad e investiguen la relación entre la prevalencia de los intentos de reproducción y otras métricas de robustez científica (por ejemplo, riesgo de sesgo, tasas de retractación).

El estudio enfatiza que la reproducibilidad de la investigación no se está monitoreando de manera rutinaria ni consistente. Por consiguiente, existe una necesidad urgente de aumentar el volumen de los intentos de reproducibilidad y de estandarizar su clasificación y reporte para evaluar mejor la confiabilidad de los hallazgos científicos.