Challenges in the Computational Reproducibility of Linear Regression Analyses: An Empirical Study

Este estudio empírico revela que más de la mitad de las investigaciones de salud con regresión lineal analizadas carecen de reproducibilidad computacional debido a la falta de transparencia en la descripción de variables y métodos, proponiendo como solución el uso de diccionarios de datos detallados y una nueva tabla de especificación de modelos (MLast) para garantizar la integridad de la ciencia abierta.

Lo esencial

Imagina que la investigación científica es como una receta de cocina muy famosa. Si un chef publica un artículo diciendo: "¡Hice el pastel más delicioso del mundo!", la comunidad científica espera que cualquier otro chef pueda ir a su cocina, usar los mismos ingredientes y seguir los mismos pasos para obtener exactamente el mismo pastel.

Este estudio es como un inspector de cocina que fue a revisar 95 recetas publicadas en una revista famosa (PLOS ONE) para ver si realmente se podían replicar. Aquí te explico lo que descubrieron, usando analogías sencillas:

1. El problema de la "Caja de Ingredientes"

Muchos investigadores dicen: "¡Tenemos los ingredientes! ¡Miren, compartimos los datos!". Es como si el chef dijera: "Aquí está mi caja de ingredientes".

• La realidad: De 95 recetas, 68 dijeron que tenían la caja. Pero, ¡sorpresa! En 25 de esos casos, la caja estaba vacía o le faltaban cosas vitales (como harina o huevos) para hacer el pastel. Sin los ingredientes correctos, no hay pastel.

2. El misterio de las "Etiquetas Borradas"

Los investigadores tomaron 20 recetas con ingredientes disponibles y trataron de cocinarlas de nuevo. Solo 8 lograron el mismo resultado. ¿Por qué fallaron los otros 12?

• La analogía: Imagina que la receta dice "agrega 2 tazas de 'algo blanco'". Pero en la caja de ingredientes, no hay nada llamado "algo blanco". Hay "harina", "azúcar" y "sal". El chef que intenta replicar la receta no sabe cuál es cuál.
• En el estudio, esto pasó porque los datos compartidos no tenían etiquetas claras (un "diccionario de datos"). Los investigadores no podían emparejar las variables del artículo con los números reales en la computadora. Era como intentar armar un rompecabezas sin ver la imagen de la caja.

3. Las "Instrucciones Ocultas"

A veces, la receta decía "hornea el pastel", pero no decía a qué temperatura, ni cuánto tiempo, ni si había que batir los huevos antes.

• En la ciencia, esto significa que faltaban detalles sobre cómo se ajustaron los modelos o qué datos se tiraron a la basura antes de empezar. Sin esos pasos secretos, es imposible repetir el experimento.

4. La Solución: El "Mapa del Tesoro" (MLast)

Los autores proponen una solución brillante: crear una Tabla de Ubicación y Especificación del Modelo (MLast).

• La analogía: Imagina que, en lugar de solo dar la receta, el chef te da un mapa del tesoro detallado. El mapa te dice exactamente: "El ingrediente 'X' está en el cajón 3 de la despensa", "La temperatura exacta es 180 grados" y "El paso 4 se hizo el martes".
• Esta tabla, junto con un diccionario de datos (que explica qué significa cada etiqueta en la caja de ingredientes), permitiría que cualquiera pueda encontrar los ingredientes y seguir los pasos sin adivinar.

En resumen

Más de la mitad de los estudios revisados (60%) eran como recetas rotas: no se podían cocinar de nuevo porque faltaban ingredientes, las etiquetas estaban borradas o faltaban instrucciones.

¿Por qué importa esto?
Si no podemos repetir la receta, no podemos estar seguros de que el pastel es realmente delicioso. Podría ser que el primer chef tuvo suerte o que mintió. Para que la ciencia sea confiable y sirva para tomar decisiones importantes (como políticas de salud), necesitamos que las recetas sean claras, que los ingredientes estén etiquetados y que el mapa del tesoro (el código y los detalles) esté disponible para todos.

La lección final: Compartir los datos es solo el primer paso. Si no compartes también el "manual de instrucciones" y las "etiquetas" claras, los datos son como una caja de legos sin instrucciones: tienes las piezas, pero no sabes qué construir.

Resumen técnico

A continuación presento un resumen técnico detallado del estudio, estructurado según los puntos solicitados y redactado en español:

Resumen Técnico: Desafíos en la Reproducibilidad Computacional de Análisis de Regresión Lineal

1. El Problema
La investigación en salud enfrenta una crisis creciente de reproducibilidad, donde muchos resultados publicados no pueden ser replicados independientemente. Si bien las iniciativas de intercambio de datos han mejorado la accesibilidad a la información, existe una brecha crítica en la usabilidad real de estos datos compartidos para la reproducción computacional. El problema central no es solo la disponibilidad de los datos, sino la falta de transparencia en la descripción de las pruebas estadísticas, los modelos y el uso del software. Específicamente, los investigadores a menudo no pueden mapear las variables descritas en los artículos con las columnas reales de los conjuntos de datos, ni replicar las exclusiones de datos o los ajustes de variables, lo que socava la credibilidad de la evidencia basada en datos y dificulta la formulación de políticas públicas.

2. Metodología
El estudio empleó un enfoque empírico cuantitativo con las siguientes características:

• Muestra: Se seleccionó una muestra aleatoria de 95 artículos de investigación en salud publicados en PLOS ONE en 2019, todos los cuales reportaban el uso de regresión lineal.
• Filtrado de Datos: De los 95 artículos, 68 declararon tener datos disponibles, pero solo 43 proporcionaron un acceso real a los datos.
• Submuestra para Análisis: De los 43 con datos accesibles, se seleccionaron los primeros 20 artículos para un análisis profundo de reproducibilidad computacional.
• Procedimiento de Reanálisis: Para cada uno de los 20 artículos seleccionados, los autores del estudio reanalizaron tres modelos de regresión distintos. El objetivo fue replicar exactamente los resultados reportados utilizando los datos y la información metodológica proporcionada.

3. Resultados Clave
Los hallazgos revelaron deficiencias sistémicas en la práctica actual de la investigación:

• Brecha entre Declaración y Disponibilidad: Aunque el 72% (68/95) de los artículos afirmaba tener datos disponibles, el 37% de esos (25 artículos) carecía de los datos necesarios para reconstruir los modelos de regresión lineal.
• Tasa de Reproducibilidad: Solo 8 de los 20 artículos analizados (40%) fueron computacionalmente reproducibles. Esto implica que más del 60% de los estudios analizados no pudieron ser replicados.
• Barreras Principales:
  • Desconexión de Variables: La dificultad principal fue igualar las variables descritas en el texto del artículo con las columnas específicas en los archivos de datos.
  • Falta de Especificación Metodológica: Omisiones críticas en la descripción de ajustes de variables, criterios de exclusión de datos y especificaciones exactas del modelo impidieron la replicación.

4. Contribuciones Técnicas y Propuestas
El estudio no solo diagnostica el problema, sino que propone soluciones estructurales para la comunidad científica:

• Diccionario de Datos Obligatorio: Se insta a los autores a proporcionar un diccionario de datos que vincule explícitamente las etiquetas de las variables en el archivo de datos con la nomenclatura utilizada en el manuscrito.
• Repositorios de Código y Especificaciones: El código de análisis, las especificaciones del modelo y los materiales de apoyo deben depositarse en repositorios públicos o incluirse como archivos suplementarios.
• Propuesta de la Tabla MLast (Model Location and Specification Table): Como contribución técnica central, los autores proponen una nueva herramienta estandarizada llamada MLast. Esta tabla tiene como objetivo:
  • Rastrear dónde y qué análisis se realizaron.
  • Mapear la relación entre los resultados reportados y los pasos específicos de procesamiento de datos.
  • Facilitar la vinculación entre el diccionario de datos y las especificaciones del modelo, cerrando la brecha de interpretación.

5. Significado e Impacto
Este estudio subraya que la mera disponibilidad de datos no garantiza la reproducibilidad científica. La falta de rigurosidad en la documentación de los pasos analíticos compromete la integridad de los hallazgos en salud. La implementación de herramientas como la tabla MLast, junto con diccionarios de datos robustos, es fundamental para avanzar hacia una ciencia abierta real. Estas medidas no solo fortalecerán la credibilidad de la investigación publicada, sino que permitirán una colaboración más efectiva y una base de evidencia más sólida para la toma de decisiones en políticas de salud.