Information loss in evidence synthesis: a meta-research study of exercise intervention reporting in randomized controlled trials and systematic reviews
Este estudio de metapesquisa demuestra que las revisiones sistemáticas de intervenciones de ejercicio sufren una pérdida significativa de información en comparación con sus ensayos controlados aleatorizados originales, debido principalmente al reporte incompleto en los estudios originales y a la posterior atrición durante el proceso de síntesis, particularmente en lo que respecta al equipo, la adherencia, las características del proveedor y los métodos de personalización.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que tienes una receta secreta para el pastel de chocolate más increíble del mundo. La escribes en un cuaderno gigante y detallado (el Ensayo Controlado Aleatorizado, o ECA). Este enumera exactamente cuánta azúcar, qué tipo de harina, la temperatura del horno e incluso la marca específica del batidor que utilizaste.
Ahora, imagina que un crítico gastronómico (la Revisión Sistemática, o RS) quiere resumir las mejores recetas de pasteles de 130 panaderos diferentes para decirle al mundo: "¡Oigan, el pastel de chocolate es genial!". El crítico lee tu cuaderno y escribe un breve resumen.
Aquí está el problema que encontró este artículo: El crítico tiró casi todas las cosas buenas.
La gran fuga de la receta
Los investigadores examinaron 130 "recetas" de ejercicio (intervenciones) de cuadernos de ensayos originales y las compararon con los resúmenes escritos en las revisiones sistemáticas. Utilizaron tres listas de verificación diferentes para ver cuánto detalle sobrevivió al viaje desde el cuaderno hasta el resumen.
Los resultados fueron un poco impactantes:
- Los cuadernos originales: Los autores de los ensayos originales lo estaban haciendo bastante bien. En promedio, incluyeron el 66.7% de los detalles necesarios para entender el ejercicio (usando la lista de verificación TIDieR) y el 53.2% usando la lista de verificación específica de ejercicio (CERT).
- Los resúmenes: Cuando las revisiones resumían estos ensayos, los detalles desaparecían. Los resúmenes solo conservaban el 16.7% de los detalles de ambas listas de verificación.
Piénsalo de esta manera: Si la receta original decía: "Use 2 tazas de harina King Arthur, tamizada dos veces, a 350°F durante 25 minutos", el resumen solo decía: "Use harina y hornee".
¿Qué se perdió en el camino?
El artículo midió exactamente qué desapareció. No fue algo aleatorio; los detalles específicos y cruciales fueron los primeros en irse.
- Equipo: En el 98.9% de los casos donde el ensayo original mencionaba qué equipo se utilizó (como una cinta de correr específica o una máquina de pesas), la revisión lo omitió por completo.
- Quién lo hizo: El 94.9% de las veces, las revisiones olvidaron decir quién estaba enseñando el ejercicio (¿un entrenador con doctorado?, ¿una enfermera?, ¿un voluntario?).
- Adherencia: El 97.2% de las veces, las revisiones no mencionaron si las personas realmente siguieron el plan (adherencia) o si los instructores siguieron las reglas (fidelidad).
- Seguridad: El 87.5% de las veces, cualquier mención de efectos secundarios negativos (eventos adversos) fue descartada.
Básicamente, las revisiones nos decían que un ejercicio funcionaba, pero eliminaban las partes de "cómo", "quién", "dónde" y "qué pasa si duele".
¿Ayudaron las "Nuevas Reglas"?
Podrías pensar: "Espera, ¿no publicaron los científicos nuevos libros de reglas (TIDieR en 2014 y CERT después) para decirles a los autores que escriban mejor?".
El artículo verificó esto. Examinaron ensayos publicados antes y después de que salieran estos libros de reglas.
- El resultado: El artículo encontró ninguna mejora clara. La cantidad de detalle en los cuadernos originales se mantuvo aproximadamente igual (alredamente 53.1% a 53.3% de completitud) independientemente de si los libros de reglas existían o no.
- El problema del resumen: Los datos mostraron una mayor pérdida de información mediana en las revisiones publicadas después de los libros de reglas en comparación con las de antes. Sin embargo, los autores advierten que este es un hallazgo descriptivo de una muestra pequeña y puede estar influenciado por otros factores, como el tipo de ejercicio o el área clínica, más que probar que los libros de reglas empeoraron las cosas.
Por lo tanto, el artículo argumenta que tener un libro de reglas en el estante no es suficiente. Los autores no lo están siguiendo y los revisores no lo están buscando.
El mito de la "Alta Calidad"
Los investigadores también comprobaron si las "mejores" revisiones (las revisiones Cochrane, que suelen ser el estándar de oro) hacían un mejor trabajo.
- El hallazgo: Incluso las revisiones Cochrane de alta calidad perdieron una cantidad masiva de información. Aunque perdieron un poco menos que otros tipos de revisiones, aun así descartaron aproximadamente el 22.6% de los detalles disponibles.
- La conclusión: Ser una revisión de "alta calidad" no significa que seas bueno manteniendo los detalles de la receta. Puedes ser un científico perfecto y aun así resumir la receta como "comer pastel".
El veredicto
El artículo concluye que estamos perdiendo información en dos lugares:
- En la fuente: Los autores de los ensayos originales no están escribiendo suficientes detalles para empezar.
- Durante el resumen: Incluso cuando los detalles están ahí, los revisores los están tirando.
Los autores sugieren que si queremos saber si un programa de ejercicio se puede copiar en un gimnasio o un hospital real, necesitamos tanto que los autores originales escriban mejores recetas, como que los revisores dejen de resumirlas en etiquetas vagas como "ejercicio aeróbico". Sin ambos pasos, sabemos que el pastel sabe bien, pero no tenemos idea de cómo hornearlo nosotros mismos.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.