Can it be checked? A cross-sectional meta-research audit of access to, and reporting in, machine learning studies of pharmaceutical manufacturing and quality control
Esta auditoría de metainvestigación transversal revela que, si bien solo alrededor de un tercio de los estudios de aprendizaje automático sobre la fabricación farmacéutica son accesibles sin una suscripción, apenas un 1,1 % de esos artículos accesibles proporcionan la combinación necesaria de datos públicos, código y evaluación de reserva para permitir la verificación independiente de sus resultados.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo
En las fábricas que producen medicinas modernas, las máquinas ahora hacen más que solo mezclar y embotellar. Observan, miden y predicen. Utilizando un tipo de inteligencia computacional llamada aprendizaje automático, estos sistemas pueden detectar una tableta defectuosa a partir de una fotografía, predecir cómo se disolverá un fármaco o monitorear las delicadas condiciones dentro de un tanque gigante donde crecen células vivas. Esta tecnología se ha convertido en una herramienta estándar para asegurar que cada píldora e inyección sea segura y eficaz. Pero para que estas personas puedan confiar en estos sistemas inteligentes, los científicos que los construyen deben ser capaces de demostrar su trabajo. Así como un chef no puede afirmar que un plato es delicioso sin mostrar la receta y los ingredientes, un científico no puede afirmar que un modelo computacional funciona a menos que muestre los datos de los que aprendió, el código que lo ejecuta y la prueba de que funciona con ejemplos nuevos y no vistos anteriormente.
Un nuevo estudio plantea una pregunta simple pero crítica: cuando los científicos publican estos estudios de aprendizaje automático sobre la fabricación de medicinas, ¿puede alguien ajeno al laboratorio realmente verificar su trabajo? El investigador, un académico independiente llamado Phani Kumar Balagam, se propuso auditar el registro publicado de este campo desde 2019 hasta 22025. Quería saber dos cosas. Primero, ¿podía una persona común, sin una suscripción especial a una biblioteca, leer realmente el artículo completo? Segundo, si podía leerlo, ¿contenía el artículo los detalles específicos necesarios para repetir el experimento y verificar los resultados? La respuesta, según el estudio, es que para la mayoría de estos artículos, la respuesta a ambas preguntas es no.
Para averiguarlo, el investigador buscó en cinco bases de datos científicas importantes miles de artículos que describieran el uso de aprendizaje automático para fabricar o probar fármacos humanos. Tras filtrar las revisiones, los preimpresos y los estudios que no cumplían con los criterios, quedaron 553 artículos elegibles para el estudio. El primer obstáculo fue el acceso. El estudio comprobó si cada artículo estaba disponible para el público de forma gratuita. Solo 186 de los 553 artículos, es decir, aproximadamente un tercio, podían leerse sin suscripción. El resto estaba bloqueado tras muros de pago o no podía recuperarse en absoluto, a pesar de que algunos estaban marcados como de acceso abierto, a menudo debido a barreras técnicas como controles de seguridad automatizados que bloqueaban la descarga. Esto significa que, para dos de cada tres estudios en este campo, un lector curioso ni siquiera puede ver el texto completo.
Posteriormente, el investigador se centró en los 186 artículos que sí eran legibles. Examinó de cerca si estos artículos informaban sobre los cuatro ingredientes esenciales necesarios para verificar un resultado: los datos brutos, el código computacional, una descripción clara de cómo se dividieron los datos en grupos de entrenamiento y de prueba, y una puntuación de rendimiento final basada en datos que el modelo nunca había visto antes. Esta última parte es crucial; sin ella, un modelo podría simplemente estar memorizando las respuestas en lugar de aprender las reglas. El estudio encontró que, si bien casi todos los artículos mencionaban cómo dividían sus datos, muy pocos compartían los datos reales o el código. Solo alrededor de uno de cada cuatro artículos hacía públicos los datos, y solo aproximadamente uno de cada diez hacía público el código.
La situación era aún peor al buscar el paquete completo. El estudio definió un artículo "verificable" como aquel que compartía los datos, el código, la división y el resultado de la prueba final, todo a la vez. De los 186 artículos legibles, solo dos cumplían con este estándar. Eso es poco más del uno por ciento. En otras palabras, casi ninguno de los estudios publicados en este campo proporciona la información suficiente para que una persona independiente vuelva a ejecutar el análisis y confirme la cifra principal. El investigador señaló que esta falta de transparencia no se debía a la naturaleza de los datos en sí. Incluso cuando los datos provenían de pequeños experimentos de laboratorio en lugar de enormes fábricas industriales, rara vez se compartían. Del mismo modo, la falta de un código compartido no se debía a que el código fuera secreto; simplemente no se proporcionaba.
El estudio también examinó si estos problemas estaban mejorando con el tiempo o si variaban dependiendo del tipo de revista en la que se publicaba el artículo. Los resultados no mostraron una mejora significativa en la tasa de intercambio de datos o código a lo largo de los años, y la calidad de la información reportada era la misma en los distintos tipos de revistas científicas. El investigador utilizó un modelo de lenguaje de gran tamaño, un tipo de inteligencia artificial, para leer y calificar los artículos, un método que verificó haciendo que el modelo revisara los mismos artículos dos veces. El modelo fue capaz de encontrar las frases específicas en los artículos que sustentaban sus juicios, demostrando que la falta de información era un vacío real en el reporte y no un malentendido por parte del lector.
La conclusión es contundente. Si bien el aprendizaje automático se está volviendo rutinario en la fabricación farmacéutica, el registro publicado de este trabajo es en gran medida opaco. Un tercio de los artículos no pueden ser leídos por el público y, de los que sí pueden leerse, casi ninguno contiene el conjunto completo de detalles necesarios para verificar los resultados. El investigador sugiere que la solución no requiere que los autores hagan algo nuevo o difícil. Simplemente necesitan compartir los datos y el código que ya poseen y declarar claramente qué datos produjeron su resultado principal. Al pedir lo que los autores ya tienen en su poder, la comunidad científica podría cerrar la brecha entre lo que se publica y lo que puede ser verificado, asegurando que las máquinas inteligentes que fabrican nuestras medicinas sean tan fiables como pretenden ser.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.