Auditing Biomedical Literature with Blinded AI Peer Review: Where Peer Review Works, Where It Fails, and How to Strengthen It

La ciencia se basa en una promesa simple y antigua: antes de que un nuevo descubrimiento sea publicado, expertos independientes leen el trabajo para asegurar que los experimentos se realizaron correctamente, que las matemáticas cuadran y que las conclusiones se derivan de la evidencia. Este proceso, conocido como revisión por pares, es el guardián de la verdad en la medicina y la biología. Durante décadas, este sistema ha funcionado lo suficientemente bien como para construir nuestra comprensión moderna de la vida. Pero el volumen de artículos científicos ha explotado. Desde 1991, el número de artículos biomédicos publicados cada año ha crecido más de once veces, superando con creces el número de expertos humanos disponibles para leerlos. Cuando la inundación de nuevas investigaciones excede la capacidad de los revisores humanos, la calidad de lo que se publica puede decaer. Los errores en la estadística, la falta de controles o la lógica defectuosa pueden filtrarse por las grietas y, debido a que estos errores suelen ser sutiles, pueden pasar desapercibidos durante años, conduciendo a otros científicos por caminos falsos.

Para abordar esta creciente crisis, un equipo de investigadores ha construido un nuevo tipo de árbitro: un sistema de inteligencia artificial diseñado para leer artículos científicos sin saber quién los escribió o dónde fueron publicados. Lo llaman BARS, el Sistema de Revisión de IA Ciego (Blinded AI Review System). La idea es despojar al texto de todo lo que pueda sesgar a un lector: los nombres famosos de los autores, el prestigio de la revista y la fecha de publicación, de modo que el artículo pueda ser juzgado únicamente por la calidad de su ciencia. Los investigadores entrenaron este sistema para buscar cuatro cosas específicas: si los métodos y la estadística son sólidos, si los datos realmente respaldan las afirmaciones realizadas, si las ideas biológicas son realistas y si los datos y el código se comparten abiertamente. Le asignaron a cada artículo una puntuación de cero a diez, donde cualquier valor inferior a cinco indicaba un error fundamental que socavaba el estudio.

El equipo probó primero si su sistema podía distinguir entre la buena ciencia y la mala ciencia sin distraerse por la reputación. Alimentaron a la IA con un conjunto de artículos que ya habían sido demostrados erróneos y retractados, junto con un conjunto de estudios verificados y de alta calidad. Cuando la IA podía ver los nombres de los autores y los títulos de las revistas, otorgaba puntuaciones ligeramente más altas a los artículos famosos, mostrando que incluso una máquina puede verse influenciada por el prestigio. Pero cuando el sistema era cegado a toda esa información, se convertía en un juez agudo y objetivo. Identificó correctamente casi todos los artículos defectuosos y otorgó puntuaciones perfectas a los estudios sólidos, con cero falsas alarmas. También demostró ser mucho más consistente que los revisores humanos; cuando el mismo artículo era revisado varias veces por la IA, las puntuaciones eran casi idénticas, mientras que los revisores humanos a menudo discrepan entre sí.

Cuando los investigadores aplicaron este sistema ciego a 320 artículos recientes de ocho campos diferentes de la biología, los resultados fueron desalentadores. Más de la mitad de estos artículos fallaron la prueba, obteniendo una puntuación inferior al umbral de la rigurosidad científica básica. La tasa de fallo no fue la misma en todas partes. Los campos que dependen de modelos matemáticos estrictos, como la evolución molecular, tendieron a obtener puntuaciones más altas. Los campos que dependen de la minería de datos complejos o de ensayos propensos a la contaminación, como la genética de célula única y los estudios del microbioma, obtuvieron puntuaciones mucho más bajas. El tipo de revista también importaba profundamente. Los artículos publicados en revistas altamente selectivas y tradicionales puntuaron significativamente más alto que aquellos en las enormes revistas de acceso abierto que cobran una tarifa por publicar pero afirman juzgar solo la solidez técnica. De hecho, el promedio de un artículo en una revista de sociedad de primer nivel era casi un punto completo superior en calidad que uno en una megarevista comercial, una brecha que sugiere que el proceso de revisión en sí mismo marca la diferencia.

Los investigadores también observaron cuánto mejora realmente un artículo la revisión por pares. Compararon el primer borrador de un artículo, publicado en línea antes de cualquier revisión, con la versión final publicada en una revista. Para los artículos aceptados por revistas selectas y rigurosas, la versión final era notablemente mejor, con métodos más claros y evidencia más sólida. Pero para los artículos publicados en megarevistas comerciales, la versión final era apenas diferente del borrador y, en algunos casos, el proceso de revisión de hecho empeoró el artículo al introducir nuevos errores. El estudio encontró que el sistema de IA ciego podía detectar casi todas las críticas que los revisores humanos pasaban por alto, incluyendo errores matemáticos y afirmaciones biológicas imposibles, además de detectar fallos que los revisores humanos habían pasado por alto por completo.

Al mirar hacia atrás sobre treinta y cinco años de literatura científica, el equipo encontró una clara tendencia descendente en la calidad. La puntuación promedio de los artículos ha caído constantemente desde la década de 1990. Este declive no se debió a que las revistas establecidas bajaran sus estándares, sino porque la mezcla de la investigación publicada ha cambiado. El campo se ha desplazado de los experimentos primarios realizados en laboratorios húmedos hacia estudios que simplemente reanalizan datos existentes de bases de datos públicas, utilizando a menudo plantillas formulaicas que no se ajustan a la pregunta específica. Aunque estos estudios de bases de datos son más baratos y rápidos de producir, son mucho más propensos a contener errores fundamentales. El estudio mostró que los equipos de investigación bien financiados no producen automáticamente una mejor ciencia; una vez alcanzado cierto nivel de financiación, añadir más dinero no mejora la calidad del artículo. Del mismo modo, las revistas más caras no necesariamente publican la ciencia más rigurosa.

Quizás la parte más sorprendente del estudio fue que los investigadores utilizaron su propio sistema para auditar sus propias carreras. Alimentaron el sistema con 238 de sus propios artículos publicados. La IA encontró errores reales en su trabajo, incluyendo errores de copiar y pegar en tablas, unidades mal etiquetadas y fallos estadísticos que habían pasado desapercibidos tanto para los autores como para los revisores humanos originales. El sistema incluso detectó cinco errores en el borrador de este mismo estudio antes de su publicación. Esta autoauditoría demostró que ningún científico es inmune a los errores y que un control automatizado y objetivo puede detectar errores que la fatiga o el sesgo humano podrían pasar por alto.

Los investigadores concluyen que el sistema actual de publicación científica está bajo presión, pero ofrecen un camino práctico. Sugieren que se podría realizar un control automatizado y sencillo en cada artículo antes de que se envíe a los revisores humanos. Este control costaría solo unos pocos centavos por artículo, una fracción mínima del costo de la mano de obra humana, pero podría detectar miles de errores que de otro modo pasarían desapercibidos. Al eliminar la influencia de la fama y el prestigio, y al centrarse estrictamente en la lógica y la evidencia dentro del texto, tal sistema podría ayudar a restaurar la confiabilidad de la literatura científica. El objetivo no es reemplazar a los expertos humanos, sino darles una base mejor sobre la cual trabajar, asegurando que la ciencia que leemos sea tan sólida como afirma ser.