Tracking claim changes from preprint to publication across 72,644 biomedical studies using large language models

Imagina el mundo de la investigación biomédica como una cocina masiva donde los científicos están constantemente cocinando nuevas recetas (sus estudios). Durante mucho tiempo, estas recetas solo se servían al público después de una estricta "prueba de sabor" por parte de un panel de críticos expertos (revisión por pares). Pero recientemente, los chefs han comenzado a publicar sus recetas crudas y sin probar en un tablero de anuncios público llamado preprint (como bioRxiv) para que todos puedan verlas de inmediato.

Algunas personas temen que, debido a que estas recetas aún no han sido sometidas a una prueba de sabor, puedan estar llenas de errores o exageraciones. Este estudio decidió resolver esa preocupación analizando 72.644 pares de recetas: la versión original publicada en el tablero de anuncios y la versión final aprobada que se sirve en el restaurante después de que los críticos dieran su sello de aprobación.

Esto es lo que los investigadores encontraron, utilizando un asistente de IA súper inteligente (como un editor muy cuidadoso) para comparar las dos versiones:

1. El mensaje central se mantiene igual

Piensa en la afirmación principal de un estudio como el titular de una noticia. Los investigadores descubrieron que para casi el 90% de los estudios, el titular no cambió mucho.

• El 40% de las veces, el titular fue exactamente el mismo.
• El 50% de las veces, el titular recibió un poco de pulido o un ligero ajuste, como cambiar "Encontramos una cura" por "Encontramos un tratamiento prometedor".
• Solo el 10% de las veces el titular recibió un cambio de imagen completo.

En otras palabras, el "alma" de la investigación suele sobrevivir intacta al viaje desde el tablero de anuncios hasta la publicación final.

2. Los científicos se vuelven más cautelosos, no más confiados

Cuando los científicos publican un preprint, suelen estar emocionados y seguros. Después de que los críticos revisan su trabajo, tienden a moderar la emoción ligeramente.

• Imagina a un científico diciendo: "¡Este fármaco es un milagro!" en el preprint.
• En el artículo final, podrían cambiarlo a: "Este fármaco muestra resultados prometedores".
• El estudio encontró que los científicos tenían el doble de probabilidades de volverse más cuidadosos y cautelosos después de la revisión que de volverse más confiados. Rara vez hicieron que sus afirmaciones sonaran más dramáticas después de que los críticos los observaran.

3. El tiempo importa, pero las tendencias están mejorando

• El juego de la espera: Si un estudio permaneció en la cola de revisión durante mucho tiempo (el "carril lento"), tenía más probabilidades de recibir una reescritura importante (14% de probabilidad) en comparación con aquellos que fueron revisados rápidamente (7% de probabilidad). Parece que cuanto más tiempo mastican los críticos una receta, más probable es que pidan un cambio total de la misma.
• Mejorando: A lo largo de los años (de 2019 a 2024), la necesidad de reescrituras importantes ha disminuido significamente. Es como si los chefs se estuvieran volviendo mejores escribiendo sus recetas antes de enviarlas siquiera a los críticos.

4. La "red de seguridad del preprint"

El estudio también notó algo interesante sobre los artículos que nunca llegaron al tablero de anuncios. Estos artículos fueron retractados (retirados del registro porque eran erróneos) al doble de la tasa de los artículos que sí comenzaron como preprints. Es como si publicar una receta temprano y dejar que el público la vea primero actuara como un control de seguridad, detectando errores antes de que se vuelvan permanentes.

La conclusión principal

La idea principal es sencilla: Los preprints son una fuente fiable de verdad.

Solo porque un estudio científico aún no haya sido publicado "oficialmente" no significa que sus hallazgos principales sean conjeturas salvajes. El viaje desde el tablero de anuncios del preprint hasta la publicación final suele implicar solo un poco de pulido, no una reescritura completa. Las afirmaciones centrales de la mayor parte de la investigación biomédica son sólidas, incluso antes de que los críticos finales den su aprobación.