Tracking claim changes from preprint to publication across 72,644 biomedical studies using large language models

Immaginate il mondo della ricerca biomedica come una mastodontica cucina dove gli scienziati stanno costantemente cucinando nuove ricette (i loro studi). Per molto tempo, queste ricette venivano servite al pubblico solo dopo un rigoroso "test di assaggio" da parte di una commissione di critici esperti (la revisione paritaria o peer review). Ma recentemente, gli chef hanno iniziato a pubblicare le loro ricette grezze e non ancora testate su una bacheca pubblica chiamata preprint (come bioRxiv) per permettere a tutti di vederle immediatamente.

Alcune persone temono che, poiché queste ricette non sono ancora state sottoposte al test di assaggio, possano essere piene di errori o esagerazioni. Questo studio ha deciso di risolvere questo dubbio esaminando 72.644 coppie di ricette: la versione originale pubblicata sulla bacheca e la versione finale approvata e servita al ristorante dopo che i critici le hanno dato il loro timbro di approvazione.

Ecco cosa hanno scoperto i ricercatori, utilizzando un assistente IA super intelligente (come un editor molto attento) per confrontare le due versioni:

1. Il messaggio centrale rimane lo stesso

Pensate alla rivendicazione principale di uno studio come al titolo di una notizia. I ricercatori hanno scoperto che per quasi il 90% degli studi, il titolo non cambiava molto.

• Il 40% delle volte, il titolo era esattamente lo stesso.
• Il 50% delle volte, il titolo riceveva una piccola lucidatura o un leggero ritocco, come cambiare "Abbiamo trovato una cura" in "Abbiamo trovato un trattamento promettente".
• Solo il 10% delle volte il titolo subiva una trasformazione completa.

In altre parole, l' "anima" della ricerca di solito sopravvive intatta al viaggio dalla bacheca alla pubblicazione finale.

2. Gli scienziati diventano più cauti, non più sicuri di sé

Quando gli scienziati pubblicano un preprint, sono spesso entusiasti e sicuri di sé. Dopo che i critici hanno revisionato il loro lavoro, tendono a moderare leggermente l'entusiasmo.

• Immaginate uno scienziato che dice: "Questo farmaco è un miracolo!" nel preprint.
• Nel documento finale, potrebbero cambiare in: "Questo farmaco mostra risultati promettenti".
• Lo studio ha scoperto che gli scienziati avevano il doppio delle probabilità di diventare più cauti e prudenti dopo la revisione rispetto a quanto non fossero di diventare più sicuri di sé. Raramente rendevano le loro affermazioni più drammatiche dopo che i critici le avevano esaminate.

3. Il tempo conta, ma i trend stanno migliorando

• Il gioco dell'attesa: Se uno studio è rimasto in coda per la revisione per molto tempo (la "corsia lenta"), aveva maggiori probabilità di subire una riscrittura importante (14% di probabilità) rispetto a quelli che sono stati revisionati rapidamente (7% di probabilità). Sembra che più a lungo i critici masticano una ricetta, più è probabile che chiedano un cambiamento totale della ricetta stessa.
• Miglioramento costante: Nel corso degli anni (dal 2019 al 2024), la necessità di riscritture importanti è diminuita significativamente. È come se gli chef stessero diventando più bravi a scrivere le loro ricette prima ancora di inviarle ai critici.

4. La "rete di sicurezza del preprint"

Lo studio ha anche notato qualcosa di interessante riguardo ai lavori che non sono mai arrivati alla bacheca. Questi lavori sono stati ritirati (rimossi dai registri perché errati) con un tasso due volte superiore rispetto ai lavori che sono iniziati come preprint. È come se pubblicare una ricetta in anticipo e lasciare che il pubblico la veda per primo fungesse da controllo di sicurezza, intercettando gli errori prima che diventino permanenti.

Il punto fondamentale

Il messaggio principale è semplice: I preprint sono una fonte affidabile di verità.

Solo perché uno studio scientifico non è ancora stato "ufficialmente" pubblicato, non significa che le sue scoperte principali siano congetture selvagge. Il viaggio dal preprint sulla bacheca alla pubblicazione finale comporta solitamente solo una piccola lucidatura, non una riscrittura completa. Le rivendicazioni centrali della maggior parte della ricerca biomedica sono solide, anche prima che i critici finali diano la loro approvazione.