Faster science, penalties in evaluation, and concerns on quality and impact: Researchers' use and perceptions of preprints

Uno studio su larga scala rivela che, nonostante l'adozione diffusa dei preprint da parte dei ricercatori biomedici per la rapida diffusione delle conoscenze, l'assenza di peer review formale, le preoccupazioni per la qualità e le sanzioni nelle valutazioni accademiche ostacolano una piena integrazione culturale, richiedendo un adattamento dei sistemi di valutazione e nuove meccanismi di controllo qualità.

L'essenziale

Immagina il mondo della scienza come una gigantesca corsa di Formula 1. Per decenni, le auto (le scoperte scientifiche) dovevano passare attraverso un lunghissimo e rigoroso controllo tecnico (la revisione tra pari o peer review) prima di poter essere mostrate al pubblico o iniziare a gareggiare. Questo controllo garantiva che l'auto fosse sicura, ma spesso richiedeva mesi o addirittura anni.

Ora, è nata una nuova regola: le "pre-print". Sono come le auto che escono dal garage senza aspettare il controllo finale, pronte a correre subito per far vedere quanto sono veloci.

Questo studio, condotto da ricercatori americani e canadesi, ha chiesto a migliaia di scienziati del settore medico: "Cosa ne pensate di queste auto che corrono senza controllo?". Ecco cosa hanno scoperto, spiegato in modo semplice.

1. La corsa è veloce, ma la fiducia è lenta

Gli scienziati amano le pre-print per un motivo principale: la velocità.
È come se tutti volessero essere i primi a pubblicare un video virale su TikTok. Se pubblichi subito, ottieni visibilità, citazioni e lodi prima degli altri.

• Il problema: Nessuno sta usando le pre-print per "parlare" o migliorare la scienza insieme (come si sperava). La usano solo per dire: "Guardate, l'ho scoperto io per primo!".
• La metafora: È come se tutti corressero a una maratona urlando "Sono il primo!", ma nessuno si fermasse ad aiutare chi è caduto o a discutere il percorso.

2. Il filtro dell'"Autore Famoso"

Poiché queste "auto" non hanno il timbro di sicurezza ufficiale (la revisione), come fa un lettore a sapere se sono sicure?
Gli scienziati usano un trucco: guardano chi guida l'auto.

• Se l'auto è guidata da un pilota famoso (un professore molto conosciuto o un'istituzione prestigiosa), la gente pensa: "Dev'essere sicura, è lui che la guida!".
• Se l'auto è guidata da un pilota sconosciuto (un ricercatore giovane), la gente esita: "Chi è? È sicuro?".
• Il paradosso: Questo crea un circolo vizioso. I giovani ricercatori, che hanno più bisogno di visibilità, vengono ignorati perché non sono "famosi", mentre i grandi nomi ricevono ancora più attenzione, anche se a volte le loro idee potrebbero non essere perfette.

3. Il "Muro di Gomma" nelle valutazioni di carriera

Qui arriva la parte più dolorosa. Immagina di essere un giovane scienziato che vuole diventare professore o ottenere un finanziamento.

• La realtà: Anche se pubblichi le tue scoperte velocemente sulle pre-print, i "giudici" (i comitati di assunzione o chi assegna i fondi) spesso le guardano con sospetto.
• La metafora: È come se tu avessi vinto una gara di nuoto in una piscina privata, ma il comitato olimpico ti dicesse: "Non contiamo il tuo tempo perché non c'era il giudice ufficiale in acqua".
• Molti ricercatori hanno paura di usare le pre-print perché temono che questo possa danneggiare la loro carriera. Per loro, è più sicuro aspettare il controllo ufficiale, anche se ci vuole un anno in più.

4. La paura dei "Falsi" e dell'Intelligenza Artificiale

C'è un'altra grande preoccupazione, come un fantasma che spaventa tutti.
Con l'avvento dell'Intelligenza Artificiale (AI), è diventato facilissimo creare documenti scientifici che sembrano veri ma sono completamente inventati o pieni di errori.

• Il timore: Se le pre-print diventano troppo comuni senza controlli, potremmo essere inondati di "spazzatura" o informazioni false che la gente (o i pazienti) potrebbe prendere sul serio.
• È come se in una piazza affollata chiunque potesse urlare una notizia falsa senza che nessuno la verifichi: alla fine, nessuno si fida più di nessuno.

In sintesi: Cosa ci dice questo studio?

Il mondo scientifico è in un dilemma:

1. Vogliamo la velocità: Vogliamo condividere le cure e le scoperte il prima possibile per salvare vite.
2. Abbiamo paura della qualità: Vogliamo essere sicuri che le informazioni siano vere e non pericolose.

Attualmente, il sistema è bloccato perché la paura vince sulla velocità. I giovani ricercatori sono intrappolati: se corrono veloci (usano le pre-print), rischiano di non essere presi sul serio; se aspettano il controllo, perdono tempo e visibilità.

La soluzione?
Gli autori dello studio suggeriscono che non basta solo "correre più veloci". Dobbiamo inventare nuovi sistemi di controllo che funzionino anche per le pre-print. Immagina un "semaforo intelligente" che, invece di bloccare l'auto, ti dica subito: "Attenzione, questa auto ha i freni funzionanti (dati aperti)" o "Questa auto è guidata da un esperto". Solo così potremo avere sia la velocità che la sicurezza, senza che i giovani ricercatori rimangano indietro.

Sommario tecnico

Titolo dello Studio

Scienza più veloce, penalità nella valutazione e preoccupazioni sulla qualità e l'impatto: Uso e percezioni dei preprint da parte dei ricercatori.

1. Il Problema

L'ecosistema dei preprint si è espanso rapidamente nell'ultimo decennio, alterando fondamentalmente la comunicazione scientifica. Tuttavia, l'adozione nel settore biomedico è stata più lenta rispetto ad altre discipline (come l'informatica) a causa delle preoccupazioni sulla sicurezza sanitaria derivante dalla diffusione di informazioni non verificate.
Il problema centrale identificato dallo studio è la tensione tra due esigenze opposte:

• La necessità di accelerare la scienza: I preprint offrono una diffusione rapida dei risultati, superando i ritardi della revisione paritaria (peer review).
• I rischi di qualità e integrità: L'assenza di revisione paritaria formale genera preoccupazioni su frodi, disinformazione e la perdita di fiducia pubblica nella scienza, aggravate dall'emergere di contenuti generati dall'Intelligenza Artificiale (AI).

Nonostante le politiche di finanziamento che incoraggiano i preprint, manca una comprensione approfondita di come i ricercatori (in qualità di autori, lettori e valutatori) li utilizzino, li percepiscano in termini di qualità e come questi vengano considerati nelle valutazioni accademiche (carriera, finanziamenti, promozioni).

2. Metodologia

Lo studio si basa su un'indagine su larga scala condotta tra studiosi biomedici negli Stati Uniti e in Canada.

• Campione e Raccolta Dati:
  • Popolazione: Ricercatori affiliati a istituzioni USA e Canada, identificati tramite indirizzi email associati a pubblicazioni (dati da iCite/NIH Open Citation Collection e Web of Science).
  • Periodo: Marzo - Maggio 2025.
  • Risultati: Su 213.340 email consegnate con successo, 5.855 hanno iniziato il sondaggio e 1.874 lo hanno completato (tasso di completamento del 32,0%). Il campione analitico finale include 1.758 partecipanti.
  • Demografia: Il 76,7% proviene da istituzioni di istruzione superiore e ricerca; il 53,3% sono professori ordinari, il 25,4% associati e l'8,6% assistenti. Il 50,8% sono uomini, il 29,6% donne.
• Strumenti Analitici:
  • Regressione Logistica Ordinale: Utilizzata per esaminare le differenze di gruppo nell'uso e nella percezione dei preprint (variabili dipendenti: frequenza di lettura, citazione, invio; motivazioni; percezione di qualità e impatto; credito accademico).
  • Analisi dei Contenuti Deduttiva: Applicata a 424 commenti testuali liberi per identificare temi e sentiment (positivo, neutro, negativo) relativi a qualità, impatto sulla comunità e sviluppo professionale.

3. Contributi Chiave

Lo studio fornisce evidenze empiriche integrate che collegano il comportamento d'uso (lettura, citazione, invio) con le percezioni di qualità, impatto sulla carriera e credibilità nelle valutazioni accademiche. A differenza di studi precedenti focalizzati su singoli attori o regioni specifiche (spesso asiatiche), questo lavoro offre una visione olistica del contesto nordamericano biomedico, evidenziando le interazioni complesse tra velocità di diffusione, meccanismi di filtraggio della qualità e barriere strutturali nella carriera accademica.

4. Risultati Principali

A. Utilizzo e Motivazioni: "Velocità" contro "Dialogo"

• Uso Attivo: C'è un coinvolgimento robusto: il 56,6% legge 1-5 preprint al mese; il 43,3% ne ha inviati 1-5 negli ultimi due anni.
• Motivazione Pragmatica: La motivazione dominante è la tempestività (46,6% per la lettura, 70,0% per la citazione). I ricercatori cercano di stabilire la priorità delle idee e accelerare la diffusione.
• Mancanza di Dialogo: La ricezione di feedback aperto è la motivazione meno prioritaria (solo il 25,6% la considera importante). I preprint sono usati principalmente per "trasmettere" risultati, non per invitare critiche costruttive.
• Filtro di Reputazione: In assenza di revisione paritaria, la reputazione dell'autore è l'euristica principale per valutare la credibilità. Circa il 46% dei lettori considera la presenza di nomi famosi un fattore cruciale. Le donne tendono a fare più affidamento sulla lista degli autori rispetto agli uomini.

B. Qualità Percepita e Rischi

• Incertezza sulla Qualità: Oltre il 66% di coloro che non leggono preprint cita la preoccupazione per la qualità come deterrente principale.
• Paradosso della Trasparenza: Sebbene il design scientifico sia valutato positivamente, c'è una forte preoccupazione (oltre il 33%) riguardo alla disponibilità di materiali di ricerca (dati e codice).
• Minacce Emergenti: Esiste una forte preoccupazione per la diffusione di disinformazione e frodi, aggravata dalla capacità dell'AI di generare contenuti scientifici falsi o di bassa qualità.

C. Impatto sulla Carriera: "Il Tetto di Carta" e le Penalità

• Doppia Percezione: I preprint sono visti come asset per il networking e le collaborazioni (specialmente per i ricercatori junior), ma come penalità nelle valutazioni formali.
• Penalità Strutturali:
  • Il 21,5% dei rispondenti ritiene che i preprint abbiano un effetto negativo sulla promozione e sull'assunzione.
  • I revisori per i finanziamenti e i comitati di assunzione tendono a assegnare meno credito ai preprint rispetto alle pubblicazioni peer-reviewed (circa il 55% dei comitati di assunzione assegna meno credito).
  • I ricercatori junior percepiscono un rischio maggiore di non riconoscimento rispetto ai senior.
• Il "Gatekeeper Gap": I decisori (gatekeeper) applicano penalità sistemiche per gestire il rischio e l'efficienza, preferendo le pubblicazioni tradizionali come garanzia di qualità, creando un circolo vizioso che svantaggia i ricercatori che adottano i preprint.

D. Differenze Demografiche

• I ricercatori junior sono più propensi a leggere, citare e inviare preprint, e ne percepiscono un impatto positivo maggiore rispetto ai senior.
• Tuttavia, i senior e i decisori tendono a essere più conservatori, basandosi sulla reputazione e sulle metriche tradizionali.

5. Significato e Implicazioni

Lo studio rivela che l'ecosistema dei preprint è bloccato in una fase di transizione problematica:

1. Dilemma della Fiducia: La mancanza di un meccanismo di controllo qualità scalabile costringe i ricercatori a fare affidamento sulla reputazione degli autori, rafforzando l'effetto "Matthew" (i famosi diventano più famosi, i junior vengono ignorati).
2. Barriere alla Carriera: Le penalità nelle valutazioni accademiche (finanziamenti, promozioni) disincentivano l'adozione diffusa, specialmente tra i ricercatori emergenti che potrebbero beneficiare maggiormente della visibilità rapida.
3. Necessità di Innovazione: Per risolvere queste tensioni, è necessario evolvere l'ecosistema dei preprint:
   • Sviluppare meccanismi di controllo qualità innovativi (es. framework di riassunto della qualità, verifica della disponibilità di dati/codice) che vadano oltre la semplice reputazione dell'autore.
   • Adattare i quadri di valutazione accademica per riconoscere i preprint come contributi validi, riducendo le penalità strutturali.
   • Affrontare le minacce dell'AI e della disinformazione per mantenere la fiducia pubblica nella scienza.

In conclusione, affinché i preprint realizzino appieno il loro potenziale di accelerazione della scienza, è necessario passare da un modello basato sulla "velocità" a uno che integri dialogo scientifico, trasparenza metodologica e sistemi di valutazione equi.