Attempts to Reproduce Health Sciences Research Are Uncommon and May Be Declining Over Time: A Systematic Review and Meta-Analysis

Sintesi Tecnica: "I tentativi di riprodurre la ricerca nelle scienze della salute sono poco comuni e potrebbero essere in diminuzione nel tempo"

Problematica
Nonostante le ampie preoccupazioni riguardanti l'irreproducibilità della ricerca nelle scienze della salute — citata come causa di spreco di risorse, danni ai pazienti ed erosione della fiducia pubblica — vi è una mancanza di quantificazione sistematica su quanto frequentemente la comunità scientifica tenti di riprodurre il lavoro precedente. Sebbene si stimi che una parte significativa dei metodi e dei risultati delle scienze della salute non sia riproducibile, rimane poco chiaro quanto comunemente vengano condotti studi di riproducibilità dedicati per monitorare questo problema. Inoltre, i trend temporali di questi sforzi in risposta alle crescenti preoccupazioni sulla riproducibilità non sono ben caratterizzati. Questo studio affronta la lacuna conoscitiva relativa alla prevalenza dei tentativi di riproducibilità, ai metodi utilizzati per identificarli e alla loro evoluzione nel tempo.

Metodologia
Questa revisione sistematica e meta-analisi ha seguito le linee guida PRISMA e il manuale Cochrane, con un protocollo registrato a priori su PROSPERO.

• Fonti dei dati: Gli autori hanno cercato in MEDLINE, Embase, Web of Science, il Cochrane Controlled Trials Registry, il Cochrane Database of Systematic Reviews e letteratura grigia dal 1° gennaio 2000 al 31 maggio 2023.
• Criteri di inclusione: Studi in lingua inglese pubblicati dopo il 1999 che stimassero la proporzione di articoli di ricerca pubblicati dedicati alla riproduzione di ricerche precedenti o concomitanti nelle scienze della salute.
• Classificazione della riproducibilità: I tentativi sono stati categorizzati in tre tipi:
  1. Metodologica: Ripetizione esatta dei metodi di un altro studio.
  2. Risultati: Confronto dei risultati utilizzando metodi uguali o simili (ulteriormente classificati come approssimativi, di ri-test o non specificati).
  3. Inferenziale: Confronto delle conclusioni, inclusi i ri-analisi dei dati originali.
• Metodi di identificazione: La revisione ha analizzato come gli studi abbiano identificato i tentativi di riproducibilità: (1) inferenza basata sul linguaggio dello studio, (2) inferenza basata sulla comparabilità degli elementi di design tra gli studi, o (3) segnalazione esplicita che uno studio fosse un tentativo di riproducibilità.
• Analisi statistica: Le stime di prevalenza sono state sottoposte a meta-analisi utilizzando modelli a effetti casuali (regressione logistica a effetti misti) pesati in base alla dimensione del campione. L'eterogeneità è stata valutata tramite la Q di Cochrane. È stata impiegata la meta-regressione con covariate variabili nel tempo per valutare i trend temporali, con una soglia di significatività statistica di p < 0,01. Sono state condotte analisi di sensibilità utilizzando le date di pubblicazione più antiche, mediane e più recenti dei dati sottostanti per tenere conto dei dataset pluriennali.

Risultati Chiave

• Selezione degli studi: Da 55.218 articoli sottoposti a screening, sono stati inclusi 41 studi, che rappresentano 30 distinte aree di ricerca Clarivate attraverso domini biomedici/preclinici (n=10), clinici (n=26), salute della popolazione (n=2) e domini multipli (n=3).
• Prevalenza complessiva: La prevalenza stimata aggregata dei tentativi di riproducibilità nelle pubblicazioni delle scienze della salute tra il 2000 e il 2023 è stata del 1,6% (95% CI: 0,6–4,2%).
• Variabilità: La prevalenza variava significativamente per dominio di ricerca, area di ricerca e metodo utilizzato per identificare i tentativi.
  • Per Dominio: La salute della popolazione ha mostrato la prevalenza più alta (3,5%), seguita da biomedico/preclinico (3,0%), clinico (1,3%) e domini multipli (0,1%).
  • Per Metodo di Identificazione: Gli studi inferiti tramite il linguaggio (12,6%) o la comparabilità del design (11,9%) hanno mostrato una prevalenza molto più alta rispetto a quelli esplicitamente riportati come tentativi di riproducibilità (0,3%).
  • Per Area di Ricerca: Le stime variavano dallo 0,0% al 77,8%, sebbene 22 delle 30 aree di ricerca si basassero su singoli studi.
• Trend Temporali: La meta-regressione ha identificato un aumento non significativo degli odds di tentativi di riproducibilità all'anno tra il 2000 e il 2015 (aumento del 49,8%, p=0,03). Tuttavia, ciò è stato seguito da una diminuzione significativa tra il 2016 e il 2023, con una diminuzione degli odds del 50,2% all'anno (p < 0,001).
• Sensibilità: Il reperto del declino post-2016 è stato sensibile alle assunzioni analitiche. Quando le analisi di sensibilità hanno assegnato diverse date di pubblicazione (più antiche, mediane, più recenti) ai dati pluriennali, i declini osservati sono diventati non significativi, suggerendo che il trend debba essere interpretato con cautela.

Significatività e Rivendicazioni
Gli autori concludono che i tentativi di riprodurre la ricerca nelle scienze della salute costituiscono una piccola proporzione della letteratura e potrebbero essere in diminuzione. Lo studio evidenzia diverse implicazioni critiche:

1. Necessità di un maggiore impegno: Nonostante la riconosciuta importanza della riproducibilità, la proporzione di letteratura dedicata ad essa è bassa e sembra essere diminuita dal 2016. Gli autori sostengono la necessità di un maggiore investimento nei tentativi di riproducibilità per identificare la scienza irreproducibile e costruire basi di evidenza robuste.
2. Standardizzazione della classificazione: La significativa variazione nelle stime di prevalenza in base a come i tentativi vengono identificati (espliciti vs inferiti) sottolinea la necessità di metodi standardizzati per classificare e riportare i tentativi di riproducibilità. Distinguere tra tentativi di riproducibilità deliberati e incidentali è necessario per una meta-scienza accurata.
3. Monitoraggio di domini specifici: Gli autori notano una mancanza di stime per la riproducibilità metodologica e inferenziale specificamente. Suggeriscono che il monitoraggio di questi tipi sia cruciale, specialmente dati gli interventi esistenti (ad esempio, registri dei protocolli, linee guida di reporting) volti a migliorare il rigore metodologico.
4. Direzioni per la ricerca futura: Il documento invita gli studi primari a quantificare la prevalenza di diversi tipi di riproducibilità e a investigare la relazione tra la prevalenza dei tentativi di riproduzione e altri parametri di robustezza scientifica (ad esempio, rischio di bias, tassi di ritrazione).

Lo studio enfatizza che la riproducibilità della ricerca non viene monitorata in modo routinario o costante. Di conseguenza, vi è un urgente bisogno di aumentare il volume dei tentativi di riproducibilità e di standardizzare la loro classificazione e il loro reporting per valutare meglio l'affidabilità dei risultati scientifici.