Information loss in evidence synthesis: a meta-research study of exercise intervention reporting in randomized controlled trials and systematic reviews
Questo studio di meta-ricerca dimostra che le revisioni sistematiche degli interventi di esercizio fisico soffrono di una significativa perdita di informazioni rispetto ai loro studi controllati randomizzati di origine, principalmente a causa di una segnalazione originale incompleta e di un ulteriore calo durante il processo di sintesi, in particolare riguardo all'attrezzatura, all'aderenza, alle caratteristiche del fornitore e ai metodi di personalizzazione.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di avere la ricetta segreta per la torta al cioccolato più incredibile del mondo. La scrivi nel tuo grande e dettagliato quaderno (il Saggio Clinico Randomizzato, o RCT). Elenca esattamente quanto zucchero, che tipo di farina, la temperatura del forno e persino la marca specifica dello sbattitore che hai usato.
Ora, immagina che un critico gastronomico (la Revisione Sistematica, o SR) voglia riassumere le migliori ricette di torte da 130 pasticceri diversi per dire al mondo: "Ehi, la torta al cioccolato è fantastica!". Il critico legge il tuo quaderno e scrive un breve riassunto.
Ecco il problema che questo articolo ha scoperto: il critico ha buttato via quasi tutte le parti buone.
La grande fuga della ricetta
I ricercatori hanno esaminato 130 "ricette" di esercizio fisico (interventi) dai quaderni dei saggi originali e le hanno confrontate con i riassunti scritti nelle revisioni sistematiche. Hanno utilizzato tre diverse checklist per vedere quanti dettagli sopravvivevano nel viaggio dal quaderno al riassunto.
I risultati sono stati un po' uno shock:
- I Quaderni Originali: Gli autori dei saggi originali stavano in realtà andando abbastanza bene. In media, includevano circa il 66,7% dei dettagli necessari per comprendere l'esercizio (usando la checklist TIDieR) e il 53,2% usando la checklist specifica per l'esercizio (CERT).
- I Riassunti: Quando le revisioni riassumevano questi saggi, i dettagli svanivano. I riassunti mantenevano solo il 16,7% dei dettagli di entrambe le checklist.
Pensalo in questo modo: se la ricetta originale diceva: "Usa 2 tazze di farina King Arthur, setacciata due volte, a 3اً5°F per 25 minuti", il riassunto diceva solo: "Usa farina e cuoci".
Cosa si è perso nel caos?
L'articolo ha misurato esattamente cosa è scomparso. Non è stato casuale; i dettagli specifici e cruciali sono stati i primi a sparire.
- Attrezzatura: Nel 98,9% dei casi in cui il saggio originale menzionava quale attrezzatura fosse stata utilizzata (come un tapis roulant specifico o una macchina per pesi), la revisione l'ha omessa completamente.
- Chi lo ha fatto: Il 94,9% delle volte, le revisioni hanno dimenticato di dire chi insegnava l'esercizio (un istruttore con un dottorato? un infermiere? un volontario?).
- Costanza: Il 97,2% delle volte, le revisioni non menzionavano se le persone avessero effettivamente seguito il piano (aderenza) o se gli insegnanti avessero seguito le regole (fedeltà).
- Sicurezza: L'87,5% delle volte, qualsiasi menzione di effetti collaterali negativi (eventi avversi) è stata scartata.
Fondamentalmente, le revisioni ci dicevano che un esercizio funzionava, ma eliminavano il "come", il "chi", il "dove" e il "cosa succede se fa male".
Le "Nuove Regole" hanno aiutato?
Potresti pensare: "Aspetta, non avevano rilasciato nuovi manuali di regole (TIDieR nel 2014 e CERT successivamente) per dire agli autori di scrivere meglio?".
L'articolo ha controllato questo punto. Hanno esaminato i saggi pubblicati prima e dopo l'uscita di questi manuali di regole.
- Il Risultato: L'articolo ha trovato che non c'è stato un miglioramento chiaro. La quantità di dettagli nei saggi originali è rimasta approssimativamente la stessa (completezza del 53,1% al 53,3%) indipendentemente dal fatto che i manuali di regole esistessero o meno.
- Il Problema del Riassunto: I dati hanno mostrato una perdita di informazioni mediana più alta nelle revisioni pubblicate dopo i manuali di regole rispetto a quelle precedenti. Tuttavia, gli autori avvertono che questa è una scoperta descrittiva derivante da un campione limitato e può essere influenzata da altri fattori, come il tipo di esercizio o l'area clinica, piuttosto che dimostrare che i manuali abbiano peggiorato le cose.
Quindi, l'articolo sostiene che avere un manuale di regole sullo scaffale non è sufficiente. Gli autori non lo seguono e i revisori non lo cercano.
Il mito dell' "Alta Qualità"
I ricercatori hanno anche controllato se le "migliori" revisioni (le revisioni Cochrane, che sono solitamente il gold standard) facessero un lavoro migliore.
- La Scoperta: Anche le revisioni Cochrane di alta qualità hanno perso una quantità enorme di informazioni. Sebbene abbiano perso leggermente meno rispetto ad altri tipi di revisioni, hanno comunque scartato circa il 22,6% dei dettagli disponibili.
- La Conclusione: Essere una revisione di "alta qualità" non significa essere bravi a mantenere i dettagli della ricetta. Puoi essere uno scienziato perfetto ma riassumere comunque la ricetta come "mangia la torta".
Il Verdetto
L'articolo conclude che stiamo perdendo informazioni in due punti:
- Alla fonte: Gli autori dei saggi originali non scrivono abbastanza dettagli fin dall'inizio.
- Durante il riassunto: Anche quando i dettagli sono presenti, i revisori li buttano via.
Gli autori suggeriscono che se vogliamo sapere se un programma di esercizi può essere copiato in una vera palestra o in un ospedale, abbiamo bisogno sia che gli autori originali scrivano ricette migliori, sia che i revisori smettano di riassumerle in etichette vaghe come "esercizio aerobico". Senza entrambi i passaggi, sappiamo che la torta è buona, ma non abbiamo idea di come cucinarla noi stessi.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.