Does the sensitivity- and precision-maximizing RCT filter find all 'included' records retrieved by the sensitivity-maximizing filter on Ovid MEDLINE? An investigation using 14 Cochrane reviews

Lo studio dimostra che il filtro SaPM per Ovid MEDLINE riduce significativamente il carico di screening rispetto al filtro SM, con un rischio trascurabile di perdere record pertinenti che può essere mitigato tramite la ricerca nelle citazioni.

L'essenziale

🕵️‍♀️ La Caccia all'Ago nel Fienile: Due Reti Diverse

Immagina di dover trovare degli aghi d'oro (gli studi scientifici perfetti, chiamati "Randomized Controlled Trials" o RCT) in un fienile gigantesco pieno di paglia, vecchi giornali e oggetti inutili (la stragrande maggioranza degli articoli scientifici). Questo fienile è il database Ovid MEDLINE, che contiene milioni di documenti.

Per non impazzire cercando a mano ogni singolo pezzo di paglia, gli esperti usano delle reti speciali (chiamate "filtri di ricerca") per catturare solo gli aghi d'oro.

Questo studio ha confrontato due tipi di reti diverse:

1. La Rete "Super Sensibile" (SM): È una rete con maglie piccolissime. Cattura quasi tutto. Il rischio è che, insieme agli aghi d'oro, ti porti dentro anche un sacco di paglia, sassi e vecchi giornali. È sicura, ma devi setacciare un mucchio di roba.
2. La Rete "Intelligente e Precisa" (SaPM): È una rete un po' più grande. È progettata per essere più intelligente: cerca di lasciar passare meno spazzatura, ma c'è un piccolo rischio che qualche ago d'oro molto particolare possa sfuggire.

🧪 Cosa hanno fatto gli scienziati?

Gli autori dello studio (un team di esperti di York, nel Regno Unito) hanno preso 14 grandi ricerche mediche già fatte (le "Cochrane Reviews"). Queste ricerche avevano già usato la Rete Super Sensibile e avevano trovato i loro "aghi d'oro" (gli studi inclusi).

Hanno poi preso questi stessi aghi d'oro e hanno provato a lanciarli attraverso la Rete Intelligente per vedere:

• Quanti aghi sono stati catturati anche dalla seconda rete?
• Quanti sono scappati?
• Quanta "paglia" (studi inutili) hanno dovuto scartare in meno con la seconda rete?

📊 I Risultati: Cosa è successo?

Ecco le scoperte principali, spiegate con metafore:

1. La Rete Intelligente è quasi perfetta (ma non al 100%)
La Rete Intelligente (SaPM) ha trovato il 95,9% degli aghi d'oro che la Rete Super Sensibile aveva trovato. La Rete Super Sensibile ne ha trovati il 98,2%.

• In parole povere: La Rete Intelligente ne ha persi solo un po' di più (circa il 2-3% in più). È come se avessi perso 3 aghi su 100, ma ne avessi recuperati 97.

2. Il grande vantaggio: Meno spazzatura da setacciare!
Qui sta il trucco. La Rete Intelligente ha fatto un lavoro enorme nel ridurre la "paglia".

• Con la Rete Super Sensibile, per trovare un ago d'oro, dovevi leggere in media 189 documenti.
• Con la Rete Intelligente, dovevi leggerne solo 68.
• L'analogia: Immagina di dover pulire una stanza. La prima rete ti fa raccogliere 1000 oggetti per trovare 5 gioielli. La seconda rete ti fa raccogliere solo 300 oggetti per trovarne 4,5. Risparmi tantissimo tempo e fatica! In media, la seconda rete riduce il lavoro di screening del 28% in più rispetto alla prima.

3. Perché alcuni aghi sono scappati?
Alcuni studi sono sfuggiti alla Rete Intelligente perché erano "strani".

• Alcuni non avevano un riassunto (abstract), e la rete intelligente controllava molto il riassunto.
• Alcuni parlavano di "farmaci" in un modo che la rete intelligente non aspettava, mentre la rete super sensibile li aveva catturati per sicurezza.
• Il consiglio: Se il tuo argomento è molto specifico (come i farmaci), forse è meglio usare la rete super sensibile o aggiustare un po' quella intelligente.

4. La soluzione magica: La "Caccia alle Citazioni"
Cosa succede se la Rete Intelligente lascia scappare un ago d'oro?
Gli scienziati hanno scoperto che puoi usare un trucco: guardare chi ha citato quell'ago e chi è stato citato da quell'ago.

• Metafora: Se perdi un ago nel fienile, non devi cercare tutto il fienile di nuovo. Basta chiedere: "Chi ha visto questo ago?" o "Chi ha parlato di questo ago?".
• Risultato: Usando questo metodo (chiamato citation searching), quasi tutti gli aghi persi sono stati ritrovati. Quindi, il rischio di perdere qualcosa è molto basso se sai come "chiedere in giro".

💡 La Conclusione Semplificata

Questo studio ci dice che non dobbiamo per forza usare la rete "super sicura" che ci fa perdere ore a setacciare spazzatura inutile.

• Se vuoi la massima sicurezza assoluta e hai tempo infinito: Usa la Rete Super Sensibile.
• Se vuoi risparmiare tempo e risorse (e sei disposto a fare un piccolo controllo extra alla fine): Usa la Rete Intelligente.

La "Rete Intelligente" è un ottimo compromesso: ti fa risparmiare moltissimo lavoro (quasi un terzo in meno di documenti da leggere) con un rischio minimo di perdere qualcosa, un rischio che puoi quasi annullare controllando le citazioni degli studi.

È come scegliere tra un aspirapolvere che aspira tutto (incluso il tappeto e i giocattoli) e uno più intelligente che aspira solo la polvere ma lascia qualche granello di sabbia: se poi passi un panno veloce per raccogliere i grani di sabbia, hai fatto un ottimo lavoro in metà tempo!

Sommario tecnico

Titolo dello Studio

Il filtro RCT che massimizza sensibilità e precisione trova tutti i record "inclusi" recuperati dal filtro a massimizzazione della sensibilità su Ovid MEDLINE? Un'indagine su 14 revisioni Cochrane.

1. Problema e Contesto

Con la crescita esponenziale della letteratura scientifica su MEDLINE, gli specialisti dell'informazione devono bilanciare la necessità di una ricerca sistematica e sensibile con la gestione di un volume di record gestibile per i team di revisione.

• Filtri di Studio: I filtri di studio sono strategie di ricerca predefinite per identificare specifici disegni di studio (es. RCT). Per Ovid MEDLINE, esistono due versioni validate aggiornate nel 2023:
  • SM (Sensitivity-Maximizing): Massimizza la sensibilità (ricerca il maggior numero possibile di studi pertinenti), ma con una precisione inferiore (molto "rumore").
  • SaPM (Sensitivity-and-Precision-Maximizing): Cerca di bilanciare sensibilità e precisione, riducendo il carico di screening.
• Il Dilemma: La Cochrane raccomanda l'uso del filtro SM come standard, suggerendo SaPM solo se il volume di record è ingestibile. Tuttavia, non esisteva un confronto aggiornato tra le versioni 2023 di questi filtri, specialmente considerando i recenti cambiamenti nell'indicizzazione automatica (machine-indexing) di MEDLINE avviata nell'aprile 2022.
• Obiettivo: Valutare se l'uso del filtro SaPM comporti un rischio accettabile di perdere record pertinenti ("includes") rispetto al filtro SM, quantificando il risparmio nel carico di screening (precisione, NNR, ONNS) e verificando se i record persi possano essere recuperati tramite ricerca bibliografica (citation searching).

2. Metodologia

Lo studio è stato condotto utilizzando i dati finali di 14 revisioni sistematiche Cochrane pubblicate o aggiornate dopo aprile 2022, che avevano utilizzato il filtro SM nella loro ricerca originale.

• Campioni: 14 dataset composti dai record finali "inclusi" (dopo la selezione del testo completo) di queste revisioni. Il numero di record inclusi per dataset variava da 10 a 54 (totale: 394 record su MEDLINE).
• Procedura:
  1. Recupero e Filtraggio: I record inclusi sono stati cercati su Ovid MEDLINE e sottoposti separatamente ai filtri SM e SaPM aggiornati (2023).
  2. Analisi di Ricallo (Recall): Calcolo della percentuale di record inclusi recuperati da ciascun filtro.
  3. Analisi dei Mancati Recupero: Identificazione dei record persi da un filtro ma recuperati dall'altro (yield unico) o persi da entrambi, con analisi delle cause (es. assenza di abstract, mancanza di indicizzazione MeSH specifica).
  4. Ricerca Bibliografica (Citation Searching): Per i record persi, è stata effettuata una ricerca di citazioni in avanti (FCS) e indietro (BCS) utilizzando Web of Science e CitationChaser per vedere se il rischio di perdita poteva essere mitigato.
  5. Metriche di Efficienza: Per 9 delle 14 revisioni (quelle con strategie di ricerca riproducibili su MEDLINE), sono stati calcolati:
     • Precisione: Proporzione di record rilevanti tra quelli recuperati.
     • NNR (Number-Needed-to-Read): Numero di record da leggere per trovare un "incluso".
     • ONNS (Overall Number-Needed-to-Screen): Riduzione percentuale del numero totale di record da screening.

3. Risultati Chiave

Recall (Sensibilità) e Yield Unico

• SM: Ha recuperato il 98,2% (387/394) dei record inclusi. Yield unico: 12 record.
• SaPM: Ha recuperato il 95,9% (378/394) dei record inclusi. Yield unico: 3 record.
• Differenza: Il filtro SaPM ha perso 9 record in più rispetto all'SM (differenza del 2,3%).
• Cause delle perdite:
  • Il filtro SM ha perso record principalmente perché mancava la parola "trial" nel titolo o l'indicizzazione "Clinical Trials as Topic".
  • Il filtro SaPM ha perso record principalmente a causa della mancanza di "trial" nell'abstract, dell'assenza di indicizzazione MeSH specifica o della mancanza di un abstract (il filtro SaPM non cerca il floating subheading "drug therapy", risultando meno efficace per studi farmacologici in alcuni casi).

Efficienza e Carico di Screening

• Precisione: Il SaPM ha una precisione media del 4,4% contro l'1,5% dello SM.
• NNR (Record da leggere): Il SaPM richiede di leggere in media 68 record per trovare un "incluso", contro 189 per lo SM.
• Riduzione ONNS:
  • Lo SM riduce il carico di screening del 54,8% rispetto a una ricerca senza filtri.
  • Il SaPM riduce il carico di screening dell'83%.
  • Vantaggio Aggiuntivo: L'uso del SaPM riduce ulteriormente il carico di screening del 28,2% rispetto all'uso dello SM.

Mitigazione del Rischio (Citation Searching)

• L'analisi ha dimostrato che la maggior parte dei record persi dai filtri poteva essere recuperata tramite ricerca bibliografica.
• Utilizzando CitationChaser con ricerca bidirezionale (avanti e indietro), è stato possibile recuperare tutti i 7 record persi dallo SM e 15 dei 16 record persi dal SaPM.
• CitationChaser si è dimostrato più efficace di Web of Science per questo scopo.

4. Contributi e Significatività

• Validazione Aggiornata: Lo studio fornisce la prima comparazione delle versioni 2023 dei filtri Cochrane, tenendo conto dei recenti cambiamenti nell'indicizzazione automatica di MEDLINE.
• Trade-off Quantificato: Dimostra che è possibile ridurre drasticamente il carico di lavoro degli specialisti (fino al 28% in più rispetto allo standard SM) con un rischio minimo di perdita di studi pertinenti (solo 9 record su 394).
• Strategia Ibrida: Suggerisce che l'uso del filtro SaPM, combinato con una ricerca bibliografica mirata sui record persi, rappresenta una strategia ottimale per revisioni sistematiche con risorse limitate o scadenze strette.
• Implicazioni per Temi Specifici: Evidenzia che il filtro SaPM potrebbe essere meno sensibile per revisioni focalizzate su farmaci (a causa della rimozione del floating subheading "drug therapy"), suggerendo la necessità di adattamenti specifici in base all'argomento della revisione.
• Impatto dell'Indicizzazione Automatica: Solleva preoccupazioni riguardo all'accuratezza dell'indicizzazione automatica (machine-indexing) introdotta nel 2022, che potrebbe influenzare le prestazioni dei filtri basati su MeSH.

Conclusione

Lo studio conclude che il filtro SaPM è un'alternativa valida ed efficiente al filtro SM per Ovid MEDLINE. Sebbene perda una piccola frazione di record pertinenti (circa il 2,3%), offre un miglioramento sostanziale nella precisione e riduce significativamente il tempo di screening. Il rischio di perdere studi può essere efficacemente mitigato integrando la ricerca con la citation searching (in particolare tramite CitationChaser). La scelta del filtro dovrebbe basarsi sulle risorse disponibili e sulla necessità di bilanciare sensibilità ed efficienza, considerando anche adattamenti specifici per temi come la farmacologia.