Removing animal and nonhuman records in Ovid Embase: A comparison of 11 filters

Questo studio confronta le prestazioni di 11 filtri Ovid Embase per l'eliminazione dei record non umani, evidenziando come la scelta del filtro debba basarsi su un'analisi specifica del contesto della ricerca data la variabilità di sensibilità e specificità tra i diversi metodi.

L'essenziale

🧪 La Grande Caccia alle "Pezze" nel Database

Immagina che Embase (il database dove gli scienziati cercano articoli medici) sia un enorme magazzino di libri pieno di milioni di volumi. Gli scienziati che fanno ricerche sulla salute umana vogliono trovare solo i libri che parlano di persone.

Il problema? Nel magazzino ci sono anche milioni di libri che parlano di animali (topi, cani, scimmie) o di cose non umane (batteri, piante). Se un ricercatore cerca una cura per il diabete, non vuole perdere ore a leggere studi fatti sui topi, a meno che non sia strettamente necessario.

Per risolvere questo, gli "informatici della ricerca" (gli specialisti) usano dei filtri. Sono come dei setacci o dei portineri che controllano chi entra e chi viene buttato fuori.

🤔 Il Problema: "Quale setaccio usare?"

Per anni, tutti hanno usato setacci diversi. Alcuni erano molto stretti, altri più larghi. Nessuno sapeva davvero quanto bene funzionassero. Era come scegliere un colino per la pasta senza sapere se ti avrebbe lasciato passare i maccheroni o se ti avrebbe fatto perdere anche i pomodori.

Gli autori di questo studio (Helen e Connor) hanno detto: "Fermiamoci e proviamo questi setacci!". Hanno preso 11 filtri diversi usati comunemente e li hanno messi alla prova.

🎯 La Prova del Nove: 3.000 Libri

Hanno creato una "palestra" con 3.000 libri (articoli scientifici):

1. Alcuni parlavano solo di animali (da buttare).
2. Alcuni parlavano solo di persone (da tenere).
3. Alcuni parlavano di entrambi (da tenere, perché spesso la ricerca sugli animali aiuta a capire le malattie umane).

Poi hanno fatto passare tutti questi libri attraverso i 11 setacci diversi e hanno contato i risultati.

🏆 I Risultati: Chi ha vinto?

Ecco cosa è successo, con un po' di fantasia:

• Il Setaccio "Super Protettivo" (Metodo 11): È stato il più gentile con le persone. Ha trattenuto il 90% degli articoli umani corretti. Non ne ha persi molti. Ma il suo difetto? È stato un po' "disattento" con gli animali: ha lasciato entrare un po' di troppi topi nel magazzino delle persone.
• Il Setaccio "Super Selettivo" (Metodo 3): È stato il più severo. Ha buttato fuori il 91% degli articoli sugli animali. Ottimo per pulire il magazzino! Ma il suo difetto? È stato così severo che ha buttato via anche molti articoli importanti sulle persone (ne ha persi circa il 25%).
• La Verità: Non esiste il setaccio perfetto. Se vuoi essere sicuro di non perdere nessun articolo umano, devi usare il Metodo 11. Se vuoi essere sicuro di non leggere nulla sugli animali, usa il Metodo 3, ma rischi di perdere cose importanti.

🕵️‍♂️ Cosa è finito nel cestino per errore?

Gli autori hanno guardato cosa avevano buttato via per sbaglio. La cosa più curiosa?
Molti articoli che parlavano di persone sono stati buttati via perché il "setaccio" non li aveva riconosciuti.

• Esempio: Immagina un articolo su un cane guida che aiuta un uomo diabetico a trovare il glucosio. Il setaccio ha visto la parola "cane" e ha detto: "Via! È un animale!". Ma in realtà, l'articolo parlava di salute umana!
• Questo succede perché il database non sempre etichetta bene gli articoli. A volte un articolo parla di persone, ma non ha l'etichetta "Umano" attaccata sopra.

💡 La Lezione per Tutti

Questo studio ci insegna tre cose importanti, spiegate in modo semplice:

1. Non c'è un "setaccio magico": Non puoi usare lo stesso filtro per ogni ricerca. Se stai cercando una cura per un tumore, forse ti interessa anche la ricerca sugli animali. Se stai cercando una terapia psicologica, forse no.
2. Parlate tra voi: Gli specialisti che fanno le ricerche e i medici che le usano devono sedersi e discutere: "Quanto siamo severi? Vogliamo rischiare di perdere un articolo umano per non leggere mai di un topo?".
3. Attenzione ai "libri speciali": I setacci funzionano male con certi tipi di libri, come le conferenze o gli abstract (i riassunti brevi). Sono come libri con la copertina sbiadita: il setaccio fa fatica a leggerli e li butta via per errore.

🏁 Conclusione

In sintesi, questo studio è come una guida per scegliere il colino giusto per la tua pasta.
Se vuoi la pasta perfetta senza pezzetti di pomodoro (animali), usa un colino specifico, ma sappi che potresti perdere un po' di sugo (articoli umani importanti). Se vuoi assicurarti di avere tutto il sugo, usa un colino più largo, ma dovrai poi setacciare a mano i pezzetti di pomodoro.

Il consiglio finale? Non usare mai un filtro alla cieca. Chiediti sempre: "Cosa sto cercando esattamente?" e scegli lo strumento che si adatta meglio alla tua ricerca, sapendo che nessun filtro è perfetto al 100%.

Sommario tecnico

Titolo dello Studio

Rimozione di record animali e non umani in Ovid Embase: un confronto di 11 filtri

1. Il Problema

Le revisioni sistematiche e le sintesi di prove che si concentrano sulla popolazione umana spesso necessitano di escludere record relativi a studi su animali o non umani. Tuttavia, in Ovid Embase, non esistono dati prestazionali validati per i numerosi filtri di ricerca utilizzati routinariamente per questo scopo.

• Mancanza di standardizzazione: Esiste una vasta gamma di filtri (alcuni non validati, altri di autore sconosciuto o adattati da MEDLINE) utilizzati da gruppi come il Cochrane Common Mental Disorders Group, la York Health Economics Consortium e l'agenzia canadese per i farmaci.
• Rischio di esclusione errata: L'uso indiscriminato di filtri basati su termini di indicizzazione (Emtree) o campi di testo liberi può portare all'esclusione accidentale di studi rilevanti sull'uomo che non sono stati indicizzati correttamente con i termini "human/" o che coinvolgono animali in contesti di salute umana (es. terapia assistita da animali, cani da rilevamento).
• Complessità dell'indicizzazione: La definizione di "record animale" è ambigua e l'indicizzazione manuale di Elsevier non è applicata uniformemente a tutti i tipi di pubblicazione (es. abstract di conferenze, pre-print, articoli non in inglese), rendendo difficile prevedere l'efficacia dei filtri.

2. Metodologia

Lo studio è di natura esplorativa e ha confrontato le prestazioni di 11 diversi metodi (filtri) per rimuovere i record animali/non umani in Ovid Embase.

• Campionamento: Sono stati creati tre dataset di ricerca per catturare record pertinenti a:
  1. Animali/non umani.
  2. Esseri umani.
  3. Una combinazione di entrambi.
     È stato estratto un campione totale di 3.000 record (500 rimossi e 500 mantenuti per ciascuna delle tre categorie).
• Screening: Due revisori hanno valutato titoli e astratti per classificare ogni record in due categorie: "da rimuovere" (irrelevante per l'uomo) o "da mantenere" (rilevante per l'uomo). Le discrepanze sono state risolte tramite discussione.
• Applicazione dei filtri: I 11 filtri sono stati applicati consecutivamente ai dataset utilizzando gli operatori logici NOT e AND.
• Metriche di valutazione: Per ciascun filtro sono stati calcolati:
  • Sensibilità: Capacità di mantenere correttamente i record che "dovrebbero essere mantenuti".
  • Specificità: Capacità di rimuovere correttamente i record che "dovrebbero essere rimossi".
  • Accuratezza complessiva: Percentuale totale di decisioni corrette.
• Analisi degli errori: I record pertinenti all'uomo che sono stati erroneamente rimossi sono stati categorizzati in 7 gruppi in base al contenuto (es. uso di partecipanti umani, revisioni, esiti clinici).

3. Contributi Chiave

• Confronto empirico: Fornisce i primi dati quantitativi sulle prestazioni di 11 filtri comunemente usati in Embase, un'area precedentemente priva di evidenze validate.
• Analisi del design: Collega le differenze strutturali dei filtri (uso di termini Emtree vs. campi di testo, inclusione/esclusione di termini specifici come "nonhuman" o "plant") alle loro prestazioni.
• Identificazione delle categorie a rischio: Ha mappato quali tipi di studi rilevanti per l'uomo sono più frequentemente esclusi erroneamente dai filtri.
• Raccomandazioni basate sui dati: Offre linee guida pratiche per gli specialisti dell'informazione su quale filtro scegliere in base agli obiettivi della revisione (priorità alla sensibilità vs. specificità).

4. Risultati Principali

Lo studio ha testato 2.689 record recuperabili (dopo la rimozione dei duplicati e problemi di accesso).

• Sensibilità (Mantenimento dei record rilevanti):

  • Il Metodo 11 è stato il più sensibile, mantenendo correttamente il 90,6% dei record che dovevano essere conservati (su tutti i dataset).
  • Il Metodo 10 ha seguito con un'ottima sensibilità (88,3%).
  • Gli altri 9 filtri hanno mostrato sensibilità inferiori, oscillanti tra il 75,2% e il 78,9%.
  • Nota: I filtri 10 e 11 sono gli unici che non rimuovono i record basati sul termine "nonhuman", concentrandosi solo su "animal experiment/", il che spiega la loro maggiore sensibilità.

• Specificità (Rimozione dei record irrilevanti):

  • Il Metodo 3 ha ottenuto la specificità più alta, rimuovendo correttamente il 71,5% dei record che dovevano essere esclusi.
  • Il Metodo 11 ha avuto la specificità più bassa (41,2%), indicando che tende a mantenere molti record animali (falsi negativi nella rimozione).
  • Il Metodo 10 ha avuto una specificità intermedia-bassa (49,9%).

• Analisi degli errori (Record umani erroneamente rimossi):

  • La categoria più frequentemente esclusa erroneamente è stata "Uso di partecipanti o dati umani" (44,9% in media).
  • Seguono le "Revisioni o panoramica su condizioni che interessano l'uomo" (23,6%).
  • I filtri 10 e 11 hanno mostrato pattern di esclusione diversi rispetto alla media, escludendo meno record di tipo "umano" ma rimuovendo meno anche i record animali puri.

• Impatto del Design:

  • I filtri che utilizzano campi di testo (titolo/abstract) oltre agli Emtree (es. Metodo 3) tendono ad avere una specificità più alta ma una sensibilità più bassa, rischiando di escludere studi rilevanti basati su parole chiave nel testo che non riflettono il contenuto reale.
  • L'indicizzazione automatica (per pre-print, conferenze, ecc.) è stata identificata come un fattore critico che aumenta il rischio di esclusione errata.

5. Significato e Conclusioni

• Scelta del Filtro: Non esiste un filtro "perfetto" per tutti gli scenari.
  • Se l'obiettivo è massimizzare la sensibilità (non perdere nessun studio umano rilevante), il Metodo 11 è la scelta raccomandata, nonostante la sua bassa specificità (lascia passare molti record animali).
  • Se la specificità è prioritaria (rimuovere il maggior numero possibile di animali), il Metodo 3 è superiore, ma a scapito di escludere molti studi umani validi.
• Processo Decisionale: Gli specialisti dell'informazione e i team di revisione devono discutere esplicitamente se animali o non umani potrebbero apparire in studi rilevanti (es. terapie assistite, zoonosi) prima di applicare un filtro.
• Limiti e Future Direzioni: Le prestazioni possono variare in base al tipo di studio (es. studi qualitativi, valutazioni economiche), alla lingua e al tipo di pubblicazione (abstract di conferenze). Sono necessarie ulteriori ricerche per validare i filtri su questi sottogruppi specifici.
• Raccomandazione Pratica: Data l'importanza di non perdere studi rilevanti sull'uomo, lo studio suggerisce di preferire filtri ad alta sensibilità (come il Metodo 11) e di considerare strategie alternative (es. recupero separato di abstract di conferenze) per mitigare i rischi legati all'indicizzazione automatica.

In sintesi, lo studio evidenzia che l'uso acritico di filtri non validati in Embase comporta rischi significativi di bias di selezione, e raccomanda una scelta consapevole basata sulle specifiche esigenze della revisione sistematica.