Limiting to English language records: A comparison of five methods on Ovid MEDLINE and Embase versus removal during screening

Lo studio dimostra che l'applicazione di filtri linguistici su Ovid MEDLINE ed Embase presenta rischi di esclusione dovuti sia a errori nei metadati che alla rimozione manuale durante lo screening, suggerendo l'uso della ricerca bibliografica per mitigare tali perdite.

L'essenziale

Immagina di voler preparare una ricetta perfetta per una torta (la tua "revisione sistematica" o studio scientifico). Per farlo, devi raccogliere tutte le ricette possibili dal mondo intero. Tuttavia, tu parli solo italiano e non hai tempo di imparare tutte le lingue del mondo.

Il problema è: dove e quando decidi di scartare le ricette scritte in altre lingue?

Questo studio risponde a una domanda cruciale: è meglio dire al bibliotecario (il database) "Fammi vedere solo le ricette in italiano" fin dall'inizio, oppure è meglio fargli vedere tutte le ricette e poi scartare quelle non italiane mentre le leggi una per una?

1. I Due Approcci: Il Filtro all'Ingresso vs. Il Controllo alla Porta

Immagina che i database scientifici (come MEDLINE ed Embase) siano due enormi magazzini pieni di libri.

• Metodo A (Il Filtro all'Ingresso): Chiedi al bibliotecario: "Per favore, dammi solo i libri in inglese". Il bibliotecario guarda l'etichetta sulla copertina (i "metadati") e ti dà solo quelli.
• Metodo B (Il Controllo alla Porta): Il bibliotecario ti dà tutti i libri, anche quelli in cinese, tedesco o spagnolo. Tu li prendi, guardi la copertina e, se non è in inglese, li rimetti sullo scaffale.

Lo studio ha confrontato questi due metodi su 1.500 libri (articoli scientifici) presi da 7 ricerche mediche reali.

2. La Sorpresa: Le Etichette a Volte Mentono

Il risultato principale è stato una piccola ma importante sorpresa.

Quando si usa il Metodo A (il filtro all'ingresso), il computer si fida ciecamente dell'etichetta sulla copertina. Ma a volte, l'etichetta è sbagliata!

• L'analogia: Immagina di avere una ricetta scritta in italiano, ma qualcuno ha scritto per sbaglio "Scritto in Francese" sulla copertina. Se il bibliotecario segue solo l'etichetta, ti toglie la ricetta dal mucchio, anche se tu avresti potuto leggerla!

Lo studio ha scoperto che:

• Se usi il filtro all'inizio, rischi di perdere pochi articoli importanti (circa lo 0,2% su MEDLINE e lo 0,3% su Embase) perché l'etichetta era sbagliata.
• Tuttavia, se fai il controllo alla porta (Metodo B), rischi di scartare articoli che sembrano stranieri ma che in realtà sono scritti in inglese (o bilingue), semplicemente perché chi ha letto la copertina ha fatto un errore umano o si è confuso.

3. I Cinque Modi per Filtrare (Le Cinque Chiavi)

Gli autori hanno testato cinque modi diversi per chiedere al computer di filtrare solo l'inglese. È come se avessero provato cinque chiavi diverse per aprire la porta dei libri in inglese:

1. La chiave standard "Solo Inglese".
2. La chiave "Inglese o senza etichetta".
3. La chiave "Inglese, senza etichetta o lingue indefinite".
4. Una chiave complessa che dice: "Togli tutto ciò che è non inglese, a meno che non sia anche inglese".
5. Una versione ancora più complessa della chiave precedente.

Il risultato? Tutte e cinque le chiavi hanno funzionato quasi identicamente. Hanno aperto la stessa porta e hanno lasciato passare gli stessi libri. Non c'è una "chiave magica" migliore delle altre in questo caso specifico.

4. Cosa Succede ai Libri "Persi"?

Lo studio ha analizzato i libri che sono stati scartati per errore:

• I libri che avremmo dovuto tenere: Erano articoli scritti in inglese, ma pubblicati su riviste bilingui (es. una rivista che pubblica sia in polacco che in inglese). L'etichetta diceva "Polacco", quindi il filtro le ha buttate via. In realtà, l'articolo era leggibile in inglese!
• I libri che abbiamo scartato per sbaglio: Alcuni articoli erano stati scartati durante la lettura (Metodo B) perché sembravano stranieri, ma poi si è scoperto che erano in inglese. Questo è successo perché chi leggeva si è confuso o perché l'articolo era su una rivista bilingue.

5. La Lezione Principale: Non Fidarsi Ciecamente dell'Etichetta

Ecco il messaggio chiave per chiunque faccia ricerche:

• Usare il filtro all'inizio (Metodo A) è veloce e comodo. Risparmia tempo. Ma c'è un piccolo rischio: potresti perdere un articolo importante perché l'etichetta del database è sbagliata. È come se il bibliotecario ti dicesse "Non c'è" perché ha letto male l'etichetta.
• Fare il controllo alla porta (Metodo B) è più sicuro per non perdere nulla, ma è molto più lento e faticoso. Devi leggere centinaia di copertine. Inoltre, anche qui puoi sbagliare se non controlli bene.

Il consiglio degli autori:
Se devi limitare la ricerca all'inglese per risparmiare tempo (cosa comune nelle ricerche rapide), va bene usare il filtro all'inizio. Ma devi sapere che non è perfetto.
Per evitare di perdere informazioni preziose, suggeriscono di fare un "controllo di sicurezza" alla fine: cercare le citazioni degli articoli che hai trovato (guardare chi ha citato chi) per assicurarti di non aver perso nulla di importante a causa di un'etichetta sbagliata.

In Sintesi

Immagina di cercare le migliori ricette di pasta.
Se chiedi al computer "Dammi solo la pasta italiana", otterrai quasi tutto, ma potresti perdere una ricetta italiana scritta su un libro con la copertina in francese.
Se leggi tutti i libri del mondo per trovare la pasta italiana, farai un lavoro enorme e potresti comunque scartare per sbaglio una ricetta italiana perché la copertina era in spagnolo.

La soluzione migliore? Usa il filtro per velocizzare il lavoro, ma tieni sempre un occhio di riguardo per le "etichette sbagliate" e controlla le fonti secondarie per essere sicuro di non aver perso nulla di prezioso.

Sommario tecnico

Titolo: Limitazione ai record in lingua inglese: un confronto tra cinque metodi su Ovid MEDLINE ed Embase rispetto alla rimozione durante lo screening

1. Problema e Contesto

Nelle sintesi delle prove (revisioni sistematiche e meta-analisi), l'esclusione dei record in lingue non inglesi (NEL - Non-English Language) è una pratica comune spesso motivata da vincoli di tempo, budget o risorse. Tuttavia, questa esclusione può introdurre un "bias linguistico", portando a risultati distorti o a mancate evidenze rilevanti.
Esistono due approcci principali per applicare queste restrizioni:

1. Nella strategia di ricerca: Applicare filtri linguistici direttamente nel database (es. Ovid MEDLINE, Embase).
2. Durante lo screening: Recuperare tutti i record e filtrare quelli in lingue non inglesi nella fase di selezione degli articoli.

Il problema centrale affrontato dallo studio è la qualità e l'accuratezza dei metadati linguistici nei database bibliografici. I record possono avere metadati errati, assenti o ambigui (es. "lingua indeterminata", "multilingue"). Se i filtri linguistici vengono applicati nella strategia di ricerca, si rischia di escludere erroneamente articoli in inglese (a causa di metadati errati) o di includere erroneamente articoli non in inglese. Lo studio mira a quantificare questo rischio confrontando diversi metodi di filtraggio automatico con l'approccio manuale dello screening.

2. Metodologia

Gli autori hanno condotto uno studio esplorativo basato su dati reali provenienti da sette sintesi di prove (evidence syntheses) condotte presso il Centre for Reviews and Dissemination (CRD) dell'Università di York.

• Dataset: Sono stati analizzati 1.509 record "inclusi" (quelli che hanno superato lo screening a testo completo) e 1.584 record "esclusi per lingua NEL" (quelli scartati durante lo screening perché ritenuti in lingue non inglesi).
• Database: Ovid MEDLINE e Ovid Embase.
• Metodi Testati: Sono stati confrontati cinque metodi diversi per limitare la ricerca alla lingua inglese:
  1. Limite nativo "Lingua Inglese".
  2. Limite "Lingua Inglese" + "Nessuna lingua specificata".
  3. Limite "Lingua Inglese" + "Nessuna lingua specificata" + "Lingue non definite" (es. undetermined, multilingual su MEDLINE; polyglot su Embase).
  4. Metodo logico NOT (NEL NOT EL): Rimuove i record con metadati NEL che non hanno anche metadati EL (basato su una lista estesa di lingue).
  5. Metodo logico NOT (NEL NOT EL/undefined): Simile al metodo 4, ma include anche le lingue non definite nella condizione di esclusione per evitare di rimuovere record multilingue complessi.
• Procedura: Per ogni dataset, i ricercatori hanno simulato l'applicazione di questi cinque filtri sui record inclusi ed esclusi. Hanno poi analizzato manualmente i record che venivano erroneamente rimossi (inclusi in inglese ma filtrati via) o erroneamente recuperati (esclusi come NEL ma in realtà in inglese), verificando l'accuratezza dei metadati linguistici e del paese di pubblicazione.

3. Contributi Chiave

• Mappatura dei Metadati: Analisi dettagliata di come NLM (per MEDLINE) ed Elsevier (per Embase) applicano e aggiornano i metadati linguistici, evidenziando differenze tra le piattaforme e la presenza di categorie ambigue (es. undetermined, interlingua).
• Confronto Tecnico: Valutazione empirica di cinque strategie di ricerca diverse, incluse tecniche avanzate per gestire i record senza metadati linguistici o con lingue non definite.
• Analisi degli Errori: Identificazione specifica dei casi in cui i filtri automatici falliscono a causa di errori di metadati, fornendo evidenze concrete sulla frequenza di tali errori.
• Raccomandazioni Pratiche: Linee guida per gli specialisti dell'informazione su come bilanciare il carico di lavoro dello screening con la necessità di minimizzare il bias linguistico.

4. Risultati

• Performance dei Filtri: Tutti e cinque i metodi hanno performato in modo identico sui dataset testati.

  • Recupero degli "Inclusi": Il 99,8% dei record inclusi (in inglese) su MEDLINE e il 99,7% su Embase sono stati correttamente recuperati da tutti i metodi.
  • Rimozione degli "Esclusi NEL": Il 98,2% dei record esclusi per lingua su MEDLINE e il 94,6% su Embase sono stati correttamente rimossi dai filtri.

• Errori di Recupero (Falsi Negativi):

  • Su MEDLINE, 2 record su 1.022 (0,2%) inclusi sono stati erroneamente rimossi dai filtri.
  • Su Embase, 3 record su 1.140 (0,3%) inclusi sono stati erroneamente rimossi.
  • Causa: In tutti e 5 i casi, i record erano in realtà in inglese (spesso pubblicati su riviste bilingue o multilingue), ma i metadati linguistici erano errati o parzialmente corretti (es. indicavano solo la lingua non inglese).

• Errori di Esclusione (Falsi Positivi):

  • Su MEDLINE, 8 record su 9 recuperati erroneamente (che erano stati esclusi come NEL) erano effettivamente in inglese.
  • Su Embase, 9 record su 24 recuperati erroneamente erano in inglese.
  • Causa: Molti di questi errori derivavano da metadati imprecisi su riviste bilingue, dove l'articolo era in inglese ma il metadato indicava solo la lingua locale, o dove l'articolo aveva solo un abstract in inglese.

• Implicazioni dei Metadati: L'analisi ha rivelato che gli errori sono più frequenti nelle riviste bilingue/multilingue e nelle pubblicazioni con abstract in lingue diverse dal testo completo.

5. Significato e Conclusioni

• Rischio Minimo ma Reale: Sebbene la percentuale di record inglesi persi a causa dei filtri linguistici sia molto bassa (circa 0,2-0,3%), il rischio esiste e può portare a escludere prove rilevanti, distorcendo i risultati della revisione.
• Vantaggio dello Screening Manuale: L'esclusione durante lo screening rimane più "sensibile" perché permette di verificare manualmente l'articolo, superando gli errori dei metadati. Tuttavia, questo aumenta il carico di lavoro.
• Raccomandazioni per le Strategie di Ricerca:
  • Se si decide di applicare filtri linguistici nella strategia di ricerca, è consigliabile utilizzare metodi che includano le lingue "non definite" (come il Metodo 3 descritto nello studio) per non perdere record storici o ambigui.
  • È fondamentale riconoscere che i metadati non sono infallibili, specialmente per le riviste bilingue.
• Mitigazione del Bias: Per ridurre il rischio di perdere record pertinenti, gli autori raccomandano l'uso di ricerche di citazioni (forward e backward) per recuperare eventuali articoli persi a causa di errori di metadati o esclusione prematura.
• Decisione Informata: Le squadre di revisione dovrebbero valutare il compromesso tra l'efficienza (filtri nella ricerca) e la completezza (screening manuale), considerando la disponibilità di risorse per la traduzione e la natura dell'argomento (alcuni temi potrebbero avere più letteratura in lingue non inglesi).

In sintesi, lo studio conferma che i filtri linguistici sui database Ovid sono generalmente efficaci, ma non privi di errori dovuti alla qualità dei metadati. L'approccio migliore dipende dalle risorse disponibili e dalla necessità di massimizzare la sensibilità della ricerca.