Limiting to English language records: A comparison of five methods on Ovid MEDLINE and Embase versus removal during screening

Deze studie concludeert dat het toepassen van Engelse taallimieten in Ovid MEDLINE en Embase, hoewel ze over het algemeen goed presteren, risico's met zich meebrengen door metadata-fouten en dat het verwijderen van niet-Engelse records tijdens screening ook Engelse artikelen kan uitsluiten, wat kan worden verzacht door citatiezoekopdrachten.

De kern

De Taalbarrière in de Bibliotheek: Een Simpele Uitleg van het Onderzoek

Stel je voor dat je op zoek bent naar het perfecte recept voor een taart. Je hebt een enorme bibliotheek vol met kookboeken uit de hele wereld. Maar jij kunt alleen Nederlands lezen. Je hebt twee opties:

1. Optie A: Je vraagt de bibliothecaris om alle boeken die niet in het Nederlands zijn, direct uit de bibliotheek te halen voordat je begint met zoeken.
2. Optie B: Je laat alle boeken liggen, zoekt zelf door de hele bibliotheek, en kiest er pas later uit welke je kunt lezen.

Deze studie, geschreven door Helen Fulbright en Kirsty Morrison, onderzoekt precies dit dilemma, maar dan voor wetenschappers die zoeken naar medisch bewijs in databases zoals MEDLINE en Embase. Ze kijken of het slim is om direct in de zoekopdracht te zeggen: "Laat alleen Engelstalige artikelen zien" (Optie A), of om alles te laten binnenkomen en pas later te filteren (Optie B).

Hier is wat ze hebben ontdekt, vertaald in alledaags taal:

1. De Bibliotheek is niet altijd eerlijk (De Metadata-problematiek)

De databases zijn als gigantische digitale bibliotheken. Elke kookboek (artikel) heeft een etiketje (metadata) waarop de taal staat geschreven.

• Het probleem: Soms is dat etiketje verkeerd. Een boek dat volledig in het Nederlands is geschreven, kan per ongeluk het etiket "Engels" hebben gekregen. Of een boek dat in het Nederlands én Engels is, heeft misschien alleen het etiket "Nederlands".
• De analogie: Stel je voor dat je een vrachtwagen met appels en peren bestelt. De vrachtwagenchauffeur (de database) heeft per ongeluk een sticker "Alleen appels" op de lading geplakt, terwijl er ook peren in zitten. Als je de vrachtwagen weigert omdat je alleen appels wilt, mis je de peren.

2. Vijf manieren om te filteren

De onderzoekers testten vijf verschillende manieren om de "Engelse" filter toe te passen in de zoekmachine.

• Manier 1: "Laat alleen 'Engels' zien."
• Manier 2: "Laat 'Engels' zien, en ook alles waar geen taal op staat."
• Manier 3: "Laat 'Engels' zien, plus alles waar geen taal op staat, plus alles wat 'onbepaalde taal' heet."
• Manier 4 & 5: Slimme zoekopdrachten die proberen alle andere talen eruit te sluiten, maar wel 'Engels' en onduidelijke labels erin te houden.

Het verrassende nieuws: Alle vijf deze manieren werkten bijna precies hetzelfde. Ze haalden 99,8% van de juiste Engelse artikelen binnen. Maar... ze haalden ook een paar artikelen weg die eigenlijk wel in het Engels waren, omdat hun etiketje fout was.

3. De "Valse Negatieven": Artikelen die weggeworpen werden

In de test haalden de filters 5 artikelen weg die ze hadden moeten houden.

• Waarom? Omdat de database dacht dat ze in het Spaans of Pools waren, terwijl ze eigenlijk ook in het Engels waren.
• De les: Als je direct in de zoekopdracht filtert, gooi je soms per ongeluk waardevolle schatten weg die op het verkeerde etiketje staan. Het is alsof je een gouden horloge weggooit omdat de verkoper dacht dat het een koperen horloge was.

4. De "Valse Positieven": Artikelen die je toch moet controleren

Aan de andere kant: er waren ook artikelen die de filters wel binnenhaalden, maar die de onderzoekers later toch weggooiden omdat ze dachten dat ze niet in het Engels waren.

• Het scenario: Een artikel kwam binnen met het etiket "Nederlands", maar toen de onderzoekers het openden, bleek het toch in het Engels te zijn (of de samenvatting was in het Engels).
• De les: Als je filtert tijdens het zoeken (Optie A), mis je deze artikelen. Als je filtert tijdens het lezen (Optie B), zie je ze, maar moet je ze wel controleren.

5. Wat betekent dit voor de praktijk?

De auteurs geven een paar simpele adviezen, vergeleken met het koken:

• Filteren in de zoekopdracht (Optie A) is snel, maar risicovol. Het is alsof je de deur van je huis dichtdoet en zegt: "Alleen mensen met een Engels paspoort mogen binnen." Je bent snel klaar, maar je mist misschien een buurman die zijn paspoort kwijt is geraakt, maar wel Nederlands spreekt.
• Filteren tijdens het screenen (Optie B) is veiliger, maar meer werk. Je laat iedereen de deur binnen, en bekijkt pas bij de koffie of ze Engels spreken. Je ziet meer mensen, maar je moet meer tijd besteden aan het controleren.

De Gouden Tip:
Als je toch kiest voor het filteren in de zoekopdracht (om tijd te besparen), doe dan een back-up check. Kijk of je artikelen kunt vinden via andere methoden, zoals het kijken naar wie er naar die artikelen heeft verwezen (citatie zoeken). Dat is alsof je niet alleen naar de deur kijkt, maar ook even rondloopt in de tuin om te zien of er niemand achter de heg staat die je mist.

Conclusie in één zin

Het is veilig om te filteren op taal in je zoekopdracht, maar wees je ervan bewust dat de "etiketten" in de database soms fout zijn. Door een extra check te doen (zoals het kijken naar verwijzingen), zorg je ervoor dat je geen gouden horloges per ongeluk weggooit.

Technische samenvatting

Titel: Beperking tot Engelstalige records: Een vergelijking van vijf methoden op Ovid MEDLINE en Embase versus verwijdering tijdens screening

1. Het Probleem

Binnen evidence syntheses (zoals systematische reviews) wordt vaak gekozen om niet-Engelstalige (NEL) records uit te sluiten om "taalkundige bias" te minimaliseren en de screeninglast te verlagen. Er zijn twee hoofdstrategieën om dit te doen:

1. Toepassing in de zoekstrategie: Het gebruik van taal-limiters direct in de database (bijv. Ovid MEDLINE en Embase).
2. Toepassing tijdens screening: Het zoeken zonder taalbeperking en het handmatig verwijderen van NEL-records tijdens het screenen van titels en abstracts.

De literatuur suggereert dat het uitsluiten tijdens screening gevoeliger is omdat het records met onjuiste of ontbrekende metadata kan redden. Echter, er is weinig onderzoek gedaan naar de specifieke technische implementaties van taal-limiters op Ovid-platforms en hoe deze presteren in vergelijking met handmatige screening. Er bestaat onzekerheid over de nauwkeurigheid van de metadata (bijv. records die in het Engels zijn maar als "Spaans" of "meertalig" zijn gemarkeerd) en welke zoektechniek de beste balans biedt tussen sensitiviteit en efficiëntie.

2. Methodologie

De auteurs voerden een exploratief onderzoek uit met de volgende stappen:

• Dataverzameling: Er werden datasets gebruikt van zeven bestaande evidence syntheses (uitgevoerd door het Centre for Reviews and Dissemination, Universiteit van York). De datasets bestonden uit:
  • 'Includes': Records die uiteindelijk waren opgenomen in de review (volledige tekst screening).
  • 'NEL excludes': Records die tijdens screening waren uitgesloten op basis van taal.
  • Totaal werden 1.509 MEDLINE-records en 1.584 Embase-records getest.
• Onderzoek naar Metadata: De auteurs communiceerden met Ovid, de National Library of Medicine (NLM) en Elsevier om te begrijpen hoe taal-metadata wordt gegenereerd en bijgewerkt. Ze stelden vast dat MEDLINE (NLM) en Embase (Elsevier) onafhankelijk metadata toekennen, zelfs voor dezelfde artikelen.
• Testen van Vijf Methodes: Vijf verschillende zoekstrategieën werden ontwikkeld en getoetst op Ovid MEDLINE en Embase om te zien welke records ze zouden ophalen of verwijderen:
  1. Ingebouwde limiet: Beperken tot "English language" via de standaard lijst.
  2. Ingebouwde limiet + Geen taal: Beperken tot "English" of "no language specified".
  3. Ingebouwde limiet + Onbepaalde talen: Beperken tot "English", "no language specified" plus onbepaalde talen (zoals 'undetermined' of 'multilingual' op MEDLINE, 'polyglot' op Embase).
  4. Niet-(NEL zonder EL): Een zoekopdracht die records verwijdert die een NEL-label hebben, tenzij ze ook een EL-label hebben (gebaseerd op veldcodes).
  5. Niet-(NEL zonder EL/onbepaald): Een variant van methode 4 die ook onbepaalde talen meeneemt om dubbelzinnige records te behouden.
• Validatie: Voor elke methode werd geanalyseerd of er Engelstalige records onterecht werden verwijderd ('false negatives') of of er niet-Engelstalige records onterecht werden opgehaald ('false positives'). De taal van de volledige tekst werd gecontroleerd om de metadata-nauwkeurigheid te bepalen.

3. Belangrijkste Bijdragen

• Technische Vergelijking: Het paper biedt een gedetailleerde technische analyse van vijf specifieke zoekmethodes op Ovid, inclusief de nuances van veldcodes (lg.) versus ingebouwde filters.
• Metadata-Analyse: Het identificeert specifieke fouten in de taal-metadata van zowel MEDLINE als Embase, met name bij meertalige tijdschriften en artikelen met alleen Engelstalige abstracts.
• Vergelijking Strategieën: Het vergelijkt direct de impact van het toepassen van taalbeperkingen in de zoekstrategie versus het handmatig filteren tijdens screening.
• Praktische Richtlijnen: Het biedt informatie-specialisten concrete adviezen over welke zoekopdrachten het meest geschikt zijn om de sensitiviteit te maximaliseren zonder onnodig veel records te verliezen.

4. Resultaten

• Prestatie van Methodes: Alle vijf de methodes presteerden identiek op de geteste datasets.
  • MEDLINE: 99,8% van de 'includes' (Engelstalige records die moesten worden opgenomen) werd correct opgehaald. Slechts 0,2% (2 records) werd onterecht verwijderd.
  • Embase: 99,7% van de 'includes' werd correct opgehaald. Slechts 0,3% (3 records) werd onterecht verwijderd.
• Oorzaken van Verlies: De 5 records die onterecht werden verwijderd (2 op MEDLINE, 3 op Embase) hadden allemaal onjuiste of gedeeltelijk correcte metadata. Ze waren beschikbaar in het Engels, maar waren gemarkeerd als een andere taal (bijv. Spaans of Pools) in de database, vaak omdat ze in meertalige tijdschriften waren gepubliceerd.
• Verwijdering tijdens Screening:
  • Van de records die tijdens screening als "NEL" waren uitgesloten, bleek dat 8 op MEDLINE en 9 op Embase feitelijk beschikbaar waren in het Engels.
  • Dit betekent dat zelfs bij handmatige screening fouten kunnen optreden, vaak omdat reviewers abstracts in het Engels zagen maar de volledige tekst (of de metadata) als niet-Engels classificeerden, of omdat ze de taal van het tijdschrift verkeerd inschatten.
• Metadata-Nauwkeurigheid: De studie toont aan dat taal-metadata niet betrouwbaar is voor meertalige publicaties. Bijvoorbeeld, een artikel in een meertalig tijdschrift dat volledig in het Engels is, kan toch als "Spaans" worden gemarkeerd als het tijdschrift ook Spaanse artikelen publiceert.

5. Betekenis en Conclusie

• Risico's van Taallimiters: Hoewel het percentage verloren Engelstalige records klein is (0,2% - 0,3%), is het risico reëel. Het toepassen van taal-limiters in de zoekstrategie kan leiden tot het missen van relevante bewijslast, wat de validiteit van een review kan beïnvloeden.
• Aanbeveling voor Strategieën:
  • Als een reviewteam besluit tot taalbeperking, is het raadzaam om methoden te gebruiken die ook records zonder taal-specificatie of met onbepaalde talen omvatten (zoals methode 3 in dit onderzoek).
  • Het is cruciaal om te beseffen dat geen enkele methode perfect is vanwege de onnauwkeurigheid van database-metadata.
• Mitigatie: Om het risico van het missen van relevante Engelstalige studies te verkleinen, wordt aangeraden om forward en backward citation searching (het controleren van referentielijsten en citaties) toe te passen. Dit kan helpen om records te vinden die door database-fouten zijn gemist.
• Screeninglast: Hoewel het verwijderen van NEL-records tijdens screening gevoeliger is, vergroot het de screeninglast aanzienlijk. Voor reviews met beperkte middelen kan het gebruik van taal-limiters in de zoekstrategie een pragmatische keuze zijn, mits men zich bewust is van de beperkingen en de resultaten transparant rapporteert.
• Toekomstig Onderzoek: Er is behoefte aan verdere verbetering van de taal-metadata door uitgevers en databases, en onderzoek naar de impact van taalbeperkingen op andere databases en specifieke onderwerpen (zoals complementaire geneeskunde).

Samenvattend: Het paper concludeert dat hoewel Engelstalige limieten in zoekstrategieën op Ovid MEDLINE en Embase een hoge sensitiviteit hebben, ze niet foutloos zijn door metadata-fouten. De beste aanpak hangt af van de beschikbare middelen en de tolerantie voor risico op bias, waarbij citation searching essentieel is als veiligheidsnet.