Removing animal and nonhuman records in Ovid Embase: A comparison of 11 filters

Deze studie vergelijkt de prestaties van elf filters in Ovid Embase voor het verwijderen van dier- en niet-menselijke records en concludeert dat de keuze van het filter afhankelijk moet zijn van de specifieke onderzoeksvraag, aangezien er een trade-off bestaat tussen sensitiviteit en specificiteit.

De kern

De Jacht op de Menselijke Zaken: Een Simpele Uitleg van het Onderzoek

Stel je voor dat je een enorme bibliotheek binnenstapt, genaamd Embase. Deze bibliotheek bevat miljoenen boeken en artikelen over gezondheid. Je bent op zoek naar specifieke informatie over mensen: hoe ziektes bij mensen worden behandeld, of welke medicijnen werken voor patiënten.

Maar hier is het probleem: in deze bibliotheek liggen ook heel veel boeken over dieren (zoals muizen in laboratoria) en andere niet-menselijke wezens (zoals bacteriën of planten). Voor jouw onderzoek zijn die dieren-boeken niet nodig; ze zijn zelfs een hinderpaal. Je wilt ze graag weghalen om de stapel met menselijke artikelen overzichtelijk te houden.

Om dit te doen, gebruiken bibliothecarissen en onderzoekers filters. Denk aan filters als een soort zeef of poortwachter. Je gooit je stapel boeken door de zeef, en hopelijk blijven alleen de boeken over die over mensen gaan, terwijl de dierenbochten eruit vallen.

Het probleem is echter: er zijn 11 verschillende soorten zeeven (filters) beschikbaar. Iedereen gebruikt er een andere, maar niemand wist eigenlijk precies hoe goed ze werkten. Sommige zeeven gooien misschien per ongeluk een belangrijk menselijk boek weg, terwijl andere juist een dierlijk boek laten staan.

Wat hebben de onderzoekers gedaan?

Helen en Connor, de schrijvers van dit artikel, wilden dit uitzoeken. Ze dachten: "Laten we een test doen om te zien welke zeef het beste is."

1. De Teststapel: Ze verzamelden 3.000 willekeurige artikelen uit de bibliotheek.
2. De Scheiding: Twee mensen keken naar elk artikel en beslisten: "Moet dit blijven (menselijk)" of "Moet dit weg (dierlijk)". Dit was hun "gouden standaard".
3. De Test: Vervolgens lieten ze alle 11 filters op deze 3.000 artikelen werken. Ze keken naar elk filter en vroegen zich af: "Hoeveel menselijke artikelen heeft deze zeef per ongeluk weggegooid? En hoeveel dierlijke artikelen heeft hij per ongeluk laten staan?"

Wat was het resultaat?

Het onderzoek leverde een paar verrassende inzichten op, die we kunnen vergelijken met verschillende soorten netten:

• De "Veilige" Zeef (Filter 11): Dit filter was de meest gevoelige. Het was als een heel groot, zacht net dat bijna niets liet vallen. Het hield 90,6% van de menselijke artikelen vast. Het risico was echter dat het soms ook een paar dierenartikelen binnenliet. Maar voor onderzoekers is het vaak belangrijker om niets van de menselijke waarheid te verliezen.
• De "Strikte" Zeef (Filter 3): Dit filter was de meest nauwkeurige in het weghalen van dieren. Het was als een zeer strenge poortwachter die 91,5% van de dierenartikelen echt weghaalde. Het nadeel? Hij gooide ook wat menselijke artikelen weg (ongeveer 25% minder dan de beste filter).
• De "Gemiddelde" Zeeven: De andere 9 filters zaten ergens in het midden. Ze deden het redelijk, maar niet zo goed als de twee bovenstaande.

De Verrassende Details

Er waren nog een paar interessante dingen die ze ontdekten, die we kunnen vergelijken met verkeerde labels:

• De Verkeerde Labels: Veel artikelen die over mensen gingen, werden toch per ongeluk weggegooid. Waarom? Omdat ze niet het juiste "label" (een speciale code in de bibliotheek) hadden gekregen.
  • Voorbeeld: Stel je voor dat er een artikel is over een hond die kanker bij mensen detecteert. Dit is een heel belangrijk menselijk onderwerp! Maar als de bibliothecaris in de bibliotheek alleen het label "hond" heeft geplakt en vergeten is het label "mens" te plakken, dan gooit de filter dit waardevolle artikel weg.
  • De onderzoekers zagen dat filters vaak artikelen weggooien over mensen die met dieren werken (zoals therapie met honden of dieren die ziektes detecteren), omdat de filters dachten: "Oh, dit gaat over een dier, weg ermee!"

Waarom is dit belangrijk?

Stel je voor dat je een dokter bent die een nieuwe behandeling voor kanker zoekt. Als je een te strenge filter gebruikt, mis je misschien een cruciaal artikel over hoe een dier een ziekte bij mensen heeft opgespoord. Dat zou rampzalig zijn.

De boodschap van dit onderzoek is simpel:

1. Geen enkele filter is perfect. Ze hebben allemaal hun eigen sterke en zwakke punten.
2. Kies je zeef met verstand. Als je zeker wilt zijn dat je niets mist, kies je voor de filter die het minst menselijke artikelen weggooit (Filter 11), ook al houdt hij misschien wat dierenartikelen binnen.
3. Overleg is key. De bibliothecaris en de onderzoekers moeten samen praten: "Zijn er misschien dieren betrokken bij dit onderwerp die eigenlijk wel belangrijk zijn voor mensen?"

Conclusie in één zin

Dit onderzoek is als een test van 11 verschillende schermen om te zien welke het beste de "dieren" uit je "menselijke" zoekopdracht filtert, en het leert ons dat we niet zomaar blindelings op een filter moeten vertrouwen, maar altijd moeten nadenken over wat we precies zoeken en wat we niet willen missen.

Technische samenvatting

Titel: Het verwijderen van dier- en niet-menselijke records in Ovid Embase: Een vergelijking van 11 filters

1. Het Probleem

Bij het uitvoeren van evidence syntheses (zoals systematische reviews) die zich richten op menselijke populaties, is het vaak noodzakelijk om records over dieren en andere niet-mensen te verwijderen. Hoewel Ovid Embase een ingebouwde limiet heeft om te filteren op het Emtree-onderwerpstemaal 'human/', is dit onbetrouwbaar omdat relevante studies soms niet met dit label zijn geïndexeerd.

Er worden momenteel diverse zoekfilters gebruikt om dier- en niet-menselijke records te elimineren. Veel van deze filters zijn echter:

• Niet gevalideerd: Er bestaat geen prestatiegegevens (zoals sensitiviteit en specificiteit) voor veel routinematig gebruikte filters.
• Verschillende ontwerpen: Filters variëren in hun aanpak (bijv. gebruik van alleen Emtree-termen versus titel/abstract velden).
• Onduidelijke oorsprong: Veel filters zijn aangepast of onbekende auteurschap en worden zelden gecrediteerd in gepubliceerde reviews, wat de reproduceerbaarheid en begrijpelijkheid beperkt.

Er is een gebrek aan kennis over welke filter het beste presteert en welke soorten relevante studies onterecht worden verwijderd.

2. Methodologie

De auteurs voerden een verkennend onderzoek uit om de prestaties van 11 verschillende filters te vergelijken. De methodologie omvatte de volgende stappen:

• Datasetcreatie: Er werden drie zoekstrategieën ontwikkeld in Ovid Embase om een representatieve steekproef te genereren van:
  1. Dierlijke/niet-menselijke records.
  2. Menselijke records.
  3. Een combinatie van beide.
     Er werd een totaal van 3.000 records geselecteerd (500 verwijderde en 500 behouden per categorie), waarbij systematische reviews en gerandomiseerde gecontroleerde trials (RCT's) als focus lagen.
• Screening: Twee reviewers screenden de titels en abstracts van deze records en classificeerden ze als "moet worden verwijderd" of "moet worden behouden".
• Toepassing van Filters: De 11 filters (waarvan sommige afkomstig zijn van organisaties zoals Cochrane, CRD, en Canada's Drug Agency) werden toegepast op de datasets.
• Prestatiemeting: Voor elke filter werden de volgende statistieken berekend:
  • Sensitiviteit: Het percentage correct behouden relevante records.
  • Specificiteit: Het percentage correct verwijderde irrelevante records.
  • Algemene nauwkeurigheid: Het totaal percentage correcte beslissingen.
• Foutanalyse: Records die onterecht waren verwijderd (false negatives), werden gecategoriseerd in zeven groepen op basis van hun inhoud (bijv. gebruik van menselijke deelnemers, reviews over menselijke gezondheid, etc.).

3. Belangrijkste Bijdragen

• Empirische Vergelijking: Dit is een van de eerste studies die de prestaties van 11 veelgebruikte filters in Ovid Embase kwantitatief vergelijkt op basis van een gestandaardiseerde "gouden standaard".
• Analyse van Indexering: Het onderzoek koppelt filterprestaties aan de indexeringsrichtlijnen van Elsevier (Embase Indexing Guide 2026), waardoor inzicht ontstaat in waarom bepaalde filters falen (bijv. door automatische versus handmatige indexering).
• Kwalitatieve Inzichten: In plaats van alleen cijfers te leveren, analyseert de studie welke soorten relevante studies het vaakst onterecht worden verwijderd, wat cruciaal is voor de besluitvorming bij het opstellen van zoekstrategieën.

4. Resultaten

De resultaten tonen duidelijke verschillen in prestaties tussen de filters:

• Sensitiviteit (Behoud van relevante studies):
  • Filter 11 was de meest sensitieve filter, met een behoud van 90,6% van de records die "moesten worden behouden" (in de totale dataset).
  • Filter 10 volgde op de tweede plaats met 88,3%.
  • De andere filters varieerden tussen 75,2% en 78,9%.
• Specificiteit (Verwijdering van irrelevante studies):
  • Filter 3 had de hoogste specificiteit, met 71,5% correct verwijderde records.
  • Filter 11 had de laagste specificiteit (41,2%), wat betekent dat deze filter veel dierlijke records niet verwijdert (wat goed is voor sensitiviteit, maar slecht voor specificiteit).
• Algemene Nauwkeurigheid:
  • Filter 3 behaalde de hoogste algehele nauwkeurigheid (73%) in de totale dataset, maar Filter 11 presteerde het beste in de dataset die puur menselijke studies bevatte.
• Foutanalyse (Onjuist verwijderde records):
  • De meest verwijderde categorie was "gebruik van menselijke deelnemers of data" (44,9% van alle onjuist verwijderde records).
  • Dit suggereert dat filters vaak studies uitsluiten die wel menselijke data bevatten, maar niet de specifieke Emtree-termen hebben die de filters zoeken.
• Invloed van Ontwerp:
  • Filters die alleen Emtree-termen gebruikten (zoals Filter 11 en 10, die specifiek 'animal experiment/' gebruiken zonder 'nonhuman/' termen) waren sensitiever.
  • Filters die titel- en abstractvelden gebruikten (zoals Filter 3) hadden een hogere specificiteit maar lagere sensitiviteit, waarschijnlijk omdat termen in deze velden soms metaforisch worden gebruikt of verwijzen naar uitsluitingscriteria ("dierstudies uitgesloten").

5. Betekenis en Conclusie

De studie concludeert dat er geen "one-size-fits-all" filter is. De keuze van een filter hangt af van de prioriteit van de review:

• Als het niet missen van relevante studies (sensitiviteit) het belangrijkst is, wordt Filter 11 aanbevolen.
• Als het verwijderen van dierlijke studies (specificiteit) de prioriteit is, kan Filter 3 overwogen worden, maar dit gaat ten koste van het behoud van relevante menselijke studies.

Aanbevelingen voor informatie-specialisten:

1. Discussie: Teams moeten bespreken of dieren of niet-mensen in relevante studies kunnen voorkomen (bijv. bij dier-assisterende therapieën of ziekteoverdracht).
2. Context: De prestatie van filters kan variëren per onderwerp, publicatietype (bijv. conferentieabstracts worden vaak automatisch geïndexeerd en lopen meer risico op onjuiste verwijdering) en taal.
3. Voorzichtigheid: Gezien de hoge mate van onjuiste verwijdering van studies met menselijke data, moeten filters met voorzichtigheid worden gebruikt, vooral bij onderwerpen waar de grens tussen dier en mens vloeibaar is.

De studie benadrukt dat het begrijpen van de indexeringslogica van Embase en het kiezen van de juiste filter essentieel is voor de kwaliteit van evidence syntheses.