Does the sensitivity- and precision-maximizing RCT filter find all 'included' records retrieved by the sensitivity-maximizing filter on Ovid MEDLINE? An investigation using 14 Cochrane reviews

Een onderzoek met 14 Cochrane-reviews toont aan dat de SaPM-filter de screeningslast op Ovid MEDLINE met 83% verlaagt ten opzichte van de SM-filter, terwijl slechts een klein aantal relevante studies wordt gemist dat via citatiezoekopdrachten kan worden gecompenseerd.

De kern

De Grote Boekjager: Een Vergelijking tussen Twee Zoekstrategieën

Stel je voor dat je een enorme bibliotheek binnenstapt. Deze bibliotheek is zo groot dat er elke dag duizenden nieuwe boeken worden toegevoegd. Je taak is om precies die boeken te vinden die over een heel specifiek onderwerp gaan: bijvoorbeeld "de beste manier om een gebroken been te genezen". Maar er is een probleem: in deze bibliotheek zitten ook miljoenen boeken over katten, kookrecepten en fictie. Als je alles één voor één moet lezen, duurt het je hele leven voordat je klaar bent.

Om dit op te lossen, gebruiken onderzoekers speciale "zoekfilters". Dit zijn als het ware slimme apparaten die door de bibliotheek rennen en alleen de boeken oppikken die eruitzien alsof ze over gebroken benen gaan.

Deze studie kijkt naar twee van deze filters, die speciaal zijn ontworpen voor het vinden van Randomized Controlled Trials (RCT's). Dat zijn de "gouden standaard" van medisch onderzoek: studies waar mensen willekeurig in groepjes worden verdeeld om te testen of een behandeling werkt.

De twee filters die worden vergeleken zijn:

1. De "Alles-Vangende" Filter (SM): Deze filter is ontworpen om niets te missen. Hij is als een gigantisch, wijd open net. Hij vangt bijna elk boek dat ook maar een beetje op een RCT lijkt. Het nadeel? Hij vangt ook heel veel onzin mee (zoals kookboeken die per ongeluk het woord "proef" bevatten). Je moet dus heel veel boeken doornemen om de goede te vinden.
2. De "Slimme & Scherpe" Filter (SaPM): Deze filter is iets selectiever. Hij probeert niet alleen alles te vangen, maar ook zo min mogelijk onzin mee te nemen. Hij is als een net met kleinere gaten: hij laat de grote rommel erdoor, maar vangt de echte pareltjes.

Wat hebben de onderzoekers gedaan?
De onderzoekers (Helen, David, Connor en Mark) namen 14 echte medische onderzoeken (Cochrane-reviews) als proef. Ze keken naar de boeken die deze onderzoeken uiteindelijk als "goed" hadden gekozen. Vervolgens lieten ze hun twee filters over diezelfde bibliotheek rennen om te zien:

• Vangen ze dezelfde goede boeken?
• Hoeveel "rotzooi" halen ze eruit?
• Kunnen we de "rotzooi" verminderen zonder de goede boeken te verliezen?

De Resultaten: Wat bleek eruit?

• De "Alles-Vangende" Filter (SM) was erg goed in het vinden van de juiste boeken (98,2% gevonden), maar hij bracht ook een berg onzin mee. Om één goed boek te vinden, moest je gemiddeld 189 boeken doorbladeren. Dat is als het zoeken naar een speld in een hooiberg, waarbij je eerst de hele hooiberg moet leeghalen.
• De "Slimme & Scherpe" Filter (SaPM) vond iets minder boeken (95,9% gevonden), maar hij was veel efficiënter. Hij liet veel meer onzin buiten de deur. Om één goed boek te vinden, hoefde je nu maar 68 boeken door te bladeren. Dat is een enorme tijdwinst!

Het Verlies en de Oplossing
De "Slimme" filter miste dus een paar goede boeken die de "Alles-Vangende" filter wel had gevonden. Maar hier komt het creatieve deel: de onderzoekers ontdekten dat je deze gemiste boeken alsnog kunt vinden door citaten te zoeken.

Stel je voor dat je een goed boek hebt gevonden. In dat boek staan verwijzingen naar andere boeken die het schrijver heeft gelezen (achterwaartse citaten) of boeken die later naar dit boek hebben verwezen (voorwaartse citaten). Door deze "familiebanden" te onderzoeken, vonden ze bijna alle gemiste boeken terug. Het was dus alsof ze een paar vergeten boeken hadden, maar door de achterkant van de boekenplank te bekijken, vonden ze ze alsnog.

De Conclusie voor de Gemiddelde Mens

Dit onderzoek leert ons iets belangrijks over het vinden van informatie:

1. Kwaliteit vs. Kwantiteit: Soms is het beter om een filter te kiezen dat minder "rommel" produceert, zelfs als je misschien 1 of 2 goede boeken extra moet zoeken via een andere weg (zoals citaten).
2. Tijd is Geld: De "Slimme" filter bespaarde gemiddeld 28% meer tijd dan de "Alles-Vangende" filter. Voor grote projecten kan dit betekenen dat je een onderzoek in plaats van een jaar in twee maanden kunt afronden.
3. Geen perfecte oplossing: Er is geen filter die 100% perfect is. Maar als je bereid bent om een klein beetje extra werk te doen (zoals het controleren van citaten), kun je enorm veel tijd besparen op de saaie, repetitieve taak van het uitzoeken van duizenden boeken.

Kort samengevat:
Als je een zoektocht doet in een enorme berg informatie, kun je kiezen voor een filter dat alles oppikt (veel werk, weinig kans op iets te missen) of een filter dat selectiever is (minder werk, maar je moet af en toe even kijken of je niets hebt gemist). Deze studie zegt: kies voor de selectieve filter, en gebruik een beetje "familieonderzoek" (citaten) om de paar gemiste items alsnog te vinden. Zo haal je het beste van beide werelden: snelheid en nauwkeurigheid.

Technische samenvatting

Titel:

Vindt de RCT-filter voor maximale sensitiviteit én precisie alle 'opgenomen' records die door de filter voor maximale sensitiviteit op Ovid MEDLINE worden gevonden? Een onderzoek met 14 Cochrane-reviews.

1. Het Probleem

De hoeveelheid literatuur in MEDLINE groeit dagelijks, wat het voor onderzoekers moeilijk maakt om een evenwicht te vinden tussen een gevoelige (sensitive) zoekstrategie en een beheersbaar aantal records om te screenen.

• Huidige situatie: Er zijn twee gevalideerde zoekfilters voor Randomized Controlled Trials (RCT's) op Ovid MEDLINE:
  1. SM (Sensitivity-Maximizing): Ontworpen om zo veel mogelijk relevante studies te vinden, maar resulteert vaak in een groot aantal irrelevante records (lage precisie).
  2. SaPM (Sensitivity- and Precision-Maximizing): Ontworpen om de precisie te verhogen (minder irrelevante records) terwijl de sensitiviteit hoog blijft. Cochrane adviseert deze filter alleen te gebruiken als het aantal records van de SM-filter onbeheersbaar is.
• De kennislacune: De filters zijn recent geüpdatet (2023 versie), maar er is geen recente vergelijking tussen de prestaties van de SM- en SaPM-versies. Er is onduidelijkheid over hoeveel 'inclusies' (eindselectie van studies) de SaPM-filter mist in vergelijking met de SM-filter, en of het gebruik van SaPM de screeningstijd aanzienlijk verkort zonder de kwaliteit van de review te schaden.

2. Methodologie

De auteurs voerden een onderzoek uit met de volgende stappen:

• Datasets: Er werden 14 recente Cochrane-reviews geselecteerd die oorspronkelijk de SM-filter (2008-versie of aangepast) hadden gebruikt. De uiteindelijke 'opgenomen' records (na volledige tekst-screening) vormden de 'gold standard'.
• Recall-test: Voor elk van de 14 datasets werd gecontroleerd hoeveel van de opgenomen records beschikbaar waren op Ovid MEDLINE en hoeveel daarvan door de nieuwe 2023-versies van de SM- en SaPM-filters werden gevonden.
• Analyse van gemiste records: Onderzocht waarom records gemist werden (bijv. ontbrekende abstracts, specifieke zoektermen in titel vs. abstract).
• Citeringszoekopdrachten: Voor records die door de filters gemist werden, werd voorwaartse (forward) en achterwaartse (backward) citatiezoekopdracht uitgevoerd (via Web of Science en CitationChaser) om te zien of het risico van het missen van studies kon worden gecompenseerd.
• Efficiëntieberekening: De oorspronkelijke zoekstrategieën van 9 van de 14 reviews werden gereproduceerd. Hierbij werden de precisie, het 'Number-Needed-to-Read' (NNR) en de verandering in het 'Overall Number-Needed-to-Screen' (ONNS) berekend voor beide filters.
• Uitsluitingscriteria: Datasets met minder dan 1.000 records of die alleen gespecialiseerde registers gebruikten, werden uitgesloten van de efficiëntieanalyse.

3. Belangrijkste Resultaten

• Recall (Sensitiviteit):
  • De SM-filter vond gemiddeld 98,2% (387 van 394) van de opgenomen records.
  • De SaPM-filter vond gemiddeld 95,9% (378 van 394) van de opgenomen records.
  • Het verschil bedroeg 2,3% (9 records). De SaPM-filter miste meer records, maar presteerde in 11 van de 14 datasets gelijk aan of beter dan de SM-filter.
• Unieke Opbrengst:
  • De SM-filter vond 12 unieke records die de SaPM-filter miste.
  • De SaPM-filter vond 3 unieke records die de SM-filter miste (vaak records zonder abstract of met specifieke titelwoorden).
• Efficiëntie (Screeninglast):
  • Precisie: De SaPM-filter had een gemiddelde precisie van 4,4% versus 1,5% voor de SM-filter.
  • NNR (Aantal te lezen records per gevonden studie): SaPM: 68 vs. SM: 189. Dit betekent dat je met SaPM veel minder records hoeft te screenen om één relevante studie te vinden.
  • ONNS-vermindering: De SaPM-filter verlaagde het totale aantal te screenen records met gemiddeld 83%, terwijl de SM-filter dit met 54,8% verlaagde.
  • Extra winst: Het gebruik van SaPM in plaats van SM resulteerde in een extra reductie van 28,2% in het aantal te screenen records.
• Compensatie door Citaties:
  • Alle 7 records die door de SM-filter gemist werden, en 15 van de 16 records die door de SaPM-filter gemist werden, konden worden gevonden via citatiezoekopdrachten (vooral met CitationChaser). Dit suggereert dat het risico van het missen van studies klein is en goed te mitigeren.

4. Belangrijkste Bijdragen

• Eerste vergelijking van 2023-versies: Dit is een van de eerste studies die de nieuwste (2023) versies van de Cochrane RCT-filters direct vergelijkt op basis van echte review-uitkomsten.
• Kwantificering van de trade-off: Het onderzoek biedt concrete cijfers over de afweging tussen het missen van een klein aantal studies (2,3%) en de enorme tijdsbesparing (28,2% extra reductie in screening).
• Mitigatie-strategie: Het bewijs dat citatiezoekopdrachten bijna alle gemiste studies kunnen terugvinden, biedt een praktische oplossing voor reviewers die kiezen voor de efficiëntere SaPM-filter.
• Aanbevelingen voor aanpassing: Het paper identificeert specifieke scenario's waarin de SaPM-filter minder goed presteert (bijv. bij studies over medicijnen waar 'drug therapy' als zwevende subheadings wordt gebruikt, of studies zonder abstract). Dit helpt informatie-specialisten bij het maken van gefundeerde aanpassingen aan de filter.

5. Significantie en Conclusie

De studie concludeert dat de SaPM-filter een zeer waardevol alternatief is voor de traditionele SM-filter, vooral voor grotere reviews of snelle reviews waar tijd en middelen beperkt zijn.

• Advies: Reviewteams kunnen de SaPM-filter overwegen om de screeninglast aanzienlijk te verlagen, mits ze bereid zijn om een zeer klein risico op het missen van enkele studies te accepteren.
• Risicomanagement: Dit risico kan effectief worden geminimaliseerd door citatiezoekopdrachten toe te passen op de gemiste records.
• Context: De keuze tussen de filters moet afhankelijk zijn van het specifieke onderwerp van de review (bijv. medicijnen) en de beschikbare resources. Voor onderwerpen met veel farmacologische studies zou de SM-filter (of een aangepaste SaPM-filter) mogelijk nog steeds de voorkeur hebben.

Kortom, de SaPM-filter biedt een significante efficiëntiewinst met een minimaal risico op het missen van relevante literatuur, mits aangevuld met citatiezoekopdrachten.