Development of a System of Indicators for Assessing the Quality of Search Strategies in Systematic Reviews: A Methodological Document Review

In de wereld van wetenschappelijk onderzoek is een systematische review een krachtig instrument. Stel je een team van wetenschappers voor die de waarheid willen weten over een specifieke medische behandeling of een sociaal vraagstuk. In plaats van één nieuw experiment uit te voeren, verzamelen zij elke enkele studie die ooit over dat onderwerp is uitgevoerd. Ze lezen ze allemaal, controleren de kwaliteit en combineren de bevindingen om één duidelijk, betrouwbaar antwoord te crengen. Dit proces is de gouden standaard voor besluitvorming in velden zoals de geneeskunde en de volksgezondheid, omdat het door de ruis van individuele studies heen snijdt om het grotere plaatje te onthullen. De gehele procedure rust echter op één enkel, kwetsbaar fundament: de zoekstrategie. Dit is de specifieke set instructies die de onderzoekers gebruiken om die studies te vinden. Als de zoekopdracht te nauw is, missen ze belangrijke bewijslast. Als het te slordig of slecht geschreven is, vinden ze misschien irrelevante rommel of vinden ze de juiste artikelen helemaal niet. Wanneer de zoekopdracht faalt, is de uiteindelijke conclusie van de review gebrekkig, wat ertoe kan leiden dat artsen en beleidsmakers beslissingen nemen op basis van onvolledige of bevooroordeelde informatie.

Ondanks hoe cruciaal deze stap is, is de kwaliteit van deze zoekstrategieën vaak over het hoofd gezien. Onderzoekers weten al lang dat ze grondig moeten zijn, maar er was geen standaardmethode om te meten of een zoekopdracht daadwerkelijk goed was uitgevoerd. Een nieuwe studie door Alireza Jahani en Keyvan Salehi van de Universiteit van Teheran heeft tot doel dit gat te dichten. De onderzoekers zetten zich in om een praktisch systeem van indicatoren te bouwen — een checklist van specifieke, meetbare signalen — die iedereen kan gebruiken om de kwaliteit van een zoekstrategie in een systematische review te beoordelen. Hun doel was om verder te gaan dan vage adviezen en een concreet kader te bieden dat onderzoekers, reviewers en redacteuren van wetenschappelijke tijdschriften kunnen gebruiken om ervoor te zorgen dat deze studies gebouwd zijn op een solide bodem.

Om dit systeem te creëren, voerden de auteurs een onderzoek in twee fasen uit. Eerst voerden zij een diepe duik uit in de bestaande kennis. Zij verzamelden en lazen vijftendertig verschillende documenten, waaronder boeken, internationale richtlijnen en eerdere studies die bespraken hoe men zoekstrategieën schrijft en evalueert. Uit deze enorme collectie tekst extraheerden zij 128 initiële ideeën over wat een zoekopdracht goed maakt. Vervolgens organiseerden zij deze ideeën zorgvuldig, waarbij ze ideeën die hetzelfde betekenden samenvoegden en duplicaten verwijderden. Door dit proces van verfijning destilleerden zij de 128 ideeën tot een definitieve set van 39 specifieke indicatoren, die zij onderverdeelden in zeven hoofdcategorieën. Deze categorieën dekken de gehele levenscyclus van een zoekopdracht, van de initiële planning tot de uiteindelijke rapportage.

De eerste categorie, die de auteurs "Selectie-omvang" noemen, richt zich op waar de zoekopdracht plaatsvindt. De studie stelt vast dat een hoogwaardige zoekopdracht op veel verschillende plaatsen moet zoeken, inclusend belangrijke gespecialiseerde databases en multidisciplinaire collecties. De onderzoekers merkten expliciet op dat het vertrouwen op een enkele algemene zoekmachine niet voldoende is. Zij stelden vast dat het gebruik van slechts één bron, of het te zwaar leunen op een algemene webzoekopdracht, het risico vergroot dat belangrijke studies worden gemist en bias introduceert. Een goede zoekstrategie moet breed genoeg zijn om relevante bewijslast uit diverse wetenschappelijke bronnen te vangen, terwijl het de verleiding vermijdt om een enkele, gemakkelijke tool als de enige bron van waarheid te gebruiken.

De tweede categorie gaat over de "Ontwerpstructuur van de Zoekstrategie". Dit gaat over de logica achter de zoekopdracht. De studie benadrukt dat een sterke zoekopdracht begint met een heldere, goed gedefinieerde vraag, vaak georganiseerd rond specifieke elementen zoals de populatie die wordt bestudeerd en de uitkomsten die worden gemeten. De onderzoekers stelden vast dat effectieve strategieën kernconcepten bij elkaar brengen en elke mogelijke manier vinden om die concepten te benoemen, inclusief het gebruik van zowel technische medische termen als alledaagse taal. Ze benadrukten ook dat dit proces iteratief moet zijn, wat betekent dat de onderzoekers hun zoekopdracht moeten testen, moeten zien wat er terugkomt, en vervolgens hun vragen en termen moeten verfijnen op basis van wat ze vinden. Deze cyclus van testen en verbeteren voorkomt dat de zoekopdracht te nauw is of studies mist die andere woorden gebruiken om hetzelfde idee te beschrijven.

De derde categorie, "Syntactische Formulering", behandelt de technische regels van de zoekopdracht. Net zoals een zin grammatica regels moet volgen om betekenis te hebben, moet een computerzoekopdracht specifieke syntaxisregels volgen om correct te werken. De studie wijst erop dat elke database zijn eigen unieke set regels heeft voor hoe woorden worden gecombineerd, hoe symbolen voor "en" of "of" worden gebruikt en hoe speciale tekens worden afgehandeld. De onderzoekers stelden vast dat fouten in deze technische details veel voorkomen en kunnen ervoor zorgen dat een zoekopdracht relevante documenten mist of duizenden irrelevante documenten teruggeeft. Om dit te voorkomen, gebruiken hoogwaardige zoekopdrachten de juiste symbolen en maken ze vaak gebruik van tools om de zoekopdracht van de ene database naar de andere te vertalen, zodat de logica consistent blijft over verschillende platforms.

Naast de reguliere zoekopdracht kijkt de vierde categorie, "Aanvullend Zoeken", naar bewijs dat mogelijk in de schaduwen verborgen ligt. De studie identificeert dat veel belangrijke bevindingen, met name die welke geen dramatisch effect lieten zien, nooit in standaard wetenschappelijke tijdschriften worden gepubliceerd. Om deze te vinden, moet een hoogwaardige review verder gaan dan alleen het doorzoeken van databases. Het moet het controleren van de referentielijsten van reeds gevonden artikelen omvatten, het doorzoeken van conferentiepapers, het zoeken naar on gepubliceerde klinische trials en zelfs het contact opnemen met experts in het vakgebied. De auteurs stellen dat het overslaan van deze extra stappen de review kwetsbaar maakt voor "publicatiebias", waarbij het uiteindelijke resultaat alleen de studies reflecteert die het geluk hadden om gepubliceerd te worden, in plaats van de volledige realiteit van het bewijs.

De vijfde categorie is "Validatie". Deze stap draait om het controleren van het werk voordat het voltooid is. De studie stelde vast dat de beste praktijk inhoudt dat een informatie specialist — een professional die getraind is in het vinden van informatie — de zoekstrategie beoordeelt. Deze expert kan fouten opsporen die de oorspronkelijke onderzoekers mogelijk missen. Daarnaast moet de zoekopdracht worden getest tegen een bekende lijst van belangrijke artikelen om te zien of deze de artikelen succesvol vindt. Als de zoekopdracht deze bekende sleutelstudies niet vindt, is deze niet gevoelig genoeg en moet deze worden aangepast. Dit validatieproces fungeert als een vangnet, dat ervoor zorgt dat de zoekopdracht in staat is de kritieke bewijslast op te halen die nodig is voor de review.

De zesde categorie, "Rapportage Transparantie", richt zich op hoe de zoekopdracht wordt gedocumenteerd. De studie benadrukt dat voor een betrouwbare review de auteurs precies moeten opschrijven wat ze hebben gedaan. Dit omvat het vermelden van elke gebruikte database, de exacte datum waarop de zoekopdracht is uitgevoerd en de volledste lijst met zoektermen. Ze moeten ook uitleggen waarom ze bepaalde studies hebben opgenomen of uitgesloten en hoe ze dubbele resultaten hebben verwijderd. Zonder dit niveau van detail kunnen andere wetenschappers de zoekopdracht niet herhalen om de resultaten te verifiëren. De onderzoekers stelden vast dat het volgen van gevestigde rapportage-checklists helpt om ervoor te zorgen dat geen enkele cruciale stap wordt overgeslagen en dat het proces duidelijk is voor iedereen die de studie leest.

Ten slotte zorgt de zevende categorie, "Proces Actualisering", ervoor dat de review actueel blijft tot aan de publicatie. Omdat er elke dag nieuwe studies worden gepubliceerd, kan een zoekopdracht die een jaar geleden perfect was, verouderd zijn op het moment dat de review wordt uitgebracht. De studie raadt aan om de zoekopdracht kort voor de publicatie opnieuw uit te voeren om nieuwe bewijslast te vangen. Het suggereert ook dat het proces van het selecteren van studies onafhankelijk moet worden uitgevoerd door ten minste twee onderzoekers om individuele fouten te verminderen, en dat het team software moet gebruiken om het grote aantal gevonden artikelen te beheren.

Na het ontwikkelen van dit systeem hebben de onderzoekers het getest. Zij pasten hun nieuwe checklist toe op twintig systematische reviews die in wetenschappelijke tijdschriften waren gepubliceerd. Zij evalueerden elke review om te zien of deze voldeed aan de geïdentificeerde indicatoren. De resultaten toonden aan dat hoewel sommige reviews sterk waren, veel significante hiaten vertoonden, met name op de technische gebieden van syntaxis en de cruciale stap van het laten valideren van de zoekopdracht door een specialist. De auteurs concludeerden dat hun nieuwe systeem een praktische en noodzakelijke tool is om de kwaliteit van systematische reviews te verbeteren. Door deze indicatoren te gebruiken, kunnen onderzoekers bias verminderen, hun bevindingen reproduceerbaarder maken en ervoor zorgen dat het verzamelde bewijs werkelijk de wereld reflecteert zoals die is. De studie suggereert dat tijdschriften van auteurs moeten eisen dat zij dit systeem gebruiken als een standaard onderdeel van het reviewproces, om er zeker van te zijn dat het fundament van deze cruciale wetenschappelijke samenvattingen net zo sterk is als de conclusies die zij trekken.