Development and Validation of OlivePICO: A Browser-Based Pre-Screening Tool for Reducing Title and Abstract Screening Burden in Systematic Reviews
OlivePICO is een gratis, browsergebaseerde pre-screeningtool die gebruikmaakt van gestructureerde PICO-domeinmatching om de last van titel- en abstractscreening bij systematische reviews aanzienlijk te verminderen, terwijl de sensitiviteit hoog blijft en de relevantie voor het protocol wordt verbeterd in vergelijking met niet-gestructureerde trefwoordfiltering.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van de moderne geneeskunde is de meest betrouwbare manier om een behandeling of een ziekte te begrijpen het verzamelen van elke nog geschreven studie over het onderwerp en deze gezamenlijk te onderzoeken. Dit proces, bekend als een systematische review, is de gouden standaard voor bewijsvoering. Echter, de enorme omvang van medisch onderzoek is een punt bereikt waarop deze taak overweldigend is geworden. Een enkele review kan gemakkelijk tienduizenden records ophalen uit wereldwijde databases. Voordat onderzoekers de volledige tekst van een studie kunnen lezen om te zien of deze hun vraag beantwoordt, moeten ze eerst de titel en de korte samenvatting, ook wel het abstract genoemd, van al die duizenden papers lezen. Deze initiële screening is traag, duur en uitputtend, waarbij teams vaak maandenlang door irrelevant materiaal moeten lezen om slechts de paar dozen studies te vinden die er daadwerkelijk toe doen.
Om dit op te lossen, zijn onderzoekers software gaan gebruiken om te helpen bij het sorteren van de stapel, maar veel van deze tools zijn duur of vereisen complexe technische vaardigheden om te bedienen. Een nieuwe tool genaamd OlivePICO biedt een andere aanpak. Het is een gratis, browsergebaseerde applicatie die fungeert als een slim filter voordat de menselijke screening zelfs begint. In plaats van alleen naar willekeurige trefwoorden te kijken, gebruikt het een gestructureerde methode genaamd PICO, wat staat voor Populatie, Interventie, Comparator (Vergelijker) en Outcome (Resultaat). Dit kader hels de software de specifie andere ingrediënten van een onderzoeksvraag te begrijpen: over wie de studie gaat, welke behandeling is getest, waartegen het is vergeleken en welk resultaat is gemeten. Door deze specifieke ingrediënten in de titels en abstracts te matchen, kan de tool snel het kaf van het koren scheiden, waardoor alleen de meest veelbelovende records naar menselijke beoordelaars worden gestuurd terwijl de rest automatisch wordt opzij gezet.
De ontwikkelaars van OlivePICO, Mohammad Sayeed Syed en Jehath Syed, hebben deze tool gebouwd zodat deze volledig binnen een webbrowser draait, wat betekent dat er geen installatie nodig is, geen abonnementskosten gelden en er geen gegevens naar een externe server worden geüpload. Het proces is eenvoudig: een onderzoeker uploadt de lijst met duizenden records, definieert de specifieke PICO-criteria en stelt eventuele uitsluitingsregels in, zoals het filteren van editorials of casusrapporten. De software scant vervolgens elk record. Als een studie voldoet aan de vereiste populatie en het resultaat, wordt deze gemarkeerd voor beoordeling. Als het aan sommige maar niet aan alle criteria voldoet, wordt het als onzeker gemarkeerd voor een menselijke controle op een later moment. Als het duidelijk niet past, wordt het uitgesloten. Het systeem heeft ook een veiligheidsfunctie die automatisch records detecteert en scheidt die officieel zijn ingetrokken, zodat gebrekkige studies niet per ongeluk in de definitieve selectie terechtkomen.
Om te zien of deze tool daadwerkelijk werkt, heeft het team het getest tegen een voltooide review over het afbouwen van medicatie bij oudere volwassenen. In deze test identificeerde de tool succesvol elke afzonderlijke van de zestien studies die het menselijke team oorspronkelijk had opgenomen, waarbij een perfecte sensitiviteit werd bereikt. Om er zeker van te zijn dat de tool niet gewoon geluk had, controleerden ze ook een steekproef van de studies die de software had afgewezen. Ze vonden dat slechts één van de 150 afgewezen studies behouden had moeten blijven, een zeer lage foutmarge die ruim binnen de acceptabele limieten valt. De onderzoekers zetten OlivePICO vervolgens aan het werk bij twee nieuwe, onafhankelijke reviews over vallen bij ouderen, waarbij de prestaties werden vergeleken met een op maat gemaakt computerprogramma dat een simpelere, minder gestructureerde methode van trefwoordmatching gebruikte.
De resultaten toonden een duidelijk verschil in kwaliteit. In de eerste review stuurde het op maat gemaakte computerprogramma duizenden extra records naar de mensen die eigenlijk niet relevant waren, terwijl OlivePICO er veel minder stuurde. Belangrijker nog, toen de onderzoekers keken naar de records die alleen door OlivePICO waren gevonden, bleken bijna twee derde van hen relevant voor de studie te zijn. In contrast hiermee waren de records die alleen door het op maat gemaakte programma waren gevonden, bijna volledig irrelevant. In de tweede review hield het patroon stand: OlivePICO ving een hoog percentage relevante studies die het andere hulpmiddel miste, terwijl het andere hulpmiddel zeer weinig relevante studies ving die OlivePico miste. Dit suggereert dat de gestructureerde PICO-aanpak veel beter in staat is om de context van een studie te begrijpen dan eenvoudige trefwoordzoekopdrachten.
De studie benadrukte ook hoe de tool omgaat met de rommel van de echte wereld. Zo verwerkte de software bijvoorbeeld succesvol gegevens uit engineering-databases, die een andere opmaak gebruiken dan medische databases, zonder dat er speciale aanpassingen nodig waren. Het demonstreerde ook dat de tool verfijnd kan worden; wanneer de initiële test een studie miste omdat een specifieke term ontbrak in de trefwoordenlijst, voegden de onderzoekers die term simpelweg toe en de tool verbeterde onmiddellijk. Dit vermogen om geaudit en aangepast te worden maakt het proces transparant, in tegen tegenstelling tot sommige kunstmatige intelligentiesystemen waar het besluitvormingsproces een 'black box' is. De onderzoekers concluderen dat OlivePICO een praktische, gratis oplossing is die de werklast voor onderzoeksteams aanzienlijk kan verminderen, waardoor zij zich kunnen concentreren op de studies die er echt toe doen zonder de grondigheid op te offeren die vereist is voor hoogwaardige medische bewijsvoering.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.