Development and Validation of OlivePICO: A Browser-Based Pre-Screening Tool for Reducing Title and Abstract Screening Burden in Systematic Reviews
OlivePICO ist ein kostenloses, browserbasiertes Vorseleierungstool, das strukturiertes PICO-Domain-Matching nutzt, um die Last des Titels und Abstract-Screenings bei systematischen Übersichtsarbeiten signifikant zu reduzieren, während gleichzeitig eine hohe Sensitivität und eine verbesserte Protokollrelevanz im Vergleich zu nicht-strukturiertem Keyword-Filtering aufrechterhalten wird.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der modernen Medizin ist der zuverlässigste Weg, eine Behandlung oder eine Krankheit zu verstehen, darin bestehend, jede einzelne jemals zum Thema geschriebene Studie zu sammeln und sie alle gemeinsam zu untersuchen. Dieser Prozess, bekannt als systematischer Review, gilt als Goldstandard für Evidenz. Doch das schiere Volumen der medizinischen Forschung ist zu einem Punkt angewachsen, an dem diese Aufgabe überwältigend geworden ist. Ein einziger Review kann problemlos Zehntausende von Datensätzen aus globalen Datenbanken ziehen. Bevor Forscher den Volltext einer Studie lesen können, um zu sehen, ob sie ihre Frage beantwortet, müssen sie zuerst den Titel und die kurze Zusammenfassung, bekannt als Abstract, jeder einzelnen dieser tausenden Arbeiten lesen. Dieses erste Screening ist langsam, teuer und erschöpfend und erfordert oft, dass Teams Monate damit verbringen, sich durch irrelevantes Material zu lesen, nur um die wenigen Dutzend Studien zu finden, die tatsächlich wichtig sind.
Um dies zu lösen, haben Forscher begonnen, Software einzusetzen, um beim Sortieren des Stapels zu helfen, aber viele dieser Werkzeuge sind teuer oder erfordern komplexe technische Fähigkeiten für die Bedienung. Ein neues Tool namens OlivePICO bietet einen anderen Ansatz. Es ist eine kostenlose, browserbasierte Anwendung, die als smarter Filter fungiert, noch bevor das menschliche Screening beginnt. Anstatt nur nach zufälligen Schlüsselwörtern zu suchen, verwendet es eine strukturierte Methode namens PICO, was für Population (Population), Intervention (Intervention), Comparator (Vergleichsgruppe) und Outcome (Ergebnis) steht. Dieses Framework hilft der Software, die spezifischen Zutaten einer Forschungsfrage zu verstehen: über wen die Studie handelt, welche Behandlung getestet wurde, womit sie verglichen wurde und welches Ergebnis gemessen wurde. Durch das Abgleichen dieser spezifischen Zutaten in den Titeln und Abstracts kann das Tool schnell die Spreu vom Weizen trennen und nur die vielversprechendsten Datensätze an die menschlichen Prüfer weiterleiten, während der Rest automatisch aussortiert wird.
Die Entwickler von OlivePICO, Mohammad Sayeed Syed und Jehath Syed, haben dieses Tool so gebaut, dass es vollständig innerhalb eines Webbrowsers läuft, was bedeutet, dass es keine Installation, keine Abonnementgebühren und keinen Upload von Daten an einen Remote-Server erfordert. Der Prozess ist unkompliziert: Ein Forscher lädt seine Liste von tausenden Datensätzen hoch, definiert seine spezifischen PICO-Kriterien und legt Ausschlussregeln fest, wie etwa das Herausfiltern von Editorials oder Fallberichten. Die Software scannt dann jeden Datensatz. Wenn eine Studie die erforderliche Population und das erforderliche Ergebnis erfüllt, wird sie zur Überprüfung markiert. Wenn sie einige, aber nicht alle Kriterien erfüllt, wird sie als unsicher markiert, damit ein Mensch sie später prüfen kann. Wenn sie eindeutig nicht passt, wird sie ausgeschlossen. Das System verfügt zudem über eine Sicherheitsfunktion, die automatisch erkennt und Datensätze trennt, die offiziell zurückgezogen wurden, um sicherzustellen, dass fehlerhafte Studien nicht versehentlich in den endgültigen Pool gelangen.
Um zu sehen, ob dieses Tool tatsächlich funktioniert, testete das Team es an einem abgeschlossenen Review über das Absetzen von Medikamenten bei älteren Erwachsenen. In diesem Test identifizierte das Tool erfolgreich jede einzelne der sechzehn Studien, die das menschliche Team ursprünglich eingeschlossen hatte, und erreichte eine perfekte Sensitivität. Um sicherzustellen, dass das Tool nicht nur Glück hatte, überprüften sie stichprobenartig eine Auswahl der Studien, die die Software abgelehnt hatte. Sie fanden heraus, dass nur eine von 150 abgelehnten Studien hätte behalten werden sollen, eine sehr niedrige Fehlerrate, die innerhalb akzeptabler Grenzen liegt. Die Forscher setzten OlivePICO dann bei zwei neuen, unabhängigen Reviews über Stürze bei älteren Erwachsenen ein und verglichen dessen Leistung mit einem maßgeschneiderten Computerprogramm, das eine einfachere, weniger strukturierte Methode des Keyword-Matchings verwendete.
Die Ergebnisse zeigten einen deutlichen Qualitätsunterschied. In der ersten Review schickte das maßgeschneiderte Computerprogramm tausende zusätzliche Datensätze an die Menschen, die tatsächlich nicht relevant waren, während OlivePICO weit weniger schickte. Viel wichtiger war, dass die Forscher, als sie sich die Datensätze ansah, die nur OlivePICO gefunden hatte, feststellten, dass fast zwei Drittel von ihnen relevant für die Studie waren. Im Gegensatz dazu waren die Datensätze, die nur das maßgeschneiderte Programm fand, fast vollständig irrelevant. In der zweiten Review bestätigte sich das Muster: OlivePICO erfasste einen hohen Prozentsatz relevanter Studien, die das andere Tool verpasst hatte, während das andere Tool nur sehr wenige relevante Studien erfasste, die OlivePICO verpasst hatte. Dies deutet darauf hin, dass der strukturierte PICO-Ansatz wesentlich besser in der Lage ist, den Kontext einer Studie zu verstehen als ein einfaches Keyword-Matching.
Die Studie hob auch hervor, wie das Tool mit der Unordnung der realen Welt umgeht. Beispielsweise verarbeitete die Software erfolgreich Daten aus Engineering-Datenbanken, die ein anderes Format als medizinische Datenbanken verwenden, ohne dass spezielle Anpassungen nötig waren. Es wurde auch demonstriert, dass das Tool verfeinert werden kann; als der erste Test eine Studie übersah, weil ein spezifischer Begriff in der Keyword-Liste fehlte, fügten die Forscher diesen Begriff einfach hinzu und das Tool verbesserte sich sofort. Diese Fähigkeit, geprüft und angepasst zu werden, macht den Prozess transparent – im Gegensatz zu einigen KI-Systemen, bei denen der Entscheidungsprozess eine „Black Box“ ist. Die Forscher kommen zu dem Schluss, dass OlivePICO eine praktische, kostenlose Lösung ist, die die Arbeitsbelastung von Forschungsteams erheblich reduzieren kann, sodass sie sich auf die Studien konzentrieren können, die wirklich wichtig sind, ohne die Gründlichkeit zu opfern, die für qualitativ hochwertige medizinische Evidenz erforderlich ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.