Development and Validation of OlivePICO: A Browser-Based Pre-Screening Tool for Reducing Title and Abstract Screening Burden in Systematic Reviews
OlivePICO è uno strumento di pre-screening gratuito e basato su browser che utilizza il corrispondimento dei domini PICO strutturati per ridurre significativamente il carico di screening di titoli e abstract nelle revisioni sistematiche, mantenendo un'alta sensibilità e migliorando la rilevanza del protocollo rispetto al filtraggio per parole chiave non strutturato.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo della medicina moderna, il modo più affidabile per comprendere un trattamento o una malattia è raccogliere ogni singolo studio mai scritto sull'argomento ed esaminarli tutti insieme. Questo processo, noto come revisione sistematica, è il gold standard dell'evidenza scientifica. Tuttavia, l'enorme volume della ricerca medica è esploso a un punto tale da rendere questo compito travolgente. Una singola revisione può facilmente estrarre decine di migliaia di record dai database globali. Prima che i ricercatori possano leggere il testo completo di uno studio per vedere se risponde alla loro domanda, devono prima leggere il titolo e il breve riassunto, noto come abstract, di ognuna di quelle migliaia di pubblicazioni. Questa selezione iniziale è lenta, costosa ed estenuante, richiedendo spesso a interi team di passare mesi a leggere materiale irrilevante solo per trovare le poche decine di studi che contano davvero.
Per risolvere questo problema, i ricercatori hanno iniziato a utilizzare software per aiutare a smistare l'accumulo, ma molti di questi strumenti sono costosi o richiedono competenze tecniche complesse per essere utilizzati. Un nuovo strumento chiamato OlivePICO offre un approccio diverso. È un'applicazione gratuita, basata su browser, che funge da filtro intelligente prima ancora che inizi la selezione umana. Invece di cercare solo parole chiave casuali, utilizza un metodo strutturato chiamato PICO, che sta per Popolazione, Intervento, Comparatore e Risultato (Population, Intervention, Comparator, Outcome). Questo schema aiuta il software a comprendere gli ingredienti specifici di una domanda di ricerca: di chi tratta lo studio, quale trattamento è stato testato, contro cosa è stato confrontato e quale risultato è stato misurato. Combinando questi ingredienti specifici nei titoli e negli abstract, lo strumento può separare rapidamente il grano dalla crusca, inviando ai revisori umani solo i record più promettenti e mettendo da parte automaticamente gli altri.
Gli sviluppatori di OlivePICO, Mohammad Sayeed Syed e Jehath Syed, hanno costruito questo strumento affinché funzioni interamente all'interno di un browser web, il che significa che non richiede installazione, non prevede costi di abbonamento e non richiede l'invio di dati a un server remoto. Il processo è semplice: un ricercatore carica il proprio elenco di miglia di record, definisce i propri criteri PICO specifici e imposta eventuali regole di esclusione, come filtrare editoriali o casi clinici. Il software scansiona quindi ogni record. Se uno studio corrisponde alla popolazione e al risultato richiesti, viene contrassegnato per la revisione. Se corrisponde ad alcuni ma non a tutti i criteri, viene contrassegnato come incerto per un controllo umano successivo. Se chiaramente non è pertinente, viene escluso. Il sistema dispone anche di una funzione di sicurezza che rileva e separa automaticamente eventuali record che sono stati ufficialmente ritirati, garantendo che studi difettosi non finiscano accidentalmente nel pool finale.
Per verificare se questo strumento funzioni davvero, il team lo ha testato su una revisione completata riguardante la deprescrizione di farmaci negli anziani. In questo test, lo strumento ha identificato con successo ogni singolo uno dei sedici studi che il team umano aveva originariamente incluso, raggiungendo una sensibilità perfetta. Per assicurarsi che lo strumento non fosse stato solo fortunato, hanno anche controllato casualmente un campione degli studi che il software aveva rifiutato. Hanno scoperto che solo uno su 150 studi rifiutati avrebbe dovuto essere mantenuto, un tasso di errore molto basso che rientra ampiamente nei limiti accettabili. Successivamente, i ricercatori hanno messo alla prova OlivePICO su due nuove revisioni indipendenti riguardanti le cadute negli anziani, confrontando le sue prestazioni contro un programma informatico personalizzato che utilizzava un metodo più semplice e meno strutturato di ricerca per parole chiave.
I risultati hanno mostrato una chiara differenza di qualità. Nella prima revisione, il programma informatico personalizzato ha inviato migliaia di record extra agli umani che non erano in realtà rilevanti, mentre OlivePICO ne ha inviati molti meno. Più importante ancora, quando i ricercatori hanno esaminato i record che solo OlivePICO aveva trovato, quasi due terzi si sono rivelati rilevanti per lo studio. Al contrario, i record che solo il programma personalizzato aveva trovato erano quasi interamente irrilevanti. Nella seconda revisione, il modello si è confermato: OlivePICO ha catturato un'alta percentuale di studi rilevanti che l'altro strumento aveva mancato, mentre l'altro strumento ha catturato pochissimi studi rilevanti che OlivePICO aveva mancato. Ciò suggerisce che l'approccio strutturato PICO sia molto più efficace nel comprendere il contesto di uno studio rispetto alla semplice ricerca per parole chiave.
Lo studio ha inoltre evidenziato come lo strumento gestisca la "sporcizia" del mondo reale. Ad esempio, il software ha elaborato con successo dati provenienti da database di ingegneria, che utilizzano formattazioni diverse rispetto ai database medici, senza necessità di alcun adattamento speciale. Ha anche dimostrato che lo strumento può essere perfezionato; quando il test iniziale ha mancato uno studio perché un termine specifico era assente dall'elenco delle parole chiave, i ricercatori hanno semplicemente aggiunto quel termine e lo strumento è migliorato immediatamente. Questa capacità di essere sottoposto ad audit e regolato rende il processo trasparente, a differenza di alcuni sistemi di intelligenza artificiale dove il processo decisionale è una "scatola nera". I ricercatori concludono che OlivePICO è una soluzione pratica e gratuita che può ridurre significativamente il carico di lavoro per i team di ricerca, permettendo loro di concentrare l'impegno umano sugli studi che contano davvero senza sacrificare il rigore richiesto per un'evidenza medica di alta qualità.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.