Development of a System of Indicators for Assessing the Quality of Search Strategies in Systematic Reviews: A Methodological Document Review

Nel mondo della ricerca scientifica, una revisione sistematica è uno strumento potente. Immaginate un team di scienziati che vuole conoscere la verità su un particolare trattamento medico o su una questione sociale. Invece di condurre un singolo nuovo esperimento, essi raccolgono ogni singolo studio che sia mai stato realizzato su quel tema. Li leggono tutti, ne controllano la qualità e combinano i loro risultati per creare una risposta chiara e affidabile. Questo processo è il "gold standard" per il processo decisionale in campi come la medicina e la salute pubblica perché taglia il rumore dei singoli studi per rivelare il quadro generale. Tuttavia, l'intero processo poggia su un'unica, fragile fondamenta: la strategia di ricerca. Questa è l'insieme specifico di istruzioni che i ricercatori utilizzano per trovare quegli studi. Se la ricerca è troppo stretta, perdono prove importanti. Se è troppo disordinata o scritta male, potrebbero trovare materiale irrilevante o non riuscire affatto a trovare i documenti giusti. Quando la ricerca fallisce, la conclusione finale della revisione è viziata, portando potenzialmente medici e decisori politici a prendere decisioni basate su informazioni incomplete o distorte.

Nonostante quanto critico sia questo passaggio, la qualità di queste strategie di ricerca è stata spesso trascurata. I ricercatori sanno da tempo di dover essere approfonditi, ma non esisteva un modo standard per misurare se una ricerca fosse stata effettivamente eseguita bene. Un nuovo studio di Alireza Jahani e Keyvan Salehi dell'Università di Teheran mira a colmare questa lacuna. I ricercatori si sono posti l'obiettivo di costruire un sistema pratico di indicatori — una checklist di segni specifici e misurabili — che chiunque possa usare per giudicare la qualità di una strategia di ricerca in una revisione sistematica. Il loro obiettivo era andare oltre i consigli vaghi e fornire un quadro concreto che ricercatori, revisori ed editori di riviste potessero utilizzare per garantire che questi studi siano costruiti su basi solide.

Per creare questo sistema, gli autori hanno condotto un'indagine in due fasi. In primo luogo, hanno effettuato un'immersione profonda nella conoscenza esistente. Hanno raccolto e letto trentacinque diversi documenti, tra cui libri, linee guida internazionali e studi precedenti che discutevano come scrivere e valutare le strategie di ricerca. Da questa vasta collezione di testi, hanno estratto 128 idee iniziali su cosa renda buona una ricerca. Hanno poi organizzato attentamente queste idee, fondendo quelle che avevano lo stesso significato e rimuovendo i duplicati. Attraverso questo processo di raffinamento, hanno distillato le 128 idee in un set finale di 39 indicatori specifici, che hanno raggruppato in sette categorie principali. Queste categorie coprono l'intero ciclo di vita di una ricerca, dalla pianificazione iniziale alla relazione finale.

La prima categoria, che gli autori chiamano "Completezza della Selezione" (Selection Comprehensiveness), si concentra su dove avviene la ricerca. Lo studio ha rilevato che una ricerca di alta qualità deve cercare in molti luoghi diversi, inclusi i principali database specializzati e le collezioni multidisciplinari. I ricercatori hanno esplicitamente notato che affidarsi a un singolo motore di ricerca generale non è sufficiente. Hanno scoperto che utilizzare una sola fonte, o dipendere troppo da una ricerca web generica, aumenta il rischio di perdere studi importanti e introduce bias. Una buona strategia di ricerca deve essere abbastanza ampia da catturare prove rilevanti da diverse fonti scientifiche, evitando al contempo la tentazione di usare un unico strumento facile come l'unica fonte di verità.

La seconda categoria riguarda la "Progettazione della Struttura della Strategia di Ricerca" (Search Strategy Structure Design). Questa riguarda la logica dietro la ricerca. Lo studio enfatizza che una ricerca forte inizia con una domanda chiara e ben definata, spesso organizzata attorno a elementi specifici come la popolazione studiata e gli esiti misurati. I ricercatori hanno scoperto che le strategie efficaci raggruppano i concetti chiave e trovano ogni modo possibile per esprimere quei concetti, incluso l'uso di termini medici tecnici e del linguaggio quotidiano. Hanno anche evidenziato che questo processo dovrebbe essere iterativo, il che significa che i ricercatori dovrebbero testare la loro ricerca, vedere cosa ritorna e poi raffinare le loro domande e i loro termini in base a ciò che trovano. Questo ciclo di test e miglioramento impedisce alla ricerca di essere troppo stretta o di mancare studi che utilizzano parole diverse per descrivere la stessa idea.

La terza categoria, "Formulazione Sintattica" (Syntactic Formulation), affronta le regole tecniche della ricerca. Proprio come una frase deve seguire le regole grammaticali per avere senso, una ricerca al computer deve seguire regole sintattiche specifiche per funzionare correttamente. Lo studio sottolinea che ogni database ha il proprio set unico di regole su come combinare le parole, usare simboli per "e" o "o" e gestire caratteri speciali. I ricercatori hanno scoperto che gli errori in questi dettagli tecnici sono comuni e possono causare una ricerca che manca documenti rilevanti o che restituisce migliaia di documenti irrilevanti. Per evitare ciò, le ricerche di alta qualità utilizzano i simboli corretti e spesso impiegano strumenti per tradurre la ricerca da un database all'altro, garantendo che la logica rimanga coerente tra le diverse piattaforme.

Oltre alla ricerca principale, la quarta categoria, "Ricerca Supplementare" (Supplementary Searching), cerca prove che potrebbero nascondersi nelle ombre. Lo studio identifica che molti risultati importanti, in particolare quelli che non hanno mostrato un effetto drammatico, non vengono mai pubblicati nelle riviste standard. Per trovare questi, una revisione di alta qualità deve andare oltre la semplice ricerca nei database. Deve prevedere il controllo delle liste di riferimenti degli articoli già trovati, l'esame di documenti di conferenze, la ricerca di trial clinici non pubblicati e persino il contatto con esperti del settore. Gli autori sostengono che saltare questi passaggi extra lascia la revisione vulnerabile al "bias di pubblicazione", dove il risultato finale riflette solo gli studi che sono stati fortunati abbastanza da essere pubblicati, piuttosto che la piena realtà delle prove.

La quinta categoria è la "Validazione" (Validation). Questo passaggio riguarda il controllo del lavoro prima che sia terminato. Lo studio ha rilevato che la migliore pratica prevede che un esperto di informazione, un professionista addestrato nel reperimento delle informazioni, revisioni la strategia di ricerca. Questo esperto può individuare errori che i ricercatori originali potrebbero mancare. Inoltre, la ricerca dovrebbe essere testata contro una lista nota di articoli importanti per vedere se trova con successo quelli indicati. Se la ricerca non riesce a trovare questi studi chiave noti, non è abbastanza sensibile e deve essere aggiustata. Questo processo di validazione agisce come una rete di sicurezza, assicurando che la ricerca sia capace di recuperare le prove critiche necessarie per la revisione.

La sesta categoria, "Trasparenza della Relazione" (Reporting Transparency), si concentra su come la ricerca viene documentata. Lo studio sottolinea che, affinché una revisione sia affidabile, gli autori devono scrivere esattamente ciò che hanno fatto. Ciò include l'elencazione di ogni database utilizzato, la data esatta in cui è stata eseguita la ricerca e l'elenco completo dei termini di ricerca. Devono anche spiegare perché hanno incluso o escluso determinati studi e come hanno rimosso i risultati duplicati. Senza questo livello di dettaglio, altri scienziati non possono ripetere la ricerca per verificare i risultati. I ricercatori hanno scoperto che seguire checklist di reporting stabilite aiuta a garantire che nessun passaggio critico venga tralasciato e che il processo sia chiaro a chiunque legga lo studio.

Infine, la settima categoria, "Aggiornamento del Processo" (Process Updating), assicura che la revisione rimanga attuale fino alla pubblicazione. Poiché nuovi studi vengono pubblicati ogni giorno, una ricerca che era perfetta un anno fa potrebbe essere obsoleta al momento del rilascio della revisione. Lo studio raccomanda che la ricerca venga eseguita nuovamente poco prima della pubblicazione per catturare qualsiasi nuova prova. Suggerisce inoltre che il processo di selezione degli studi debba essere svolto in modo indipendente da almeno due ricercatori per ridurre gli errori individuali, e che il team debba utilizzare software per gestire l'elevato numero di articoli trovati.

Dopo aver sviluppato questo sistema di 39 indicatori, i ricercatori lo hanno testato. Hanno applicato la loro nuova checklist a venti revisioni sistematiche che erano state pubblicate in riviste scientifiche. Hanno valutato ciascuna revisione per vedere se soddisfaceva gli indicatori identificati. I risultati hanno mostrato che, sebbene alcune revisioni fossero forti, molte presentavano lacune significative, in particolare nelle aree tecniche della sintassi e nel passaggio cruciale di far validare la ricerca da uno specialista. Gli autori hanno concluso che il loro nuovo sistema fornisce uno strumento pratico e necessario per migliorare la qualità delle revisioni sistematiche. Utilizzando questi indicatori, i ricercatori possono ridurre il bias, rendere i loro risultati più riproducibili e garantire che le prove raccolte riflettano veramente il mondo così com'è. Lo studio suggerisce che le riviste dovrebbero richiedere agli autori di utilizzare questo sistema come parte standard del processo di revisione, garantendo che le fondamenta di questi critici riassunti scientifici siano forti quanto le conclusioni che traggono.