Ranked (In)direct Citation Searching in Systematic Reviews: A methodological case study

Questo studio di caso metodologico introduce un framework e uno strumento open source per la Ricerca di Citazioni (In)dirette Classificate (RICS) per confrontarlo sistematicamente con la Ricerca di Citazioni Dirette Non Classificate (UDCS) nelle revisioni sistematiche, dimostrando che RICS offre una precisione comparabile o migliorata identificando al contempo letteratura aggiuntiva pertinente.

L'essenziale

Immagina di essere un detective che cerca di risolvere un caso complesso (una Revisione Sistematica). Il tuo primo passo è cercare attraverso enormi biblioteche di libri e articoli (database) utilizzando parole chiave specifiche per trovare indizi (studi) che potrebbero aiutare a risolvere il caso. Trovi una lista di indizi "seme" che sembrano promettenti.

Ma sai che cercare solo tramite parole chiave potrebbe far perdere alcune gemme nascoste. Quindi, decidi di adottare una seconda strategia: Ricerca per Citazioni. Questo è come chiedersi: "Chi ha scritto questo libro?" (guardando indietro) e "Chi ha letto e citato questo libro?" (guardando avanti).

Questo articolo introduce un modo nuovo e più intelligente per svolgere questo lavoro da detective, confrontando due metodi: il vecchio metodo standard e un nuovo metodo basato su un ordinamento.

I Due Metodi da Detective

1. Il Vecchio Metodo: "Ricerca Diretta per Citazioni Non Ordinata" (UDCS)
Pensa a questo come chiedere ai tuoi indizi seme: "Chi ti ha scritto e chi ti ha letto?"

• Ottieni una lista di tutti coloro che hanno citato direttamente i tuoi indizi seme.
• È una lista semplice e "grossolana". Ottieni tutti coloro che hanno una connessione diretta, ma non sai quali siano i più importanti.
• Il Problema: Può essere un po' disordinato. Potresti ottenere molti libri irrilevanti solo perché si trovavano casualmente sullo stesso scaffale.

2. Il Nuovo Metodo: "Ricerca per Citazioni (Indirette) Ordinata" (RICS)
Questa è l'innovazione principale dell'articolo. Immagina di chiedere ai tuoi indizi seme: "Chi ti ha scritto? Chi ti ha letto? E chi altro avete letto entrambi? Chi altro avete scritto entrambi?"

• Collegamenti Diretti: Proprio come il vecchio metodo (citato/citante).
• Collegamenti Indiretti (Il Segreto): Trova anche le "co-citazioni" (libri letti dalle stesse persone dei tuoi indizi seme) e le "co-citazioni in uscita" (libri che hanno letto le stesse fonti dei tuoi indizi seme).
• L'Ordinamento: Poiché questo metodo trova migliaia di potenziali connessioni (non solo quelle dirette), gli autori hanno creato uno strumento chiamato Rete di Co*Citazione. Questo strumento agisce come un filtro intelligente. Assegna un punteggio a ogni singolo libro in base a quanti modi diversi lo collegano ai tuoi indizi seme.
• Il Taglio: Poi dice: "Ok, dobbiamo guardare solo i primi 100 libri più connessi per mantenere gestibile il nostro carico di lavoro". Questo garantisce che il nuovo metodo non sovraccarichi il detective con troppa burocrazia.

L'Esperimento: Metterli alla Prova

I ricercatori hanno costruito uno strumento gratuito e open-source (la Rete di Co*Citazione) per automatizzare questo processo. Volevano vedere se il "Filtro Intelligente" (RICS) fosse migliore della "Lista Grossolana" (UDCS).

Hanno testato questo in due modi:

1. Guardando Indietro (Retrospectivo): Hanno preso tre casi da detective del passato che avevano già risolto e hanno applicato entrambi i metodi per vedere cosa avrebbero trovato.
2. Guardando Avanti (Studio di Caso Prospettico): Hanno condotto una nuova indagine sulla "demenza a esordio giovane" e hanno utilizzato entrambi i metodi simultaneamente per vedere quale avesse trovato indizi migliori.

Cosa Hanno Trovato

• Maggiore Sovrapposizione con la "Rosa": Nei casi passati, il "Filtro Intelligente" (RICS) ha trovato una lista di libri molto più simile ai libri di alta qualità che i detective avevano già trovato nella ricerca principale nella biblioteca. Questo suggerisce che RICS è migliore nel trovare materiale pertinente che si adatta al caso specifico.
• Il Punteggio "Da Leggere": Nel nuovo caso sulla demenza, hanno dovuto leggere titoli e abstract per trovare i vincitori.
  • Con il vecchio metodo (UDCS), hanno dovuto leggere circa 57 articoli per trovare 1 vincitore.
  • Con il nuovo metodo (RICS), hanno dovuto leggere circa 48 articoli per trovare 1 vincitore.
  • Traduzione: Il nuovo metodo è stato leggermente più efficiente; hai sprecato meno tempo leggendo articoli irrilevanti.
• La Sorpresa: Interessantemente, il vecchio metodo (UDCS) ha trovato un vincitore finale che il nuovo metodo (RICS) ha mancato. Perché? Perché quel vincitore specifico non era "connesso" abbastanza agli indizi seme da entrare nella lista dei primi 100 nel nuovo metodo. Se avessero abbassato il taglio per includerlo, avrebbero dovuto leggere oltre 10.000 articoli, il che è impossibile.

La Conclusione

L'articolo afferma che questo nuovo metodo di Ricerca per Citazioni (Indirette) Ordinata (RICS) è uno strumento promettente. Sembra trovare indizi più pertinenti al caso specifico e richiede leggermente meno lettura per trovare i "vincitori".

Tuttavia, gli autori sono prudenti nel dire: "Non sappiamo ancora con certezza se questo sia il metodo perfetto."

• Nel loro test, il vecchio metodo ha trovato un vincitore unico che il nuovo metodo ha mancato.
• Non hanno dimostrato che RICS sia sempre migliore.

L'Obiettivo: Il punto principale di questo articolo non è dichiarare un vincitore oggi. È costruire lo strumento (Rete di Co*Citazione) e il flusso di lavoro in modo che squadre da detective di tutto il mondo possano usarli insieme. Condividendo i loro dati, sperano di condurre un enorme confronto globale per rispondere finalmente alla domanda: "Il Filtro Intelligente è migliore della Lista Grossolana?"

In breve: Hanno costruito una nuova lente d'ingrandimento più intelligente per trovare indizi di ricerca. I primi test sembrano buoni, ma hanno bisogno che più detective lo utilizzino prima di poter dire che è il nuovo standard.

Sommario tecnico

Riepilogo Tecnico: Ricerca di Citazioni (In)Dirette Classificate nelle Revisioni Sistematiche

Enunciato del Problema
Gli autori delle Revisioni Sistematiche (RS) impiegano frequentemente la ricerca di citazioni (RC) come tecnica supplementare alle ricerche nei database primari per garantire un recupero completo delle prove. Il flusso di lavoro standard attuale, la RC Diretta Non Classificata (UDCS), identifica la letteratura che cita direttamente o che è citata da "riferimenti seme" (record idonei trovati nella ricerca primaria). Sebbene gestibile in termini di volume, l'UDCS può trascurare letteratura rilevante. I ricercatori hanno proposto la RC (In)Diretta Classificata (RICS), che amplia la ricerca includendo letteratura co-citata e co-citante (citazioni indirette) e applica una procedura di classificazione per rilevanza e di taglio. Tuttavia, i flussi di lavoro RICS rimangono non standardizzati, tediosi da eseguire manualmente e la loro efficacia ed efficienza comparativa rispetto all'UDCS in un contesto di ricerca supplementare non sono chiari. Gli strumenti esistenti per la RC indiretta automatizzata sono scarsi o non supportati e non sono stati condotti studi comparativi su larga scala per valutare la RICS come metodo supplementare accanto all'UDCS.

Metodologia
Gli autori hanno sviluppato un quadro metodologico e uno strumento software, Co*Citation Network, per facilitare l'esecuzione parallela e il confronto di UDCS e RICS.

• Sviluppo dello Strumento: Co*Citation Network è un'applicazione open-source basata sull'indice di citazioni OpenAlex. Il frontend si integra con l'esistente Local Citation Network per l'UDCS. Per gestire l'alto volume di citazioni indirette (co-citate/co-citanti), il backend utilizza l'elaborazione locale di snapshot di OpenAlex anziché chiamate API dirette. Implementa un algoritmo di classificazione per rilevanza basato sul metodo di Belter, sommando le relazioni di citazione (citato, che cita, co-citato, co-citante) tra un documento candidato e i riferimenti seme.
• Strategia di Taglio per la Classifica: Per garantire che la RICS rimanga fattibile per i carichi di screening delle RS, il sistema determina automaticamente un taglio per la classifica di rilevanza. Questo taglio è impostato per restituire un numero di risultati RICS approssimativamente uguale, ma leggermente superiore, al volume dei risultati UDCS. Questo approccio empirico mira a bilanciare il recupero di citazioni indirette rilevanti con i vincoli pratici dello screening.
• Progettazione dello Studio: Lo studio ha adottato un approccio misto:
  1. Analisi Retrospectiva: Ricerche parallele UDCS e RICS sono state condotte su tre RS precedentemente completate (Neuhaus et al., Baroutsou et al., Reid et al.) utilizzando i loro record inclusi come riferimenti seme. I risultati sono stati deduplicati rispetto alle ricerche originali nei database primari.
  2. Studio di Caso Prospettico: È stata condotta una nuova RS sulle interventi non farmacologici per la demenza a esordio giovanile. I riferimenti seme (11 record inclusi + 6 protocolli/recensioni correlati) sono stati utilizzati per generare risultati paralleli UDCS e RICS. Questi sono stati sottoposti a screening indipendente di titolo/abstract e testo completo da parte di due revisori.

Contributi Chiave

• Applicazione Co*Citation Network: L'introduzione del primo strumento open-source in grado di automatizzare ricerche parallele UDCS e RICS basate sull'indice OpenAlex. Fornisce un taglio per la classifica di rilevanza flessibile e determinato empiricamente.
• Flusso di Lavoro Standardizzato: L'istituzione di un flusso di lavoro riproducibile per il confronto di UDCS e RICS supplementari, inclusa la deduplicazione rispetto ai risultati della ricerca primaria e lo screening di idoneità.
• Infrastruttura di Ricerca: La creazione di un quadro per un consorzio di ricerca internazionale ("studio crowd RICS") per raccogliere dati da più team di RS al fine di valutare statisticamente l'efficacia della RICS rispetto all'UDCS.

Risultati

• Analisi Retrospectiva: In tutte e tre le RS retrospettive, i risultati RICS hanno mostrato una sovrapposizione maggiore con i risultati della ricerca nel database primario rispetto all'UDCS (ad esempio, 40,9% contro 22,6% nello studio Neuhaus). Di conseguenza, dopo la deduplicazione, il numero di record unici che richiedevano screening è stato inferiore per la RICS in due dei tre casi.
• Studio di Caso Prospettico:
  • Volume: L'UDCS ha prodotto 917 risultati; la RICS (con un taglio automatico di classifica di 10) ha prodotto 1.151 risultati.
  • Sovrapposizione: La RICS ha avuto una sovrapposizione maggiore con la ricerca primaria (12,9%) rispetto all'UDCS (7,5%).
  • Efficienza dello Screening: Allo stadio di titolo/abstract, la RICS ha dimostrato una precisione leggermente superiore (2,1%) e un Numero Necessario da Leggere (NNR) inferiore di 48, rispetto alla precisione UDCS dell'1,8% e a un NNR di 57.
  • Inclusione: Sono stati identificati due articoli aggiuntivi idonei attraverso la ricerca supplementare. Uno è stato trovato sia dall'UDCS che dalla RICS; l'altro è stato trovato esclusivamente dall'UDCS. È significativo notare che l'articolo esclusivo dell'UDCS aveva una classifica RICS di 6, al di sotto del taglio automatico di 10. Abbassare il taglio per includere questo articolo avrebbe generato oltre 10.000 risultati, rendendo il flusso di lavoro non fattibile.

Significato e Affermazioni
Il documento afferma di fornire il primo quadro per il confronto internazionale prospettico di UDCS e RICS supplementari. I risultati suggeriscono che i risultati RICS potrebbero essere più rilevanti (cioè più simili ai riferimenti seme e ai risultati della ricerca primaria) rispetto ai risultati UDCS, offrendo potenzialmente una maggiore precisione. Tuttavia, gli autori dichiarano esplicitamente che lo studio di caso attuale non possiede la potenza statistica per determinare definitivamente se la RICS sia superiore all'UDCS. Lo studio identifica un potenziale compromesso: mentre la RICS potrebbe offrire una maggiore precisione, un taglio di classifica rigoroso (necessario per la fattibilità) potrebbe trascurare letteratura rilevante che l'UDCS cattura. Gli autori concludono che il flusso di lavoro proposto e lo strumento open-source consentono la formazione di un consorzio di ricerca per generare prove conclusive su whether la RICS debba essere adottata come tecnica di ricerca supplementare standard nelle revisioni sistematiche.