Ranked (In)direct Citation Searching in Systematic Reviews: A methodological case study

Diese methodologische Fallstudie stellt ein Rahmenwerk und ein Open-Source-Tool für die gerankte (indirekte) Zitierensuche (RICS) vor, um sie in systematischen Übersichten systematisch mit der ungerankten direkten Zitierensuche (UDCS) zu vergleichen, und zeigt auf, dass RICS eine vergleichbare oder verbesserte Präzision bietet, während sie zusätzliche relevante Literatur identifiziert.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Detektiv, der einen komplexen Fall lösen muss (eine systematische Übersicht). Ihr erster Schritt besteht darin, mithilfe spezifischer Schlüsselwörter durch massive Bibliotheken aus Büchern und Artikeln (Datenbanken) zu suchen, um Hinweise (Studien) zu finden, die bei der Aufklärung des Falls helfen könnten. Sie finden eine Liste von „Saat"-Hinweisen, die vielversprechend aussehen.

Sie wissen jedoch, dass die Suche allein nach Schlüsselwörtern einige verborgene Schätze übersehen könnte. Daher entscheiden Sie sich für eine zweite Strategie: Zitationsrecherche. Dies ist vergleichbar mit der Frage: „Wer hat dieses Buch geschrieben?" (Rückwärtssuche) und „Wer hat dieses Buch gelesen und zitiert?" (Vorwärtssuche).

Dieser Beitrag stellt eine neue, intelligentere Methode für diese Detektivarbeit vor und vergleicht zwei Ansätze: die alte Standardmethode und eine neue, rangbasierte Methode.

Die beiden Detektivmethoden

1. Der alte Weg: „Nicht-rangbasierte direkte Zitationsrecherche" (UDCS)
Stellen Sie sich dies vor, als würden Sie Ihre Saat-Hinweise fragen: „Wer hat Sie geschrieben, und wer hat Sie gelesen?"

• Sie erhalten eine Liste aller Personen, die Ihre Saat-Hinweise direkt zitiert haben.
• Es ist eine direkte, „grobe" Liste. Sie erhalten alle, die eine direkte Verbindung haben, wissen aber nicht, welche davon die wichtigsten sind.
• Das Problem: Es kann etwas unübersichtlich sein. Sie könnten viele irrelevante Bücher erhalten, nur weil sie zufällig im selben Regal standen.

2. Der neue Weg: „Rangbasierte (in)direkte Zitationsrecherche" (RICS)
Dies ist die Hauptinnovation des Beitrags. Stellen Sie sich vor, Sie fragen Ihre Saat-Hinweise: „Wer hat Sie geschrieben? Wer hat Sie gelesen? UND wer sonst noch hat Sie beide gelesen? Wer sonst noch hat über Sie beide geschrieben?"

• Direkte Verbindungen: Genau wie beim alten Weg (zitiert/zitierend).
• Indirekte Verbindungen (Das Geheimnis): Es werden auch „Co-Zitationen" (Bücher, die von denselben Personen gelesen wurden wie Ihre Saat-Hinweise) und „Co-Zitieren" (Bücher, die dieselben Quellen wie Ihre Saat-Hinweise gelesen haben) gefunden.
• Die Rangfolge: Da diese Methode tausende potenzieller Verbindungen findet (nicht nur die direkten), haben die Autoren ein Tool namens Co*Citation Network entwickelt. Dieses Tool fungiert als intelligenter Filter. Es bewertet jedes einzelne Buch basierend darauf, auf wie viele verschiedene Arten es mit Ihren Saat-Hinweisen verbunden ist.
• Die Abgrenzung: Anschließend wird festgestellt: „Okay, wir müssen uns nur die Top 100 am stärksten verbundenen Bücher ansehen, um unseren Arbeitsaufwand überschaubar zu halten." Dies stellt sicher, dass die neue Methode den Detektiv nicht mit zu viel Papierkram überfordert.

Das Experiment: Der Praxistest

Die Forscher entwickelten ein kostenloses, quelloffenes Tool (das Co*Citation Network), um diesen Prozess zu automatisieren. Sie wollten herausfinden, ob der „Intelligente Filter" (RICS) besser ist als die „Grobe Liste" (UDCS).

Sie testeten dies auf zwei Arten:

1. Rückwärtsschau (Retrospektiv): Sie nahmen drei vergangene Detektivfälle, die sie bereits gelöst hatten, und führten beide Methoden darauf aus, um zu sehen, was sie gefunden hätten.
2. Vorwärtsschau (Prospektive Fallstudie): Sie führten eine brandneue Untersuchung zu „Demenz im jungen Alter" durch und setzten beide Methoden gleichzeitig ein, um zu sehen, welche bessere Hinweise fand.

Was sie fanden

• Mehr Überschneidung mit den „Guten": In den vergangenen Fällen fand der „Intelligente Filter" (RICS) eine Liste von Büchern, die den hochwertigen Büchern, die die Detektive bereits in der Hauptbibliothekssuche gefunden hatten, sehr viel ähnlicher waren. Dies deutet darauf hin, dass RICS besser darin ist, relevantes Material zu finden, das zum spezifischen Fall passt.
• Der „Lesen-muss"-Score: Im neuen Demenz-Fall mussten sie Titel und Abstracts durchgehen, um die Gewinner zu finden.
  • Mit der alten Methode (UDCS) mussten sie etwa 57 Artikel lesen, um 1 Gewinner zu finden.
  • Mit der neuen Methode (RICS) mussten sie etwa 48 Artikel lesen, um 1 Gewinner zu finden.
  • Übersetzung: Die neue Methode war etwas effizienter; Sie verschwendeten weniger Zeit mit dem Lesen irrelevanter Arbeiten.
• Die Überraschung: Interessanterweise fand die alte Methode (UDCS) einen finalen Gewinner, den die neue Methode (RICS) übersehen hatte. Warum? Weil dieser spezifische Gewinner nicht „genug" mit den Saat-Hinweisen verbunden war, um in der neuen Methode auf die Top-100-Liste zu kommen. Hätten sie die Abgrenzung gesenkt, um ihn einzuschließen, müssten sie über 10.000 Artikel lesen, was unmöglich ist.

Das Fazit

Der Beitrag behauptet, dass diese neue Methode der rangbasierten (in)direkten Zitationsrecherche (RICS) ein vielversprechendes Werkzeug ist. Sie scheint Hinweise zu finden, die relevanter für den spezifischen Fall sind, und erfordert etwas weniger Leseaufwand, um die „Gewinner" zu finden.

Die Autoren sind jedoch vorsichtig und sagen: „Wir wissen noch nicht sicher, ob dies die perfekte Methode ist."

• In ihrem Test fand die alte Methode einen einzigartigen Gewinner, den die neue Methode verpasste.
• Sie haben nicht bewiesen, dass RICS immer besser ist.

Das Ziel: Der Hauptpunkt dieses Beitrags ist nicht, heute einen Gewinner zu küren. Es geht darum, das Tool (Co*Citation Network) und den Workflow zu entwickeln, damit Detektiv-Teams auf der ganzen Welt sie gemeinsam nutzen können. Durch den Austausch ihrer Daten hoffen sie, einen massiven, globalen Vergleich durchzuführen, um endlich die Frage zu beantworten: „Ist der Intelligente Filter besser als die Grobe Liste?"

Kurz gesagt: Sie haben eine neue, intelligentere Lupe zum Finden von Forschungshinweisen gebaut. Frühe Tests sehen gut aus, aber sie benötigen mehr Detektive, die sie nutzen, bevor sie sagen können, dass sie der neue Standard ist.

Technische Zusammenfassung

Technische Zusammenfassung: Rangierte (in)direkte Zitationssuche in systematischen Übersichten

Problemstellung
Autoren systematischer Übersichten (Systematic Reviews, SR) setzen die Zitationssuche (Citation Searching, CS) häufig als ergänzende Technik zu primären Datenbankrecherchen ein, um eine umfassende Erfassung der Evidenz sicherzustellen. Der aktuelle Standardworkflow, die unrankierte direkte CS (UDCS), identifiziert Literatur, die direkt auf „Seed-Referenzen" (im Primärsearch gefundene qualifizierte Datensätze) zitiert oder von diesen zitiert wird. Obwohl das Volumen handhabbar ist, kann UDCS relevante Literatur übersehen. Forscher haben die rangierte (in)direkte CS (RICS) vorgeschlagen, die die Suche auf koozitierte und kociierende Literatur (indirekte Zitationen) erweitert und ein Relevanz-Ranking sowie ein Cut-off-Verfahren anwendet. RICS-Workflows sind jedoch nicht standardisiert, manuell mühsam durchzuführen, und ihr vergleichender Nutzen und ihre Effizienz gegenüber UDCS im Kontext einer ergänzenden Suche sind unklar. Bestehende Tools für die automatisierte indirekte CS sind selten oder nicht mehr unterstützt, und keine groß angelegten Vergleichsstudien haben RICS als ergänzende Methode neben UDCS evaluiert.

Methodik
Die Autoren entwickelten ein methodisches Rahmenwerk und ein Softwaretool, Co*Citation Network, um die parallele Durchführung und den Vergleich von UDCS und RICS zu ermöglichen.

• Tool-Entwicklung: Co*Citation Network ist eine Open-Source-Anwendung, die auf dem OpenAlex-Zitationsindex basiert. Das Frontend integriert sich in das bestehende Local Citation Network für UDCS. Um das hohe Volumen an indirekten Zitationen (koozitiert/kociierend) zu bewältigen, nutzt das Backend die lokale Verarbeitung von OpenAlex-Snapshots anstelle direkter API-Aufrufe. Es implementiert einen Relevanz-Ranking-Algorithmus nach der Methode von Belter, der die Zitationsbeziehungen (zitiert, zitiend, koozitiert, kociierend) zwischen einem Kandidatenpapier und den Seed-Referenzen summiert.
• Rank-Cut-off-Strategie: Um sicherzustellen, dass RICS für die Screening-Belastung von SRs machbar bleibt, bestimmt das System automatisch einen Relevanz-Rank-Cut-off. Dieser Cut-off ist so eingestellt, dass er eine Anzahl von RICS-Ergebnissen zurückgibt, die ungefähr gleich, aber leicht größer ist als das Volumen der UDCS-Ergebnisse. Dieser empirische Ansatz zielt darauf ab, die Erfassung relevanter indirekter Zitationen mit den praktischen Einschränkungen des Screenings in Einklang zu bringen.
• Studiendesign: Die Studie verfolgte einen gemischten Ansatz:
  1. Retrospektive Analyse: Parallele UDCS- und RICS-Recherchen wurden an drei zuvor abgeschlossenen SRs (Neuhaus et al., Baroutsou et al., Reid et al.) durchgeführt, wobei deren eingeschlossene Datensätze als Seed-Referenzen dienten. Die Ergebnisse wurden gegen die ursprünglichen primären Datenbankrecherchen dedupliziert.
  2. Prospektive Fallstudie: Eine neue SR zu nicht-pharmakologischen Interventionen bei früh beginnender Demenz wurde durchgeführt. Seed-Referenzen (11 eingeschlossene Datensätze + 6 verwandte Protokolle/Übersichten) dienten zur Generierung paralleler UDCS- und RICS-Ergebnisse. Diese wurden einem unabhängigen Titel-/Abstract- und Volltext-Screening durch zwei Reviewer unterzogen.

Hauptbeiträge

• Co*Citation Network-Anwendung: Die Einführung des ersten Open-Source-Tools, das die Automatisierung paralleler UDCS- und RICS-Recherchen auf Basis des OpenAlex-Index ermöglicht. Es bietet einen flexiblen, empirisch bestimmten Relevanz-Rank-Cut-off.
• Standardisierter Workflow: Die Etablierung eines replizierbaren Workflows zum Vergleich ergänzender UDCS und RICS, einschließlich der Deduplizierung gegenüber Primärsuchergebnissen und der Eignungsprüfung.
• Forschungsinfrastruktur: Die Schaffung eines Rahmens für ein internationales Forschungs-Konsortium („RICS crowd study"), um Daten von mehreren SR-Teams zu sammeln und die Wirksamkeit von RICS gegenüber UDCS statistisch zu evaluieren.

Ergebnisse

• Retrospektive Analyse: In allen drei retrospektiven SRs wiesen RICS-Ergebnisse eine höhere Überlappung mit den primären Datenbankrecherchen auf als UDCS (z. B. 40,9 % vs. 22,6 % in der Neuhaus-Studie). Folglich war nach der Deduplizierung die Anzahl der einzigartigen, zu screenenden Datensätze in zwei von drei Fällen für RICS geringer.
• Prospektive Fallstudie:
  • Volumen: UDCS ergab 917 Ergebnisse; RICS (mit einem automatischen Rank-Cut-off von 10) ergab 1.151 Ergebnisse.
  • Überlappung: RICS wies eine höhere Überlappung mit der Primärsuche (12,9 %) auf als UDCS (7,5 %).
  • Screening-Effizienz: Im Titel-/Abstract-Stadium zeigte RICS eine leicht höhere Präzision (2,1 %) und eine niedrigere „Number Needed to Read" (NNR) von 48, verglichen mit einer UDCS-Präzision von 1,8 % und einer NNR von 57.
  • Einschluss: Zwei zusätzliche qualifizierte Artikel wurden durch ergänzende Suche identifiziert. Einer wurde sowohl von UDCS als auch von RICS gefunden; der andere ausschließlich von UDCS. Bemerkenswert ist, dass der ausschließlich von UDCS gefundene Artikel einen RICS-Rang von 6 hatte, was unterhalb des automatisierten Cut-offs von 10 lag. Eine Senkung des Cut-offs, um diesen Artikel einzuschließen, hätte über 10.000 Ergebnisse generiert und den Workflow unbrauchbar gemacht.

Bedeutung und Behauptungen
Die Arbeit beansprucht, den ersten Rahmen für den prospektiven internationalen Vergleich ergänzender UDCS und RICS zu liefern. Die Ergebnisse deuten darauf hin, dass RICS-Ergebnisse relevanter sein könnten (d. h. Seed-Referenzen und Primärsuchergebnissen ähnlicher) als UDCS-Ergebnisse und potenziell eine höhere Präzision bieten. Die Autoren stellen jedoch ausdrücklich fest, dass die aktuelle Fallstudie nicht über die statistische Power verfügt, um endgültig zu bestimmen, ob RICS UDCS überlegen ist. Die Studie identifiziert einen potenziellen Zielkonflikt: Während RICS eine höhere Präzision bieten mag, könnte ein strikter Rank-Cut-off (notwendig für die Machbarkeit) relevante Literatur übersehen, die UDCS erfasst. Die Autoren schließen, dass der vorgeschlagene Workflow und das Open-Source-Tool die Bildung eines Forschungs-Konsortiums ermöglichen, um schlüssige Beweise dafür zu generieren, ob RICS als Standard für ergänzende Suchtechniken in systematischen Übersichten übernommen werden sollte.