Development of a System of Indicators for Assessing the Quality of Search Strategies in Systematic Reviews: A Methodological Document Review

In der Welt der wissenschaftlichen Forschung ist eine systematische Übersichtsarbeit (Systematic Review) ein mächtiges Werkzeug. Stellen Sie sich ein Team von Wissenschaftlern vor, die die Wahrheit über eine bestimmte medizinische Behandlung oder ein soziales Thema wissen wollen. Anstatt ein einzelnes neues Experiment durchzuführen, sammeln sie jede einzelne Studie, die jemals zu diesem Thema durchgeführt wurde. Sie lesen sie alle, prüfen ihre Qualität und kombinieren ihre Ergebnisse, um eine klare, zuverlässige Antwort zu erstellen. Dieser Prozess ist der Goldstandard für die Entscheidungsfindung in Bereichen wie der Medizin und der öffentlichen Gesundheit, da er das Rauschen einzelner Studien durchdringt, um das große Ganze aufzuzeigen. Der gesamte Prozess ruht jedoch auf einem einzigen, fragilen Fundament: der Suchstrategie. Dies ist die spezifische Anweisung, die die Forscher verwenden, um diese Studien zu finden. Wenn die Suche zu eng gefasst ist, übersehen sie wichtige Belege. Wenn sie zu unordentlich oder schlecht formuliert ist, finden sie möglicherweise irrelevante Informationen oder finden die richtigen Arbeiten gar nicht erst. Wenn die Suche fehlschlägt, ist die endgültige Schlussfolgerung der Übersichtsarbeit fehlerhaft, was potenziell dazu führen kann, dass Ärzte und politische Entscheidungsträger Entscheidungen auf der Grundlage unvollständiger oder verzerrter Informationen treffen.

Trotz der Kritikalität dieses Schrittes wurde die Qualität dieser Suchstrategien oft übersehen. Forscher wussten schon lange, dass sie gründlich sein müssen, aber es gab keine standardisierte Methode, um zu messen, ob eine Suche tatsächlich gut durchgeführt wurde. Eine neue Studie von Alireza Jahani und Keyvan Salehi von der Universität Teheran zielt darauf ab, diese Lücke zu schließen. Die Forscher unternahmen den Versuch, ein praktisches System von Indikatoren aufzubauen – eine Checkliste mit spezifischen, messbaren Merkmalen –, die jeder verwenden kann, um die Qualität einer Suchstrategie in einer systematischen Übersichtsarbeit zu beurteilen. Ihr Ziel war es, über vage Ratschläge hinauszugehen und einen konkreten Rahmen zu schaffen, den Forscher, Reviewer und Redakteure wissenschaftlicher Fachzeitschriften nutzen können, um sicherzustellen, dass diese Studien auf festem Boden stehen.

Um dieses System zu erstellen, führten die Autoren eine zweiphasige Untersuchung durch. Zuerst führten sie eine tiefgehende Analyse des bestehenden Wissens durch. Sie sammelten und lasen fünfunddreißig verschiedene Dokumente, darunter Bücher, internationale Leitlinien und frühere Studien, die die Erstellung und Bewertung von Suchstrategien behandelten. Aus dieser riesigen Sammlung von Texten extrahierten sie 128 erste Ideen darüber, was eine gute Suche ausmacht. Sie ordneten diese Ideen dann sorgfältig, führten zusammen, was dasselbe bedeutete, und entfernten Duplikate. Durch diesen Prozess der Verfeinerung destillierten sie die 128 Ideen zu einem endgültigen Satz von 39 spezifischen Indikatoren, die sie in sieben Hauptkategorien gruppierten. Diese Kategorien decken den gesamten Lebenszyklus einer Suche ab, von der ersten Planung bis zum abschließenden Bericht.

Die erste Kategorie, die die Autoren „Selektionsumfassendheit“ (Selection Comprehensiveness) nennen, konzentriert sich darauf, wo die Suche stattfindet. Die Studie ergab, dass eine qualitativ hochwertige Suche an vielen verschiedenen Orten suchen muss, einschließlich großer spezialisierter Datenbanken und multidisziplinärer Sammlungen. Die Forscher merkten explizit an, dass es nicht ausreicht, sich auf eine einzige allgemeine Suchmaschine zu verlassen. Sie fanden heraus, dass die Verwendung von nur einer Quelle oder die zu starke Abhängigkeit von einer allgemeinen Websuche das Risiko erhöht, wichtige Studien zu übersehen und Verzerrungen einzuführen. Eine gute Suchstrategie muss breit genug sein, um relevante Belege aus vielfältigen wissenschaftlichen Quellen zu erfassen, während sie gleichzeitig die Versuchung vermeiden muss, ein einziges, einfaches Werkzeug als einzige Quelle der Wahrheit zu nutzen.

Die zweite Kategorie befasst sich mit dem „Strukturdesign der Suchstrategie“ (Search Strategy Structure Design). Hierbei geht es um die Logik hinter der Suche. Die Studie betont, dass eine starke Suche mit einer klaren, gut definierten Frage beginnt, die oft um spezifische Elemente wie die untersuchte Population und die gemessenen Ergebnisse organisiert ist. Die Forscher fanden heraus, dass effektive Strategien Schlüsselkonzepte gruppieren und jeden möglichen Weg finden, diese Konzepte auszudrücken, einschließlich der Verwendung sowohl technischer medizinischer Begriffe als auch Alltagssprache. Sie hoben auch hervor, dass dieser Prozess iterativ sein sollte, was bedeutet, dass die Forscher ihre Suche testen, sehen, was zurückkommt, und ihre Fragen sowie Begriffe basierend auf dem, was sie finden, verfeinern sollten. Dieser Zyklus des Testens und Verbesserns verhindert, dass die Suche zu eng gefasst ist oder Studien verpasst, die andere Wörter verwenden, um dieselbe Idee zu beschreiben.

Die dritte Kategorie, „Syntaktische Formulierung“ (Syntactic Formulation), befasst sich mit den technischen Regeln der Suche. Genau wie ein Satz Grammatikregeln folgen muss, um Sinn zu ergeben, muss eine Computersuche spezifischen Syntaxregeln folgen, um korrekt zu funktionieren. Die Studie weist darauf hin, dass jede Datenbank ihre eigenen einzigartigen Regeln dafür hat, wie Wörter kombiniert werden, wie Symbole für „und“ oder „oder“ verwendet werden und wie Sonderzeichen gehandhabt werden. Die Forscher fanden heraus, dass Fehler in diesen technischen Details häufig sind und dazu führen können, dass eine Suche relevante Dokumente übersieht oder tausende irrelevante zurückgibt. Um dies zu vermeiden, verwenden hochwertige Suchen die korrekten Symbole und setzen oft Werkzeuge ein, um die Suche von einer Datenbank in eine andere zu übertragen, um sicherzustellen, dass die Logik über verschiedene Plattformen hinweg konsistent bleibt.

Über die eigentliche Suche hinaus betrachtet die vierte Kategorie „Ergänzende Suche“ (Supplementary Searching) nach Beweisen, die sich möglicherweise im Schatten verbergen. Die Studie identifiziert, dass viele wichtige Erkenntnisse, insbesondere solche, die keinen dramatischen Effekt zeigten, niemals in Standardjournalen veröffentlicht werden. Um diese zu finden, muss eine qualitativ hochwertige Übersichtsarbeit über die reine Datenbanksuche hinausgehen. Sie sollte die Einbeziehung der Referenzlisten von Artikeln beinhalten, die bereits gefunden wurden, das Durchsuchen von Konferenzpapieren, die Suche nach unveröffentlichten klinischen Studien und sogar die Kontaktaufnahme zu Experten auf dem Gebiet. Die Autoren argumentieren, dass das Überspringen dieser zusätzlichen Schritte die Übersichtsarbeit anfällig für den „Publikationsbias“ macht, bei dem das Endergebnis nur die Studien widerspiegelt, die es glücklich genug hatten, veröffentlicht zu werden, anstatt die volle Realität der Evidenz darzustellen.

Die fünfte Kategorie ist die „Validierung“ (Validation). Dieser Schritt dient dazu, die Arbeit zu überprüfen, bevor sie abgeschlossen ist. Die Studie fand heraus, dass die beste Praxis darin besteht, einen Informationsspezialisten – einen Experten, der in der Informationsbeschaffung geschult ist – die Suchstrategie überprüfen zu lassen. Dieser Experte kann Fehler erkennen, die den ursprünglichen Forschern entgehen könnten. Zusätzlich sollte die Suche gegen eine bekannte Liste wichtiger Artikel getestet werden, um zu sehen, ob sie diese erfolgreich findet. Wenn die Suche diese bekannten Schlüsselstudien nicht findet, ist sie nicht sensitiv genug und muss angepasst werden. Dieser Validierungsprozか Prozess fungt als Sicherheitsnetz und stellt sicher, dass die Suche in der Lage ist, die kritischen Belege abzurufen, die für die Übersichtsarbeit benötigt werden.

Die sechste Kategorie, „Berichterstattungstransparenz“ (Reporting Transparency), konzentriert sich darauf, wie die Suche dokumentiert wird. Die Studie betont, dass für die Glaubwürdigkeit einer Übersichtsarbeit die Autoren genau aufschreiben müssen, was sie getan haben. Dies beinhaltet die Auflistung jeder verwendeten Datenbank, das exakte Datum, an dem die Suche durchgeführt wurde, und die vollständige Liste der Suchbegriffe. Sie müssen auch erklären, warum sie bestimmte Studien ein- oder ausgeschlossen haben und wie sie Duplikate entfernt haben. Oh.ne dieses Maß an Detailtiefe können andere Wissenschaftler die Suche nicht wiederholen, um die Ergebnisse zu verifizieren. Die Forscher fanden heraus, dass das Befolgen etablierter Berichts-Checklisten hilft sicherzustellen, dass kein kritischer Schritt ausgelassen wird und der Prozess für jeden Leser klar ist.

Schließlich stellt die siebte Kategorie „Prozessaktualisierung“ (Process Updating) sicher, dass die Übersichtsarbeit aktuell bleibt, bis sie veröffentlicht wird. Da jeden Tag neue Studien veröffentlicht werden, kann eine Suche, die vor einem Jahr perfekt war, zum Zeitpunkt der Veröffentlichung der Übersichtsarbeit bereits veraltet sein. Die Studie empfieft, dass die Suche kurz vor der Veröffentlichung erneut durchgeführt werden sollte, um neue Erkenntnisse zu erfassen. Sie schlägt auch vor, dass der Prozess der Auswahl von Studien von mindestens zwei Forschern unabhängig vone voneinander durchgeführt werden sollte, um individuelle Fehler zu reduzieren, und dass das Team Software zur Verwaltung der großen Anzahl der gefundenen Artikel verwenden sollte.

Nach der Entwicklung dieses Systems mit 39 Indikatoren haben die Forscher es getestet. Sie wandten ihre neue Checkliste auf zwanzig systematische Übersichtsarbeiten an, die in wissenschaftlichen Journalen veröffentlicht worden waren. Sie evaluierten jede Übersichtsarbeit dahingehend, ob sie die von ihnen identifizierten Indikatoren erfüllte. Die Ergebnisse zeigten, dass einige Übersichtsarbeiten stark waren, viele jedoch erhebliche Lücken aufwiesen, insbesondere in den technischen Bereichen der Syntax und dem entscheidenden Schritt der Validierung der Suche durch einen Spezialisten. Die Autoren kamen zu dem Schluss, dass ihr neues System ein praktisches und notwendiges Werkzeug zur Verbesserung der Qualität systematischer Übersichtsarbeiten darstellt. Durch die Verwendung dieser Indikatoren können Forscher Verzerrungen reduzieren, ihre Ergebnisse reproduzierbarer machen und sicherstellen, dass die gesammelten Belege tatsächlich die Welt widerspiegeln, wie sie ist. Die Studie legt nahe, dass Fachzeitschriften von den Autoren verlangen sollten, dieses System als Standardteil des Review-Prozesses zu verwenden, um sicherzustellen, dass das Fundament dieser kritischen wissenschaftlichen Zusammenfassungen so stark ist wie die Schlussfolgerungen, die sie ziehen.