Does the sensitivity- and precision-maximizing RCT filter find all 'included' records retrieved by the sensitivity-maximizing filter on Ovid MEDLINE? An investigation using 14 Cochrane reviews

Die Studie zeigt, dass der SaPM-Filter auf Ovid MEDLINE die Screening-Belastung im Vergleich zum rein sensibilitätsmaximierenden Filter um 83 % reduziert, dabei nur minimal mehr relevante Studien übersieht und somit eine effizientere Alternative für systematische Reviews darstellt.

Das Wesentliche

Das große Problem: Die Nadel im Heuhaufen

Stell dir vor, du bist ein Detektiv, der nach Beweisen für einen Fall sucht (in diesem Fall: medizinische Studien, die zeigen, ob eine Behandlung funktioniert). Dein Werkzeug ist eine riesige Bibliothek namens MEDLINE, in der täglich Tausende neue Bücher (wissenschaftliche Artikel) hinzukommen.

Das Problem: Die Bibliothek ist so riesig, dass du Tausende von Büchern durchblättern müsstest, um vielleicht 50 echte Beweise zu finden. Das kostet Zeit, Nerven und Geld.

Um das zu lösen, haben Bibliothekare Suchfilter entwickelt. Das sind wie spezielle Metall-Detektoren, die man über den Boden der Bibliothek fährt. Sie sollen nur die "echten" Schätze (randomisierte kontrollierte Studien, also die besten Beweise) piepen lassen und den ganzen Müll (irrelevante Artikel) ignorieren.

Die zwei Detektoren: Der "Sicherheits-Gurt" vs. der "Sportwagen"

In dieser Studie wurden zwei verschiedene Detektoren verglichen, die beide von der Cochrane-Organisation (den Goldstandard für medizinische Forschung) empfohlen werden:

1. Der SM-Filter (Sensitivitäts-Maximierer):

   • Analogie: Stell dir das wie einen extrem vorsichtigen Sicherheits-Gurt vor. Er ist so eingestellt, dass er garantiert nichts verpasst. Wenn er auch nur den Hauch eines Verdachts hat, piept er.
   • Vorteil: Du verpasst fast keinen echten Beweis.
   • Nachteil: Er piept auch bei vielen Dingen, die gar keine Beweise sind (z. B. bei alten Zeitungsartikeln oder falschen Alarmen). Du musst also immer noch sehr viele "falsche" Bücher in die Hand nehmen und prüfen.

2. Der SaPM-Filter (Sensitivitäts- und Präzisions-Maximierer):

   • Analogie: Das ist wie ein sportlicherer, intelligenterer Detektor. Er ist etwas wählerischer. Er ignoriert Dinge, die er zu 95 % sicher als "Müll" erkennt.
   • Vorteil: Er piept viel seltener bei Unsinn. Du musst viel weniger Bücher durchblättern.
   • Nachteil: Er könnte theoretisch ein oder zwei echte Beweise übersehen, weil er zu streng war.

Was haben die Forscher herausgefunden?

Die Forscher haben 14 echte Fälle (Cochrane-Studien) genommen, bei denen der "sichere" Detektor (SM) bereits verwendet wurde. Sie haben dann getestet: "Was wäre passiert, wenn wir den 'sportlichen' Detektor (SaPM) benutzt hätten?"

Hier sind die Ergebnisse in einfachen Worten:

• Der SaPM-Filter ist ein echter Zeit- und Nervenretter:
  Wenn man den SaPM-Filter benutzt, muss man im Durchschnitt 28 % weniger Bücher durchblättern als mit dem SM-Filter. Das ist, als würdest du statt 100 Seiten nur noch 72 Seiten lesen müssen, um das Gleiche zu finden.

  • Die Metapher: Der SaPM-Filter ist wie ein Filter für Kaffeebohnen, der die Schalen (den Müll) viel besser entfernt, bevor sie in die Tasse kommen.

• Verpasst er wichtige Beweise?
  Ja, aber nur sehr wenige. Der SaPM-Filter hat im Durchschnitt 95,9 % der echten Beweise gefunden, während der SM-Filter 98,2 % fand.

  • Der Unterschied: Von 100 echten Beweisen verpasst der SaPM-Filter im Schnitt nur 2 bis 3 mehr als der SM-Filter.

• Die "Einzigartigen" Funde:
  Überraschenderweise hat der SaPM-Filter auch ein paar Dinge gefunden, die der SM-Filter nicht gefunden hat (weil er zu streng auf bestimmte Wörter geachtet hat). Aber insgesamt hat der SM-Filter mehr "Einzigartiges" gefunden als der SaPM.

Der Rettungsring: Die Zitier-Liste

Aber was ist, wenn der SaPM-Filter doch einen echten Beweis übersehen hat?
Die Forscher haben einen Trick getestet: Zitations-Suche.

• Die Analogie: Stell dir vor, du suchst nach einem bestimmten Buch, findest es aber nicht im Regal. Aber du schaust in die Fußnoten der Bücher, die du hast. Dort steht vielleicht: "Dieses Buch wurde von [dem vermissten Buch] zitiert".
• Das Ergebnis: Wenn man diese "Zitaten-Liste" (Vorwärts- und Rückwärts-Suche) nutzt, findet man fast alle vermissten Bücher wieder. Es ist wie ein Sicherheitsnetz. Selbst wenn der Detektor einen Fehler macht, fängt das Netz ihn auf.

Was bedeutet das für die Praxis?

Die Studie sagt im Grunde:

1. Der SaPM-Filter ist super effizient. Wenn du wenig Zeit hast (z. B. bei einer "Rapid Review" oder einem dringenden medizinischen Notfall), solltest du ihn nutzen. Du sparst dir enorm viel Arbeit, ohne das Risiko, wichtige Dinge zu verpassen, drastisch zu erhöhen.
2. Der SM-Filter ist immer noch der "Sicherheits-Gurt". Wenn du absolut sicher gehen musst und Zeit keine Rolle spielt (z. B. bei einer lebenswichtigen, langfristigen Studie), bleib beim SM-Filter.
3. Der Mix macht's: Die beste Strategie ist oft: Nimm den schnellen SaPM-Filter, um die Masse zu reduzieren, und mache dann eine kurze "Zitaten-Suche" als Sicherheitsnetz, um sicherzugehen, dass nichts durchgerutscht ist.

Fazit in einem Satz

Der "sportliche" Filter (SaPM) ist wie ein effizienterer Staubsauger: Er saugt den Schmutz viel schneller auf und hinterlässt weniger Arbeit, und wenn er doch mal ein kleines Krümelchen übersieht, kann man es mit einem einfachen Klopfschritt (Zitations-Suche) leicht wiederfinden.

Technische Zusammenfassung

Technische Zusammenfassung: Vergleich der RCT-Filter auf Ovid MEDLINE

Titel: Findet der sensibilitäts- und präzisionsmaximierende RCT-Filter alle 'eingeschlossenen' Datensätze, die vom sensibilitätsmaximierenden Filter auf Ovid MEDLINE gefunden werden? Eine Untersuchung anhand von 14 Cochrane-Reviews.

1. Problemstellung und Hintergrund

Mit dem täglichen Wachstum der wissenschaftlichen Literatur in Datenbanken wie MEDLINE ist es für Systematische Reviews und Meta-Analysen entscheidend, Suchstrategien zu verwenden, die einerseits hochsensibel sind (um relevante Studien nicht zu übersehen) und andererseits die Anzahl der irrelevanten Treffer begrenzen, um den Screening-Aufwand für Review-Teams zu managen.
Für Ovid MEDLINE existieren zwei validierte Suchfilter für Randomisierte Kontrollstudien (RCTs):

• SM (Sensitivity-Maximizing): Maximiert die Sensitivität, hat aber eine geringe Präzision (viele irrelevante Treffer).
• SaPM (Sensitivity-and-Precision-Maximizing): Ein Kompromiss, der die Präzision erhöht, während die Sensitivität hoch bleibt.

Obwohl Cochrane den SaPM-Filter empfiehlt, wenn die Treffermenge des SM-Filters unüberschaubar ist, wird der SM-Filter in der Praxis routinemäßig bevorzugt. Bisher fehlte ein direkter Vergleich der aktuell aktualisierten Versionen (2023 Revision) dieser Filter. Zudem ist unklar, ob der SaPM-Filter relevante Studien verpasst, die der SM-Filter findet, und ob diese Risiken durch Zitationsanalysen (Citation Searching) kompensiert werden können.

2. Methodik

Die Studie nutzte ein empirisches Design basierend auf 14 Cochrane-Reviews, die zwischen April 2022 und 2024 aktualisiert wurden und den SM-Filter (2008-Version oder angepasste Varianten) verwendet hatten.

• Datensatz: Die finalen "Included"-Records (nach Volltext-Screening) der 14 Reviews wurden extrahiert. Insgesamt wurden 394 relevante Datensätze identifiziert, die auf Ovid MEDLINE verfügbar waren.
• Filter-Anwendung: Die aktualisierten SM- und SaPM-Filter (2023 Revision) wurden auf diese Datensätze angewendet, um die Recall-Rate (Sensitivität) zu bestimmen.
• Analyse der Unterschiede:
  • Unique Yield: Identifikation von Datensätzen, die nur von einem der beiden Filter gefunden wurden.
  • Ursachenanalyse: Untersuchung der Metadaten (MeSH-Terms, Abstracts, Titel) der verpassten Datensätze.
  • Zitationsanalyse: Vorwärts- und Rückwärts-Zitationssuche (Forward/Backward Citation Searching) mittels Web of Science und CitationChaser für die verpassten Datensätze, um zu prüfen, ob diese durch Zitationsverfolgung doch gefunden werden könnten.
• Effizienzmetriken: Für 9 der 14 Reviews wurden die ursprünglichen Suchstrategien reproduziert. Anschließend wurden SM und SaPM angewendet, um folgende Kennzahlen zu berechnen:
  • Präzision: Anteil relevanter Treffer an allen Treffern.
  • NNR (Number-Needed-to-Read): Anzahl der zu lesenden Titel/Abstracts, um einen relevanten Datensatz zu finden.
  • ONNS (Overall Number-Needed-to-Screen): Gesamtreduktion der zu screenenden Datensätze.

3. Wichtige Ergebnisse

• Recall (Sensitivität):
  • Der SM-Filter fand 98,2 % (387 von 394) der relevanten Datensätze.
  • Der SaPM-Filter fand 95,9 % (378 von 394) der relevanten Datensätze.
  • Der Unterschied beträgt 2,3 % (9 Datensätze). In 11 von 14 Datensätzen war die Performance des SaPM-Filters gleichwertig oder besser als die des SM-Filters.
• Unique Yield (Einzigartige Treffer):
  • Der SM-Filter fand 12 Datensätze, die der SaPM-Filter verpasste (hauptsächlich aufgrund von "trial" im Titel oder dem MeSH-Term "Clinical Trials as Topic").
  • Der SaPM-Filter fand 3 Datensätze, die der SM-Filter verpasste (oft ältere Publikationen ohne Abstract, die im Titel "trial" enthielten).
• Präzision und Screening-Belastung:
  • Die mittlere Präzision des SaPM-Filters lag bei 4,4 % im Vergleich zu 1,5 % beim SM-Filter.
  • Der NNR (Aufwand pro Fund) sank beim SaPM-Filter von durchschnittlich 189 (SM) auf 68.
  • Die ONNS-Reduktion (Gesamtzahl der zu screenenden Datensätze) betrug für den SaPM-Filter durchschnittlich 83 %, während der SM-Filter nur eine Reduktion von 54,8 % erreichte.
  • Der SaPM-Filter reduzierte den Screening-Aufwand im Durchschnitt um weitere 28,2 % gegenüber dem SM-Filter.
• Ursachen für verpasste Datensätze:
  • Der SaPM-Filter verpasste häufiger Datensätze, die "drug therapy" als Floating Subheading oder "groups" im Abstract enthielten (insbesondere in einem Review zu Medikamenten).
  • Der SM-Filter verpasste Datensätze ohne Abstract, die aber "trial" im Titel hatten.
• Rolle der Zitationsanalyse:
  • Die Zitationsanalyse (insbesondere mit CitationChaser) konnte alle 7 vom SM-Filter verpassten Datensätze und 15 von 16 vom SaPM-Filter verpassten Datensätze wiederfinden. Dies zeigt, dass das Risiko des Übersehens relevanter Studien durch Zitationsverfolgung effektiv kompensiert werden kann.

4. Schlüsselerkenntnisse und Beiträge

• Validierung der 2023-Updates: Die Studie liefert den ersten direkten Vergleich der aktualisierten 2023-Versionen der Cochrane-Filter.
• Effizienzgewinn: Der SaPM-Filter bietet eine signifikante Steigerung der Effizienz (höhere Präzision, geringerer NNR) bei nur minimaler Einbuße der Sensitivität.
• Risikominimierung: Das Risiko, relevante Studien zu verpassen, ist gering und kann durch ergänzende Zitationsanalysen fast vollständig behoben werden.
• Themenspezifische Anpassung: Die Studie zeigt, dass die Wahl des Filters vom Review-Thema abhängen sollte. Für Reviews zu Medikamenten könnte der SM-Filter (oder eine angepasste SaPM-Version mit "drug therapy" als Floating Subheading) vorzuziehen sein, da der SaPM-Filter hier anfälliger für False Negatives ist.
• Maschinelles Indexieren: Die Autoren diskutieren den Einfluss der automatischen Indexierung (seit April 2022) auf die Filterperformance, was ein zukünftiges Forschungsfeld darstellt.

5. Signifikanz und Implikationen

Diese Studie liefert Informationsspezialisten und Review-Teams evidenzbasierte Entscheidungsgrundlagen für die Wahl des Suchfilters.

• Empfehlung: Der SaPM-Filter sollte in Betracht gezogen werden, um den Screening-Aufwand drastisch zu reduzieren, insbesondere bei großen Reviews oder Rapid Reviews.
• Strategie: Wenn der SaPM-Filter verwendet wird, sollte dies mit einer Zitationsanalyse kombiniert werden, um die verbleibende Lücke in der Sensitivität zu schließen.
• Ressourcen: Die Nutzung des SaPM-Filters kann erhebliche Zeit- und Kosteneinsparungen ermöglichen, ohne die Qualität der Evidenzsynthese signifikant zu gefährden.

Die Studie schließt mit dem Hinweis, dass keine "One-Size-Fits-All"-Lösung existiert und Filterentscheidungen review-spezifisch unter Abwägung von Ressourcen und Risikotoleranz getroffen werden sollten.