Limiting to English language records: A comparison of five methods on Ovid MEDLINE and Embase versus removal during screening

Die Studie zeigt, dass zwar alle fünf getesteten Sprachfilter für englische Sprache in Ovid MEDLINE und Embase nahezu identisch funktionieren, jedoch aufgrund von Metadatenfehlern relevante englischsprachige Artikel fälschlicherweise ausgeschlossen werden können, weshalb eine Nachverfolgung durch Zitationsanalysen empfohlen wird.

Das Wesentliche

Die große Sprach-Suche: Warum das „Nur-Englisch"-Filter manchmal die falschen Bücher aussortiert

Stellen Sie sich vor, Sie sind ein Detektiv, der eine riesige Bibliothek durchsucht, um alle Beweise für einen bestimmten Fall zu finden. Diese Bibliothek ist die Welt der medizinischen Forschung. Ihre Aufgabe ist es, alle relevanten Informationen zu sammeln. Aber es gibt ein Problem: Sie sprechen nur Englisch.

In der wissenschaftlichen Welt gibt es zwei Hauptwege, wie man mit diesem Problem umgeht:

1. Der strenge Türsteher: Man stellt einen Wachen vor die Bibliothek, der sofort alle Bücher aussortiert, die nicht auf Englisch geschrieben sind, bevor sie überhaupt in den Raum kommen.
2. Der sorgfältige Leser: Man lässt alle Bücher herein, auch die auf Spanisch, Chinesisch oder Deutsch. Erst wenn man das Buch in die Hand nimmt, schaut man genau hin. Wenn es nur auf einer anderen Sprache ist und man es nicht übersetzen kann, legt man es dann beiseite.

Diese Studie von Helen Fulbright und Kirsty Morrison untersucht genau diesen Konflikt. Sie haben sich gefragt: Ist der strenge Türsteher (die Suche nur auf Englisch) sicher genug, oder verpasst er wichtige Beweise?

Hier ist die Geschichte, was sie herausgefunden haben, einfach erklärt:

1. Der falsche Ausweis (Die Datenbank-Metadaten)

Die Bibliothek (die Datenbanken MEDLINE und Embase) hat für jedes Buch einen kleinen Ausweis (Metadaten), auf dem steht: „Sprache: Englisch".

Die Forscher haben sieben verschiedene Fälle (wissenschaftliche Übersichten) genommen und geprüft, was passiert, wenn sie den „Nur-Englisch"-Filter in der Datenbank anwenden. Das Ergebnis war überraschend:

• Der Filter funktionierte fast perfekt. Er hat 99,8 % der englischen Bücher gefunden.
• ABER: In 5 Fällen hat der Filter Bücher aussortiert, die eigentlich auf Englisch waren!

Die Analogie: Stellen Sie sich vor, ein Buch ist auf Englisch geschrieben, aber der Bibliothekar hat aus Versehen auf den Ausweis „Spanisch" gestempelt. Der strenge Türsteher sieht nur den Stempel und wirft das Buch weg, ohne es zu lesen. Das passiert, weil die Datenbank-Informationen manchmal fehlerhaft sind.

2. Die verpassten Chancen (Was beim Lesen passiert)

Dann haben sie sich die Bücher angesehen, die nicht in die Bibliothek kamen, weil sie als „Nicht-Englisch" markiert waren.

• Viele dieser Bücher waren tatsächlich auf einer anderen Sprache.
• ABER: In 17 Fällen (8 auf MEDLINE, 9 auf Embase) waren diese Bücher eigentlich auf Englisch!

Die Analogie: Hier war das Problem anders. Der Bibliothekar hatte das Buch zwar als „Französisch" markiert, aber das Buch war eigentlich auf Englisch. Oder es war ein zweisprachiges Buch (z. B. Englisch und Polnisch), aber der Ausweis erwähnte nur Polnisch. Wenn man diese Bücher vor dem Lesen aussortiert, verpasst man sie. Wenn man sie aber erst beim Screening (dem genauen Durchlesen) prüft, merkt man: „Oh, das ist doch Englisch!"

3. Die Lektion: Der Türsteher ist schnell, aber nicht perfekt

Die Studie zeigt uns zwei wichtige Dinge:

• Der „Nur-Englisch"-Filter ist sehr gut: Er sortiert fast alles Richtige aus. Wenn Sie Zeit haben und schnell sein müssen, ist es oft okay, den Filter zu nutzen.
• Aber Vorsicht: Manchmal verpasst er die „falsch markierten" englischen Bücher. Es ist wie bei einem Metalldetektor am Flughafen: Er fängt fast alle Waffen auf, aber manchmal löst er bei einem harmlosen Schlüsselbund aus (falscher Alarm) oder lässt eine winzige Waffe durch, weil sie aus einem Material besteht, das er nicht erkennt (hier: ein fehlerhafter Ausweis).

Was bedeutet das für Sie?

Wenn Sie eine wissenschaftliche Übersichtsarbeit machen:

1. Der Filter ist kein Allheilmittel: Wenn Sie nur auf Englisch suchen, riskieren Sie, dass Sie ein paar englische Bücher übersehen, weil die Datenbank sie falsch beschriftet hat.
2. Der „Sicherheitsnetz"-Trick: Um sicherzugehen, dass man nichts Wichtiges verpasst, empfehlen die Autoren, nicht nur auf den Filter zu vertrauen. Man sollte auch nach Hinweisen in anderen Büchern suchen (Zitate), die auf diese fehlenden Bücher verweisen.
3. Die menschliche Kontrolle: Es ist besser, die Bücher erst beim genauen Lesen zu prüfen. Ja, das dauert länger (man muss vielleicht Google Translate nutzen), aber man verpasst weniger Beweise.

Fazit in einem Satz:
Ein Filter, der nur auf Englisch sucht, ist wie ein schneller, aber etwas ungenauer Türsteher; er hält die meisten Nicht-Englischen draußen, wirft aber manchmal versehentlich auch englische Bücher raus, wenn deren Ausweis falsch ist. Um sicherzugehen, sollte man manchmal selbst nachschauen, bevor man die Tür endgültig zuschlägt.

Technische Zusammenfassung

Titel:

Einschränkung auf englischsprachige Datensätze: Ein Vergleich von fünf Methoden auf Ovid MEDLINE und Embase im Vergleich zur Entfernung während des Screenings.

1. Problemstellung

In systematischen Übersichten (Evidence Syntheses) führt die Ausschlussentscheidung für nicht-englischsprachige (NEL) Studien oft zu einem sogenannten „Sprachbias". Dies kann dazu führen, dass relevante Evidenz übersehen und die Ergebnisse verzerrt werden. Obwohl die Beschränkung auf Englisch (EL) oft aus Ressourcenknappheit (Zeit, Budget, Übersetzungskosten) oder spezifischen Forschungsfragen gewählt wird, stellt sich die Frage nach der optimalen Methodik:

• Sollen Sprachbeschränkungen direkt in den Suchstrategien der Datenbanken angewendet werden?
• Oder sollten NEL-Datensätze erst während des Screening-Prozesses (Titel/Abstract oder Volltext) entfernt werden?

Es besteht die Sorge, dass die Anwendung von Sprachlimits in den Suchstrategien aufgrund fehlerhafter oder fehlender Metadaten (z. B. falsche Zuordnung der Sprache) potenziell relevante englischsprachige Artikel fälschlicherweise ausschließt. Bisher fehlte jedoch ein direkter Vergleich verschiedener technischer Implementierungsmethoden auf den führenden Datenbanken Ovid MEDLINE und Embase.

2. Methodik

Die Studie ist eine explorative Analyse, die auf Daten aus sieben bereits durchgeführten systematischen Übersichten (Healthcare-Themenbereiche) basiert.

• Datengrundlage: Es wurden 1.509 Datensätze aus MEDLINE und 1.584 aus Embase untersucht. Diese setzten sich zusammen aus:
  • „Includes": Datensätze, die im Volltext-Screening als relevant eingestuft wurden.
  • „NEL Excludes": Datensätze, die während des Screenings explizit wegen nicht-englischer Sprache ausgeschlossen wurden.
• Testumgebung: Die Analyse erfolgte auf der Ovid-Plattform für MEDLINE (National Library of Medicine, NLM) und Embase (Elsevier).
• Vergleichsmethoden: Fünf verschiedene technische Ansätze zur Einschränkung auf Englisch wurden getestet und miteinander verglichen:
  1. Eingebautes Limit: Nutzung der vorgefertigten „Limit to English"-Funktion.
  2. Limit mit „Keine Angabe": Einschränkung auf Englisch oder „no language specified".
  3. Limit mit undefinierten Sprachen: Einschränkung auf Englisch, „no language specified" sowie undefinierte Kategorien (z. B. „undetermined", „multilingual" auf MEDLINE; „polyglot" auf Embase).
  4. „Not (NEL not EL)"-Methode (MEDLINE): Eine komplexe Suchkette, die Datensätze entfernt, die eine NEL-Metadaten-Kennung haben, aber keine EL-Kennung.
  5. „Not (NEL not EL/undefined)"-Methode (Embase): Eine Variante der Methode 4, die auch undefinierte Sprachen berücksichtigt, um Mehrsprachigkeit nicht fälschlich zu entfernen.
• Analyse: Für jede Methode wurde berechnet, wie viele der „Includes" fälschlicherweise entfernt wurden und wie viele der „NEL Excludes" fälschlicherweise wiederhergestellt wurden. Die Metadaten der betroffenen Datensätze wurden manuell auf Korrektheit überprüft.

3. Wichtige Beiträge

• Technische Detailanalyse: Die Studie liefert eine detaillierte Aufschlüsselung der fünf verschiedenen Suchtechniken auf Ovid MEDLINE und Embase und klärt über die Unterschiede in den Metadaten-Strukturen der beiden Datenbanken auf (z. B. unterschiedliche Schreibweisen von Sprachnamen, Vorhandensein undefinierter Kategorien).
• Vergleich Suchstrategie vs. Screening: Es wird erstmals empirisch geprüft, ob die Anwendung von Limits in der Suche im Vergleich zum manuellen Entfernen während des Screenings zu signifikant unterschiedlichen Ergebnissen führt.
• Metadaten-Qualität: Die Studie beleuchtet die Qualität der Sprachmetadaten in großen biomedizinischen Datenbanken und identifiziert spezifische Fehlermuster (z. B. bei zweisprachigen Zeitschriften).

4. Ergebnisse

• Leistung der Methoden: Alle fünf getesteten Methoden zeigten auf beiden Datenbanken ein identisches Verhalten.
  • MEDLINE: 99,8 % der „Includes" wurden korrekt erfasst; 98,2 % der „NEL Excludes" wurden korrekt entfernt.
  • Embase: 99,7 % der „Includes" wurden korrekt erfasst; 94,6 % der „NEL Excludes" wurden korrekt entfernt.
• Fehleranalyse bei „Includes" (fälschlich entfernt):
  • Insgesamt wurden 5 englischsprachige Artikel fälschlicherweise durch die Limits ausgeschlossen (2 auf MEDLINE, 3 auf Embase).
  • Ursache: Alle fünf Fälle waren auf fehlerhafte Metadaten zurückzuführen. Die Artikel waren in zweisprachigen oder mehrsprachigen Zeitschriften veröffentlicht, aber die Metadaten wiesen nur eine nicht-englische Sprache aus (z. B. „Polish" statt „Polish, English").
• Fehleranalyse bei „NEL Excludes" (fälschlicherweise wiederhergestellt):
  • 8 Datensätze auf MEDLINE und 9 auf Embase, die als NEL ausgeschlossen worden waren, wurden durch die Limits wiederhergestellt.
  • Befund: Die meisten dieser Datensätze waren tatsächlich auf Englisch verfügbar (z. B. englische Abstracts in NEL-Zeitschriften oder Artikel in englischen Zeitschriften, die fälschlich als NEL markiert waren).
  • Ein signifikanter Teil der falsch wiederhergestellten Datensätze (besonders auf Embase) stammte aus Zeitschriften, die nur Abstracts in einer anderen Sprache als Englisch hatten, aber den Artikel selbst in NEL enthielten.
• Metadaten-Genauigkeit: Die Studie zeigt, dass Metadaten für Artikel in mehrsprachigen Zeitschriften oft unvollständig oder inkorrekt sind.

5. Bedeutung und Schlussfolgerung

• Risiko der Suchstrategie: Obwohl der prozentuale Anteil der fälschlich entfernten englischsprachigen Artikel sehr gering ist (0,2 % auf MEDLINE, 0,3 % auf Embase), besteht ein reales Risiko, relevante Evidenz zu verlieren, wenn Sprachlimits direkt in der Suchstrategie angewendet werden. Dies ist besonders kritisch bei Artikeln aus zweisprachigen Zeitschriften.
• Empfehlung für Informationsspezialisten:
  • Die Anwendung von Sprachlimits in der Suchstrategie kann pragmatisch sein, wenn Ressourcen für Übersetzungen fehlen und das Risiko als gering eingeschätzt wird.
  • Es wird jedoch empfohlen, undefinierte Sprachkategorien (wie „undetermined" oder „multilingual") in den Limits explizit einzuschließen, um keine Datensätze zu verlieren.
  • Da die Metadaten nicht perfekt sind, sollte die Entfernung von NEL-Datensätzen während des Screenings (statt in der Suche) bevorzugt werden, um Transparenz zu gewährleisten und die Möglichkeit zu bieten, Artikel bei Bedarf zu übersetzen.
• Risikominderung: Um das Risiko zu minimieren, englischsprachige Artikel zu verlieren, sollten Zitationsanalysen (Forward und Backward Citation Searching) durchgeführt werden. Dies kann fehlende Artikel auffangen, die aufgrund von Metadatenfehlern in den Datenbanken nicht gefunden wurden.
• Zusammenfassend: Die Studie unterstreicht, dass Sprachbeschränkungen zwar eine effiziente Methode zur Reduzierung des Screening-Aufwands sein können, aber aufgrund von Metadatenfehlern mit Vorsicht angewendet werden müssen. Die Entscheidung sollte transparent berichtet und durch zusätzliche Suchmethoden abgesichert werden.