Removing animal and nonhuman records in Ovid Embase: A comparison of 11 filters

Diese Studie vergleicht die Leistung von 11 verschiedenen Filtern in Ovid Embase zur Entfernung von Tier- und Nichtmenschendaten, indem sie Sensitivität, Spezifität und Genauigkeit anhand von 3.000 getesteten Datensätzen analysiert und feststellt, dass die Filtereffektivität je nach Fachgebiet, Publikationstyp und Sprache variiert.

Das Wesentliche

Titel: Der große Filter-Test: Wie man Tier- und Pflanzen-Studien aus der menschlichen Forschung herausfiltert

Stellen Sie sich vor, Sie sind ein Archivar in einer riesigen Bibliothek namens Embase. Diese Bibliothek enthält Millionen von wissenschaftlichen Artikeln. Ihr Job ist es, alle Artikel zu finden, die sich nur mit Menschen befassen, weil eine Forschergruppe eine Studie über eine neue menschliche Krankheit macht.

Aber hier ist das Problem: In dieser Bibliothek liegen auch unzählige Artikel über Hunde, Mäuse, Bakterien und Pflanzen. Wenn Sie einfach nach "Krankheit" suchen, landen Sie in einem Haufen aus menschlichen Studien und Tierexperimenten. Das ist wie wenn Sie nach einem roten Apfel suchen, aber der Korb ist voller roter Äpfel, roter Kugeln und roter Autos. Sie wollen nur die Äpfel.

Um das zu lösen, nutzen Bibliothekare sogenannte Filter. Das sind wie spezielle Siebe oder Schablonen, die man über den Suchkorb hält, um nur das zu lassen, was durch die Löcher passt.

Das Problem? Niemand wusste genau, welches Sieb das beste ist. Manche Siebe sind so fein, dass sie auch rote Äpfel (wichtige menschliche Studien) zurückhalten, die eigentlich durch sollten. Andere sind so grob, dass auch rote Kugeln (Tierstudien) durchrutschen.

Die Autoren dieses Papers (Helen und Connor) haben sich vorgenommen, 11 verschiedene Siebe zu testen, um herauszufinden, welches am besten funktioniert.

Das Experiment: Der große Testlauf

Stellen Sie sich vor, die Autoren haben einen riesigen Korb mit 3.000 zufälligen Artikeln zusammengewürfelt.

• Ein Teil davon waren echte menschliche Studien (die wir behalten wollen).
• Ein Teil waren Tierstudien (die wir wegwerfen wollen).
• Ein Teil war eine Mischung aus beidem.

Sie haben diese 3.000 Artikel manuell durchgelesen und in zwei Stapel sortiert: "Behalten" und "Wegwerfen". Das war ihr "Goldstandard" – die perfekte Lösung, mit der sie die 11 Filter verglichen haben.

Dann haben sie jedes der 11 Siebe nacheinander über den Korb gehalten und gezählt:

1. Wie viele wichtige menschliche Studien haben wir versehentlich weggefiltert? (Das ist schlecht, wir wollen sie ja!)
2. Wie viele unnötige Tierstudien haben wir richtig entfernt? (Das ist gut!)

Die Ergebnisse: Wer ist der Gewinner?

Die Ergebnisse waren überraschend und zeigten, dass es kein "perfektes" Sieb für alle Fälle gibt, aber es gibt klare Favoriten.

1. Der "Sicherheits-Filter" (Methode 11)
Stellen Sie sich Methode 11 wie ein sehr grobes Sieb vor, das nur die ganz großen Steine (Tierstudien) herausfängt, aber fast alles andere durchlässt.

• Vorteil: Es hat die höchste Sensitivität. Das bedeutet, es hat die wenigsten menschlichen Studien verloren. Es hat 90,6 % der wichtigen menschlichen Artikel richtig behalten.
• Nachteil: Es ist etwas "faul" beim Wegwerfen. Es lässt auch einige Tierstudien durch, die eigentlich raus müssten (nur 41,2 % der Tierstudien wurden korrekt entfernt).
• Fazit: Wenn Sie Angst haben, eine wichtige menschliche Studie zu verpassen, nehmen Sie dieses Sieb.

2. Der "Streng-Filter" (Methode 3)
Stellen Sie sich Methode 3 wie ein sehr feines Sieb vor, das alles herausfiltert, was auch nur im Verdacht steht, ein Tier zu sein.

• Vorteil: Es hat die höchste Spezifität. Es war sehr gut darin, Tierstudien zu entfernen (71,5 % korrekt entfernt).
• Nachteil: Es war zu streng und hat auch viele menschliche Studien weggefischt (nur 75,4 % wurden behalten).
• Fazit: Wenn Sie sicherstellen wollen, dass gar keine Tierstudien dabei sind, nehmen Sie dieses Sieb, aber riskieren Sie dabei, wichtige menschliche Daten zu verlieren.

3. Der "Alles-anderes"-Filter
Die anderen 9 Filter lagen irgendwo dazwischen. Sie waren solide, aber nicht herausragend in einer der beiden Kategorien.

Was wurde versehentlich weggefiltert?

Das Interessanteste war, welche menschlichen Studien die Filter versehentlich weggeworfen haben.
Die meisten verlorenen Studien gehörten in die Kategorie "Menschen als Teilnehmer".
Das ist wie wenn Sie nach "Apfel" suchen, aber das Sieb Artikel wegwirft, weil im Titel das Wort "Hund" vorkommt – obwohl es eigentlich um einen Menschen geht, der mit einem Hund arbeitet (z. B. in der Tiertherapie).

Einige Filter waren so streng, dass sie auch Studien wegwarfen, die sich mit "Faktoren der menschlichen Gesundheit" befassten, nur weil im Text ein Tier erwähnt wurde.

Warum ist das so schwierig? (Die Metapher der Bibliothekare)

Die Autoren erklären, dass die Bibliothek (Embase) nicht perfekt ist. Manchmal schreiben Bibliothekare (die Indexer) nicht auf den Artikel, dass er "Menschen" betrifft, auch wenn er es tut. Oder sie schreiben "Tier", auch wenn es nur eine kleine Nebenbemerkung über Tiere in einer menschlichen Studie ist.

Es gibt auch eine Besonderheit bei Konferenz-Zusammenfassungen (kurze Vorträge vor der Veröffentlichung). Diese werden oft automatisch und nicht von Menschen indexiert. Die Autoren vermuten, dass diese automatisch indexierten Artikel viel häufiger versehentlich weggefiltert werden, weil ihnen die genauen "Stempel" (Fachbegriffe) fehlen, die die Filter suchen.

Die große Lektion für alle

Das Wichtigste, was man aus diesem Papier mitnimmt, ist keine Zahl, sondern eine Diskussion.

Bevor Sie ein Sieb verwenden, müssen Sie sich mit Ihrem Forschungsteam fragen:

• "Müssen wir wirklich ALLE Tierstudien rauswerfen?"
• "Gibt es Fälle, wo Tiere für die menschliche Gesundheit relevant sind? (Zum Beispiel: Hunde, die Krebs riechen, oder Therapien mit Delfinen?)"

Wenn die Antwort "Ja" ist, dann dürfen Sie kein zu strenges Sieb verwenden, sonst verlieren Sie diese wichtigen Studien.

Zusammenfassung in einem Satz:
Es gibt kein perfektes Sieb, das alle Tierstudien entfernt und keine menschlichen Studien verliert; man muss sich entscheiden, ob man lieber ein paar Tierstudien dabei hat (und das grobe Sieb nutzt) oder lieber riskiert, wichtige menschliche Studien zu verlieren (und das feine Sieb nutzt). Die Autoren empfehlen das grobe Sieb (Methode 11), weil es besser ist, eine Tierstudie zu haben, als eine wichtige menschliche Studie zu verpassen.

Technische Zusammenfassung

Titel

Entfernung von Tier- und Nicht-Mensch-Datensätzen in Ovid Embase: Ein Vergleich von 11 Filtern

1. Problemstellung

Bei der Durchführung von evidenzbasierten Synthesen (z. B. systematischen Übersichten) ist es häufig notwendig, Studien, die sich ausschließlich mit Tieren oder Nicht-Menschen befassen, aus den Suchergebnissen zu entfernen, um den Fokus auf menschliche Populationen zu legen. In der Datenbank Ovid Embase werden hierfür routinemäßig verschiedene Suchfilter eingesetzt.

• Das Kernproblem: Es gibt eine Vielzahl an Filtern unterschiedlicher Herkunft (z. B. von der Cochrane Collaboration, CRD, Canada's Drug Agency), doch es fehlen oft Leistungsdaten (Validierung) für deren Genauigkeit.
• Herausforderungen: Die Definition eines „tierischen" oder „nicht-menschlichen" Datensatzes ist komplex. Zudem ist die Indexierung durch Emtree-Subject-Headings (das kontrollierte Vokabular von Embase) nicht perfekt; relevante Studien über Menschen können fehlen, wenn sie nicht explizit mit dem Schlagwort „human/" indexiert wurden. Umgekehrt können Studien, die Tiere und Menschen betreffen, fälschlicherweise entfernt werden.
• Ziel: Das Studium vergleicht die Leistungsfähigkeit von 11 gängigen Filtern, um Informationsspezialisten bei der fundierten Auswahl zu unterstützen.

2. Methodik

Die Studie ist eine explorative Analyse mit folgenden Schritten:

• Datenerstellung: Es wurden drei Suchstrategien entwickelt, um Datensätze in drei Kategorien zu finden:
  1. Nur Tiere/Nicht-Menschen.
  2. Nur Menschen.
  3. Eine Kombination aus Tieren/Nicht-Menschen und Menschen.
     Aus diesen Suchen wurde eine Stichprobe von insgesamt 3.000 Datensätzen (je 500 pro Kategorie, die durch Filter entfernt wurden, und 500, die erhalten blieben) gezogen.
• Screening: Zwei Reviewer bewerteten die Titel und Abstracts der Datensätze und kategorisierten sie als „sollte entfernt werden" oder „sollte behalten werden". Die Kriterien waren kontextbasiert und nicht streng populationsbasiert, um eine breite Anwendbarkeit zu gewährleisten.
• Filter-Test: Die 11 verschiedenen Filtermethoden (basierend auf Emtree-Headings, Titeln und Abstracts) wurden nacheinander auf die Datensätze angewendet.
• Metriken: Für jeden Filter wurden berechnet:
  • Sensitivität: Anteil der korrekt behandelten (behaltenen) relevanten Datensätze.
  • Spezifität: Anteil der korrekt entfernten irrelevante Datensätze.
  • Gesamtgenauigkeit (Overall Accuracy): Kombination aus korrekt behaltenen und korrekt entfernten Datensätzen.
• Fehleranalyse: Datensätze, die fälschlicherweise entfernt wurden (False Negatives), wurden in sieben Kategorien eingeteilt, um zu verstehen, welche Art von relevanten Studien verloren ging.

3. Wichtige Beiträge

• Vergleichende Analyse: Erstmals wurden 11 in der Praxis verwendete Filter für Ovid Embase direkt miteinander hinsichtlich ihrer statistischen Leistung verglichen.
• Analyse der Indexierung: Das Studium beleuchtet, wie Elsevier-Indexer Emtree-Headings (insbesondere „human/" und „animal experiment/") anwenden und wie dies die Filterleistung beeinflusst (z. B. Unterschiede bei Konferenzabstracts oder nicht-englischen Publikationen).
• Kategorisierung von Fehlern: Es wurde detailliert analysiert, welche Art von menschlichen Studien (z. B. Studien mit Humanpartizipanten vs. Reviews) am häufigsten fälschlicherweise entfernt werden.
• Empfehlung zur Filterauswahl: Das Papier liefert evidenzbasierte Leitlinien, welcher Filter für welche Zielsetzung (hohe Sensitivität vs. hohe Spezifität) geeignet ist.

4. Ergebnisse

Die Analyse basierte auf 2.689 erfolgreich abgerufenen Datensätzen (nach Ausschluss von Duplikaten und nicht auffindbaren Einträgen).

• Sensitivität (Fähigkeit, relevante Studien zu behalten):

  • Filter 11 war der sensitivste Filter und behielt 90,6 % der relevanten Datensätze (in der Gesamtdatenbank).
  • Filter 10 folgte mit 88,3 %.
  • Alle anderen Filter lagen zwischen 75,2 % und 78,9 %.
  • Schlussfolgerung: Filter, die keine Nicht-Mensch-Datensätze entfernen (d.h. sie nutzen nur „animal experiment/" statt „animal/"), zeigten eine höhere Sensitivität.

• Spezifität (Fähigkeit, irrelevante Studien zu entfernen):

  • Filter 3 hatte die höchste Spezifität und entfernte 71,5 % der irrelevante Datensätze korrekt.
  • Filter 11 hatte die niedrigste Spezifität (41,2 %), da er viele tierbezogene Studien nicht entfernte.
  • Schlussfolgerung: Filter, die auch Titelfelder und Abstracts nutzen (wie Filter 3), entfernen Tierstudien effektiver, verlieren aber mehr relevante menschliche Studien.

• Fehleranalyse (Welche Studien wurden fälschlicherweise entfernt?):

  • Die am häufigsten fälschlicherweise entfernte Kategorie war „Verwendung von Humanpartizipanten oder Daten" (Kategorie 1), durchschnittlich bei 44,9 % der falsch entfernten Datensätze.
  • Dies deutet darauf hin, dass viele relevante Studien nicht korrekt mit dem Emtree-Headings „human/" indexiert wurden.
  • Filter 10 und 11 entfernten fälschlicherweise weniger Studien aus Kategorie 1 als die anderen Filter.

• Gesamtgenauigkeit:

  • Filter 3 erreichte die höchste Gesamtgenauigkeit (73 %), während Filter 11 die niedrigste (61,4 %) aufwies. Da jedoch in Reviews für Menschen tierbezogene Studien oft einen geringeren Anteil ausmachen, wird die Sensitivität als wichtigerer Indikator angesehen.

5. Bedeutung und Schlussfolgerung

• Kein „One-Size-Fits-All": Es gibt keinen perfekten Filter. Die Wahl hängt von den spezifischen Anforderungen der systematischen Übersicht ab.
• Empfehlung: Für die meisten Anwendungen, bei denen das Ziel ist, relevante menschliche Studien nicht zu verlieren, wird Filter 11 empfohlen, da er die höchste Sensitivität aufweist.
• Kommunikation: Informationsspezialisten und Review-Teams müssen vorab diskutieren, ob und welche Art von Tierstudien (z. B. Tier-assistierte Therapien, Zoonosen) relevant sein könnten und ob ein Filter überhaupt angemessen ist.
• Indexierungsprobleme: Die Studie zeigt, dass die Zuverlässigkeit von Filtern stark von der Indexierungsqualität abhängt. Besonders bei Konferenzabstracts, Pre-prints und nicht-englischen Publikationen (die oft nur automatisch indexiert werden) ist Vorsicht geboten, da diese häufiger fälschlicherweise entfernt werden.
• Zukunft: Weitere Forschung ist nötig, um die Filter für verschiedene Studientypen (z. B. qualitative Studien, ökonomische Evaluationen) und spezifische Publikationstypen zu validieren.

Zusammenfassend liefert das Papier eine kritische Grundlage für Informationsspezialisten, um die Risiken und Vorteile verschiedener Filterstrategien in Ovid Embase abzuwägen und die Qualität von Suchstrategien in systematischen Übersichten zu verbessern.