SciFilter: A Metadata-Driven Approach to Registry-Aligned Screening of Scholarly Publication Sources at Scale
Dieses Paper stellt SciFilter vor, ein Open-Access-, metadatenbasiertes System, das das skalierbare Screening wissenschaftlicher Publikationsquellen durch die Abstimmung bibliografischer Daten mit nationalen Registern wie JUFO und dem Norwegischen Register automatisiert und dabei eine hohe Genauigkeit (Präzision 0,95, Recall 0,96) sowie Zuverlässigkeit (Fleiß' Kappa 0,94) gegenüber von Menschen kuratierten Benchmarks erreicht.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der weiten, überfüllten Landschaft der modernen Wissenschaft, in der jedes Jahr Millionen von Forschungsarbeiten veröffentlicht werden, besteht ein stilles, aber kritisches Problem: Woher wissen wir, welche Zeitschriften und Konferenzen vertrauenswürdig sind? Jahrzehntelang hat sich die akademische Welt verschiedener Methoden bedient, um das Weib vom Spreu zu trennen. Einige schauen darauf, wie oft eine Arbeit von anderen zitiert wird, während andere auf den Ruf des Verlags vertrauen. Diese Methoden weisen jedoch Mängel auf. Zitationszahlen können manipuliert oder durch fachspezifische Gewohnheiten verzerrt werden, und breite Suchmaschinen schließen oft qualitativ minderwertige oder räuberische Quellen neben legitimer Forschung ein. Um dies zu lösen, haben Länder wie Finnland und Norwegen Experten-geführte Register aufgebaut. In diesen Systemen prüfen Gremien von Spezialisten in spezifischen Fachgebieten Zeitschriften und Konferenzen manuell und ordnen sie basierend auf strengen redaktionellen Standards Qualitätsstufen zu, statt nur auf Popularität. Dies stellt sicher, dass der Status einer Zeitschrift die tatsächliche Qualität ihres Peer-Review- und Redaktionsprozesses widerspiegelt. Doch diese Expertensysteme stehen vor einem praktischen Engpass: Sie sind für die menschliche Abfrage konzipiert. Das Überprüfen einer einzelnen Zeitschrift dauert einige Minuten, aber die Überprüfung tausender Quellen für ein großes Forschungsprojekt oder ein institutionelles Audit ist eine Aufgabe, die eine lebenslange manuelle Arbeit bedeuten würde.
Hier setzt ein neues Werkzeug namens SciFilter an, das einen Weg bietet, menschliche Expertise auf die Größenordnung von Big Data zu bringen, ohne die Nuancen des Expertenurteils zu verlieren. Die Forscher hinter diesem Werkzeug, die an der Tallinner Universität und der University of Ilesa ansässig sind, wollten ein System entwickeln, das eine Liste von Publikationsquellen automatisch mit den offiziellen finnischen und norwegischen Registern abgleicht. Sie haben keine neue Metrik oder eine neue Art der Qualitätsbewertung geschaffen; stattdessen haben sie eine Brücke gebaut, die Rohdaten – wie Journalnamen und Identifikationsnummern – mit den bestehenden, von Menschen kuratierten, vertrauenswürdigen Listen verbindet. Das Ziel war es zu sehen, ob ein Computer die Entscheidungen menschlicher Kuratoren mit hoher Genauigkeit replizieren kann, um Institutionen zu ermöglichen, massive Listen von Publikationen schnell und konsistent zu prüfen.
Um ihre Schöpfung zu testen, stellte das Team einen kontrollierten Satz von 500 verschiedenen wissenschaftlichen Quellen zusammen, die von bekannten Zeitschriften bis hin zu obskuren Konferenzberichten und sogar einigen problematischen Quellen reichten. Sie teilten diese Gruppe gleichmäßig auf zwischen Quellen, die offiziell in den Registern anerkannt sind, und solchen, die es nicht sind. Zwei menschliche Experten überprüften daraufhin jede einzelne dieser 500 Quellen unabhängig gegen die offiziellen Register und fungierten so als Goldstandard der Wahrheit. Sie zeichneten auf, ob eine Quelle indiziert war und, falls ja, welche Qualitätsstufe sie besaß. Sobald dieser menschliche Benchmark etabliert war, speisten die Forscher dieselbe Liste von 500 Quellen in SciFilter ein. Das System nahm die Daten auf, bereinigte unordentliche Formatierungen und durchlief einen strengen, schrittweisen Abgleichprozess. Es suchte zuerst nach exakten Treffern unter Verwendung eindeutiger Identifikationsnummern, versuchte dann, die exakten Namen der Zeitschriften abzugleichen, und nutzte schließlich eine sensitive Textvergleichstechnik, um leichte Variationen in den Titeln zu handhaben.
Die Ergebnisse zeigten, dass das automatisierte System mit bemerkenswerter Zuverlässigkeit arbeitete. Als die Forscher die Ausgabe der Maschine mit den Urteilen der menschlichen Experten verglichen, war die Übereinstimmung nahezu perfekt. Das System identifizierte korrekt, ob eine Quelle indiziert war oder nicht, in 96 Prozent der Fälle. Es war gleichermaßen erfolgreich bei der Zuweisung der korrekten Qualitätsstufe und stimmte in 95 Prozent der Fälle, in denen eine spezifische Stufe zugewiesen wurde, mit den Entscheidungen der menschlichen Experten überein. Die wenigen Fehler, die das System machte, waren nicht zufällig oder katastrophal; sie traten fast immer an den Grenzen zwischen ähnlichen Ebenen auf. Zum Beispiel könnte das System gelegentlich eine erstklassige Zeitschrift mit einer etwas niedrigeren Stufe verwechseln oder eine hochwertige Quelle mit einer, die knapp unter der Schwelle zur Aufnahme liegt, verwechseln. Es machte selten die Art von massiven Fehlern, die eine erstklassige Zeitschrift in den untersten Bereich oder eine qualitativ minderwertige Quelle in den obersten schicken würden. Dieses Muster deutet darauf hin, dass das System die allgemeine Struktur der Qualitätsrankings gut versteht, wobei Verwirrung nur an den Rändern entsteht, wo die Unterscheidungen naturgemäß unscharf sind.
Die Studie zeigte auch, dass das Werkzeug kein Ersatz für das menschliche Urteil ist, sondern eine leistungsstarke erste Instanz. Die Forscher betonen, dass SciFilter nicht die Qualität einzelner Artikel oder Forscher bewertet; es prüft lediglich, ob ein Publikationsort auf der offiziellen Liste erscheint und welche Ebene er hält. Da das System auf den von den Registern bereitgestellten Daten basiert, hängt seine Genauigkeit von der Qualität der Eingabe und der Aktualität des Registers selbst ab. Wenn eine Zeitschrift kürzlich ihren Namen geändert hat oder wenn das Register seine Datensätze noch nicht aktualisiert hat, könnte das System sie übersehen. Aber für die überwältigende Mehrheit der Fälle automatisiert das Werkzeug erfolgreich die mühsame Arbeit des Querverweises tausender Quellen und befreit Forscher und Administratoren dadurch, sich auf die komplexeren Aspekte der Forschungsbewertung zu konzentrieren. Indem es einen manuellen, langsamen Prozess in einen schnellen, reproduzierbaren Prozess verwandelt, bietet SciFilter eine praktische Möglichkeit, die Prinzipien der verantwortungsvollen Forschungsbewertung auf die massiven Datensätze anzuwenden, die die moderne Wissenschaft definieren, und stellt sicher, dass die Werkzeuge, die wir zur Bewertung von Wissen nutzen, so robust sind wie das Wissen selbst.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.