A human-validated procedure for linking PhD dissertation metadata to OpenAlex author profiles
Diese Arbeit präsentiert und validiert eine generalisierbare, durch Menschen verifizierte Methode, die Zeichenebenen-, thematische und Transformer-basierte Ähnlichkeitsmaße kombiniert, um PhD-Dissertationsmetadaten zuverlässig mit OpenAlex-Autorenprofilen zu verknüpfen, wobei eine hohe Genauigkeit bei der Verfolgung akademischer Karriereverläufe erreicht wird und offenbart wird, dass etwa 17,3 % der nordamerikanischen PhD-Absolventen nicht mit nachfolgenden Publikationen verknüpft werden können.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Jedes Jahr schließen Hunderttausende von Studierenden weltweit ihre Promotion ab – ein Meilenstein, der ihren formellen Eintritt in die Welt der Forschung markiert. Seit Jahrzehnten verlassen sich Wissenschaftler, die untersuchen, wie akademische Karrieren verlaufen, auf eine bestimmte Gruppe von Menschen, um ihnen zu sagen, was als Nächstes passiert: jene, die weiterhin Artikel in Fachzeitschriften veröffentlichen. Durch das Verfolgen dieser veröffentlichten Werke haben Forscher ein Bild davon erstellt, wie lange Wissenschaftler aktiv bleiben, wie produktiv sie sind und wie sich ihre Karrieren entwickeln. Dieses Bild weist jedoch eine erhebliche Lücke auf. Es umfasst nur die Menschen, die weiter publizieren. Es lässt die große Zahl von Absolventen außer Acht, die die Welt der akademischen Publikationen ganz verlassen, vielleicht um in der Industrie, in der Regierung oder in der Lehre zu arbeiten, oder einfach, um aufzuhören, für Fachzeitschriften zu schreiben. Da diese Personen in den Standarddatenbanken, die zur Erfassung wissenschaftlicher Leistungen verwendet werden, nicht erscheinen, sind sie für Studien, die den vollen Umfang eines PhD-Abschlusses verstehen wollen, praktisch unsichtbar. Ohne zu wissen, wer fehlt, basiert jede Schätzung des Karriereerfolgs oder der Abwanderung auf einer Stichprobe, die bereits durch die Anforderung, weiterhin zu publizieren, gefiltert wurde.
Um dieses Problem zu lösen, hat ein Forscherteam einen neuen Weg entwickelt, um die Verbindung zwischen einer Dissertation und der anschließenden Karriere ihres Autors herzustellen, selbst wenn dieser Autor nie wieder eine Arbeit veröffentlicht hat. Sie konzentrierten sich auf die massive Lücke zwischen dem Datensatz eines Abschlusses und dem Datensatz einer Karriere. Die Herausforderung ist immens: Eine Dissertation ist oft der einzige Beleg für die Arbeit einer Person in einem bestimmten Bereich, und die Datenbanken, die Millionen von wissenschaftlichen Artikeln enthalten, sind voll von Menschen, die dieselben Namen teilen. Ein Forscher namens „John Smith“ in einer Thesis aus dem Jahr 2009 könnte dieselbe Person sein wie ein „J. Smith“, der 2015 ein Paper veröffentlicht hat, oder es könnten zwei völlig verschiedene Personen sein. Die Schwierigkeit wird dadurch verschärft, dass viele Absolventen ihre Namen ändern, andere Initialen verwenden oder unter leicht abweichenden Variationen ihrer Namen publizieren. Frühere Methoden stützten sich oft auf einfaches Namensmatching oder auf Freiwillige, die ihre eigene Arbeit bereits verknüpft hatten – beides scheitert daran, die stille Mehrheit der Absolventen zu erfassen, die nicht mehr in der Welt der Publikationen tätig sind.
Die Forscher gingen dies an, indem sie ein computergestütztes System entwickelten, das wie ein hochqualifizierter Bibliothekar fungiert und die Details einer Dissertation mit Millionen potenzieller Übereinstimmungen in einer globalen Datenbank wissenschaftlicher Publikationen namens OpenAlex vergleicht. Anstatt nur nach Namen zu suchen, liest das System die Titel der Dissertationen und die Titel der veröffentlichten Arbeiten und zerlegt sie in kleine Textstücke, um zu sehen, wie stark sie sich überschneiden. Es nutzt zudem fortschrittliche Technologie, um die zugrunde liegenden Themen der Arbeit zu verstehen, und erkennt dabei, dass ein Paper über „maschinelles Lernen“ mit einer Thesis mit dem Titel „künstliche Intelligenz“ verwandt sein kann, selbst wenn die Wörter unterschiedlich sind. Das System generiert einen Score, der angibt, wie wahrscheinlich es ist, dass die Person, die die Thesis geschrieben hat, dieselbe Person ist, die die Artikel geschrieben hat. Um sicherzustellen, dass dieses System funktioniert, testeten die Forscher es, indem sie menschliche Experten baten, tausende potenzielle Übereinstimmungen zu überprüfen und zu kontrollieren, ob die Vermutungen des Computers korrekt waren. Sie fanden heraus, dass das System durch die Kombination von Textabgleich und Themenanalyse die identische Person über verschiedene Datensätze hinweg mit einem hohen Grad an Genauigkeit zuverlässig identifizieren kann.
Die Ergebnisse dieser neuen Methode offenbaren eine erschreckende Realität über die akademische Arbeitswelt. Als die Forscher ihr System auf eine große Gruppe von PhD-Absolventen aus Nordamerika anwandten, stellten sie fest, dass ein erheblicher Teil dieser Personen mit keiner nachfolgenden Publikation in der Datenbank verknüpft werden konnte. Konkret schätzen sie, dass zwischen 10,2 % und 20,7 % eines typischen Jahrgangs von PhD-Absolventen nach Erhalt ihres Grades niemals in den großen bibliografischen Datenbanken erscheinen, wobei die beste Schätzung bei 17,3 % liegt. Das bedeutet, dass fast jeder fünfte Promotionsgraduierte in den Standardkarten wissenschaftlicher Karrieren fehlt. Diese Gruppe ist nicht notwendigerweise erfolglos; sie können in anderen Sektoren erfolgreich sein, aber ihre Abwesenheit aus den Daten verzerrt unser Verständnis dessen, was nach einem PhD geschieht. Die Studie zeigte auch, dass die Rate des „Verschwindens“ aus dem Publikationsregister im Laufe der Zeit zunimmt. Während etwa 73 % der Absolventen im Jahr unmittelbar nach ihrem Abschluss noch Publikationen nachweisen können, sinkt diese Zahl bis fünfzehn Jahre später auf etwa 50 %. Dieser Rückgang ist noch steiler, wenn man die Absolventen miteinbezieht, die überhaupt nicht publiziert haben, was darauf hindeutet, dass die Mehrheit der Forschenden nur für ein begrenztes Zeitfenster zur wissenschaftlichen Literatur beiträgt.
Die Forscher testeten auch, ob moderne künstliche Intelligenz ihr strukturiertes Computersystem ersetzen könnte. Sie fanden heraus, dass Large Language Models zwar sehr genaue Urteile fällen können, wenn sie sich sehr sicher sind, aber langsamer und etwas weniger effektiv darin waren, Übereinstimmungen über die gesamte Gruppe hinweg zu finden, als das spezialisierte Scoring-System. Der effizienteste Ansatz besteht ihrer Meinung nach darin, das schnelle, spezialisierte System zur Scannung aller Daten einzusetzen und die künstliche Intelligenz erst dann zur Überprüfung der Fälle heranzuziehen, in denen sich das erste System unsicher ist. Dieser zweistufige Prozess ermöglicht eine umfassende Sicht auf die Daten, ohne durch die Zeit und Kosten bei der Überprüfung jedes einzelnen Datensatzes mit einem komplexen Modell aufgehalten zu werden.
Letztlich tut diese Arbeit mehr, als nur ein technisches Problem beim Datenabgleich zu lösen; sie verändert die Erzählung der akademischen Karriere. Indem sie die Absolventen berücksichtigt, die nicht publizieren, liefert die Studie ein ehrlicheres und vollständigeres Bild der Ergebnisse der Promotionsausbildung. Sie zeigt, dass der Weg nach einem PhD weita viel vielfältiger ist, als die Daten bisher zuzulassen pflegten, wobei eine beträchtliche Anzahl von Menschen in Rollen wechselt, die nicht das Publizieren in akademischen Fachzeitschriften beinhalten. Die hier entwickelte Methode ist offen gestaltet und kann auf andere Felder und Länder angewendet werden, was Polikern und Forschern ein neues Werkzeug bietet, um das wahre Schicksal der Millionen Menschen zu verstehen, die jedes Jahr eine Promotion erlangen. Sie erinnert uns daran, dass das Ende einer Dissertation nicht immer der Beginn einer wissenschaftlichen Karriere ist und dass der Wert eines PhD weit über die Seiten einer Fachzeitschrift hinausgeht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.