A human-validated procedure for linking PhD dissertation metadata to OpenAlex author profiles
Dit artikel presenteert en valideert een generaliseerbare, door mensen geverifieerde methode die karakterniveau-, topische en transformer-gebaseerde gelijkenismaatregelen combineert om met betrouwbaarheid metadata van promotieonderzoeken te koppelen aan OpenAlex-auteursprofielen, waarbij een hoge nauwkeurigheid wordt bereikt bij het volgen van academische carrièreverlopen en wordt onthuld dat ongeveer 17,3% van de Noord-Amerikaanse PhD-afgestudeerden niet kan worden gekoppeld aan daaropvolgende publicaties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Elk jaar voltooien honderdduizenden studenten wereldwijd hun promotie, een mijlpaal die hun formele intrede in de wereld van het onderzoek markeert. Decennialang hebben wetenschappers die bestuderen hoe academische carrières verlopen, vertrouwd op een specifieke groep mensen om hen te vertellen wat er daarna gebeurt: zij die blijven publiceren in wetenschappelijke tijdschriften. Door deze gepubliceerde werken te volgen, hebben onderzoekers een beeld geschetst van hoe lang wetenschappers actief blijven, hoe productief ze zijn en hoe hun carrières zich ontwikkelen. Dit beeld heeft echter een aanzienlijke blinde vlek. Het bevat alleen de mensen die bleven publiceren. Het mist het grote aantal afgestudeerden die de wereld van het academische publiceren volledig verlaten, bijvoorbeeld om in de industrie, de overheid of het onderwijs te gaan werken, of simpelweg om te stoften voor wetenschappelijke tijdschriften. Omdat deze individuen niet verschijnen in de standaard databases die worden gebruikt om wetenschappelijke output te volgen, zijn zij effectief onzichtbaar voor de studies die proberen de volledige reikwijdte van de impact van een PhD te begrijpen. Zonder te weten wie er ontbreekt, is elke schatting van carrière succes of uitstroom gebaseerd op een steekproef die al gefilterd is door de vereiste om te blijven publiceren.
Om dit probleem op te lossen, heeft een team van onderzoekers een nieuwe manier ontwikkeld om de verbanden te leggen tussen een promotieonderzoek en de daaropvolgende carrière van de auteur, zelfs als die auteur nooit meer een artikel heeft gepubliceerd. Ze richtten zich op de enorme kloof tussen het verslag van een graad en het verslag van een carrière. De uitdaging is immens: een dissertatie is vaak het enige verslag van het werk van een persoon in een specifiek vakgebied, en de databases die miljoens wetenschappelijke artikelen bevatten, zitten vol met mensen die dezelfde namen delen. Een onderzoeker genaamd "John Smith" in een scriptie uit 2009 zou dezelfde persoon kunnen zijn als een "J. Smith" die in 2015 een artikel publiceerde, of het zouden twee volkomen verschillende mensen kunnen zijn. De moeilijkheid wordt vergroot door het feit dat veel afgestudeerden van naam veranderen, andere initialen gebruiken of publiceren onder licht variërende versies van hun namen. Eerdere methoden vertrouwden vaak op eenvoudige naamovereenkomst of op vrijwilligers die hun eigen werk al hadden gekoppeld, wat beide niet in staat zijn om de stille meerderheid van de afgestudeerden te vatten die niet langer in de publicatiewereld actief zijn.
De onderzoekers pakten dit aan door een computersysteem te creëren dat werkt als een zeer bekwame bibliothecaris, waarbij de details van een dissertatie worden vergeleken met miljoenen potentiële overeenkomsten in een wereldwijde database van wetenschappelijke publicaties genaamd OpenAlex. In plaats van alleen naar namen te kijken, leest het systeem de titels van de dissertaties en de titels van de gepubliceerde artikelen, en breekt deze af in kleine tekstfragmenten om te zien hoeveel ze overlappen. Het maakt ook gebruik van geavanceerde technologie om de onderliggende onderwerpen van het werk te begrijpen, waarbij het herkent dat een artikel over "machine learning" gerelateerd kan zijn aan een scriptie getiteld "artificial intelligence", zelfs als de woorden verschillend zijn. Het systeem genereert een score die de waarschijnlijkheid weergeeft dat de persoon die de scriptie schreef, dezelfde persoon is die de artikelen heeft geschreven. Om te controleren of dit systeem werkt, hebben de onderzoekers het getest door menselijke experts duizenden potentiële overeenkomsten te laten beoordelen, waarbij ze controleerden of de gissingen van de computer correct waren. Ze kwamen tot de conclusie dat door tekstovereenkomst te combineren met onderwerpanalyse, het systeem betrouwbaar dezelfde persoon over verschillende records heen kan identificeren met een hoge mate van nauwkeurigheid.
De resultaten van deze nieuwe methode onthullen een verbijsterende realiteit over de academische beroepsbevolking. Wanneer de onderzoekers hun systeem toepasten op een grote groep PhD-afgestudeerden uit Noord-Amerika, ontdekten ze dat een aanzienlijk deel van deze individuen niet gekoppeld kon worden aan een daaropvolgende publicatie in de database. Specifiek schatten zij dat tussen de 10,2% en 20,7% van een typische cohort PhD-afgestudeerden na het behalen van hun graad nooit verschijnt in de belangrijkste bibliografische databases, met een beste schatting van 17,3%. Dit betekent dat bijna één op de vijf doctoraal afgestudeerden ontbreekt in de standaardkaarten van wetenschappelijke carrières. Deze groep faalt niet noodzakelijkerwijs; ze kunnen succesvol zijn in andere sectoren, maar hun afwezigheid in de data vertekent ons begrip van wat er na een PhD gebeurt. De studie toonde ook aan dat de snelheid waarmee men "verdwijnt" uit het publicatierecord toeneemt over de tijd. Terwijl ongeveer 73% van de afgestudeerden nog steeds publiceert in het jaar direct na hun afstuderen, daalt dat aantal naar ongeveer 50% vijftien jaar later. Deze daling is nog steiler wanneer men de afgestudeerden meerekent die nooit hebben gepubliceerd, wat suggereert dat de meerderheid van de onderzoekers slechts gedurende een beperkte periode bijdraagt aan de wetenschappelijke literatuur.
De onderzoekers testten ook of moderne kunstmatige intelligentie hun gestructureerde computersysteem kon vervangen. Ze ontdekten dat hoewel grote taalmodellen zeer nauwkeurige oordelen konden vellen wanneer ze zeer zeker waren, ze trager en iets minder effectief waren in het vinden van overeenkomsten over de gehele groep dan het gespecialiseerde scoringssysteem. De meest efficiënte aanpak, suggereren zij, is om het snelle, gespecialiseerde systeem te gebruiken om alle gegevens te scannen en vervolgens de kunstmatige intelligentie alleen in te zetten om de gevallen te controleren waarbij het eerste systeem onzeker is. Dit tweestaps-proces maakt een uitgebreid overzicht van de gegevens mogelijk zonder dat men vastloopt in de tijd en kosten van het controleren van elk afzonderlijk record met een complex model.
Uiteindelijk doet dit werk meer dan alleen een technisch probleem in datamatching oplossen; het verandert het verhaal van de academische carrière. Door rekening te houden met de afgestudeerden die niet publiceren, biedt de studie een eerlijker en completer beeld van de uitkomsten van promotieonderwijs. Het laat zien dat het pad na een PhD veel diverser is dan de data voorheen heeft toegestaan, waarbij een aanzienlijk aantal mensen rollen vervult die niet het publiceren in academische tijdschriften inhouden. De ontwikkelde methode is openbaar en kan worden toegepast op andere velden en landen, wat een nieuw instrument biedt voor beleidsmakers en onderzoekers om het werkelijke lot van de miljoenen mensen die elk jaar een doctoraat behalen te begrijpen. Het herinnert ons eraan dat het einde van een dissertatie niet altijd het begin is van een wetenschappelijke carrière, en dat de waarde van een PhD veel verder reikt dan de pagina's van een tijdschrift.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.