One University Three Positions: A Reproducible Simulation Study of Database Dependent Institutional Rankings across OpenAlex Scopus and Web of Science
Deze studie maakt gebruik van een reproduceerbare Monte Carlo-simulatie van 700 synthetische universiteiten om aan te tonen dat institutionele ranglijsten significant variëren tussen OpenAlex, Scopus en Web of Science vanwege databasespecifieke mechanismen zoals dekking en citatieschaling, wat onthult dat een hoge concordantie op systeemniveau consequentiële instellingsspecifieke ranglijstinstabiliteit en regionale vooroordelen maskeert.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Elk jaar worden universiteiten over de hele wereld in een enkele kolom opgesteld, gerangschikt van eerste tot laatste, alsof hun positie een vaststaand feit is zoals de hoogte van een berg. Deze praktijk rust op enorme digitale bibliotheken die miljo'n wetenschappelijke artikelen, citaties en namen van auteurs opslaan. Deze bibliotheken, vaak databases genoemd, zijn de instrumenten die onderzoekers gebruiken om te tellen hoeveel een universiteit produceert en hoe vaak dat werk door anderen wordt gelezen. De aanname achter deze ranglijsten is dat als je dezelfde universiteit in twee verschillende bibliotheken telt, je ongeveer hetzelfde resultaat zult krijgen. De realiteit is echter dat geen twee bibliotheken precies dezelfde collectie werken bevatten. De ene kan meer artikelen bevatten die in talen andere dan het Engels zijn geschreven, terwijl een andere zich zwaar kan richten op specifieke wetenschappelijke velden of bepaalde soorten documenten, zoals conferentieverslagen, uitsluit. Omdat de beginlijst van artikelen anders is, kunnen de uiteindelijke telling en de resulterende rangorde drastisch veranderen, zelfs als de universiteit zelf haar wetenschappelijke output niet heeft veranderd.
Een onderzoeker genaamd Mustafa Kayyali zette zich in om te begrijpen hoeveel deze verschillen er werkelijk toe doen. In plaats van te proberen de huidige ranglijsten te verbeteren of echte universiteiten te vergelijken, bouwde hij een computersimulatie om de mechanica van het systeem te testen. Hij creëerde een fictieve wereld met zevenhonderd synthetische universiteiten. Elk van deze verzonnen instellingen kreeg een uniek profiel, inclusief de omvang, de wetenschappelijke kwaliteit, de talen waarin zij publiceerden en de mix van onderwerpen die zij bestudeerden, zoals geneeskunde, techniek of de kunsten. Vervolgens programmeerde hij drie verschillende digitale bibliotheken om dezezelfde groep universiteiten te "observeren". Deze bibliotheken waren ontworpen om het bekende gedrag van echte systemen na te bootsen: één was breed en inclusief, een andere zat ergens in het midden, en de derde was selectiever en strenger in wat zij inclusief maakte. Het doel was niet om te zien welke bibliotheek de beste was, maar om te zien hoeveel de rangpositie van een enkele universiteit zou schommelen afhankelijk van de bibliotheek die werd gebruikt om te meten.
De resultaten toonden een verrassende tegenstrijdigheid aan. Wanneer de onderzoeker naar de algemene lijst keek, leken de ranglijsten van de verschillende bibliotheken heel goed met elkaar overeen te stemmen. De volgorde van de universiteiten bewoog samen op een manier die suggereerde dat er een sterke verbinding bestond. Echter, wanneer hij naar individuele universiteiten keek, veranderde het beeld volledig. Een universiteit die in de ene bibliotheek in de top honderd verscheen, kon in een andere bibliotheek tientallen plaatsen dalen. Gemiddeld bewoog een universiteit ongeveer een levenslijn van achtenveertig plaatsen tussen de meest inclusieve bibliotheek en de meest selectieve bibliotheek. Dit betekende dat ongeveer achttien universiteiten de grens naar of uit de top honderd overschreden, simpelweg omdat de waarnemer veranderde. De hoge algemene overeenstemming verborg een grote mate van instabiliteit voor specifieere instellingen.
De studie onthulde ook dat deze bewegingen niet willekeurig waren. Ze volgden een duidelijk patroon gebaseerd op waar een universiteit gevestigd was en welke talen zij gebruikte. Universiteiten in het Mondiale Zuiden, of universiteiten die een aanzienlijk deel van hun werk in talen andere dan het Engels publiceerden, hadden de neiging om veel hoger te scoren in de brede, inclusieve bibliotheek. In de meer selectieve bibliotheek daalden dezezelfde instellingen aanzienlijk in rangorde. Omgekeerd zagen universiteiten in andere regio's vaak hun rangorde dalen wanneer de bibliotheek inclusiever werd. Dit gebeurde omdat het ranglijstsysteem een zero-sum game is; als één groep stijgt omdat meer van hun werk wordt meegeteld, moet een andere groep dalen. De simulatie liet zien dat de richting van de verschuiving volledig afhing van de regels die in de bibliotheek waren ingebouwd, en niet van de werkelijke kwaliteit van het onderzoek.
Om te begrijpen waarom deze kloven bestonden, brak de onderzoeker de verschillen af in vier hoofdoorzaken: hoeveel artikelen werden gevonden, hoe goed de naam van de universiteit aan haar artikelen was gekoppeld, hoe citaties werden geteld, en willekeurige fouten in de data. De grootste factor was dekking, oftewel simpelweg hoeveel artikelen de bibliotheek wist te vinden. Deze enkele factor verklaarde bijna twee derde van het verschil in rangordes. De manier waarop universiteiten aan hun artikelen werden gekoppeld, was een kleinere factor, en in sommige gevallen maakte het verbeteren van de koppeling het meningsverschil zelfs iets erger voordat het beter werd. De studie concludeerde dat de variatie geen fout was die gecorrigeerd moest worden door beter tellen, maar een fundamenteel kenmerk van het gebruik van verschillende bronnen.
Het artikel betoogt dat het rapporteren van een enkel getal voor de rang van een universiteit misleidend is, omdat het de onzekerheid achter dat getal verbergt. Een universiteit kan in het ene systeem op vierënveertigste staan en in het andere op tweeënvijftigste, wat een klein verschil is, maar het kan ook op tweeënzestigste staan in het ene en op hondeen eenentachtigste in het andere. De onderzoeker suggereert dat in plaats van een enkele rang, universiteiten een bereik van mogelijke posities moeten krijgen getoond, samen met de waarschijnlijkheid van het behoren tot de top honderd. Deze aanpak zou duidelijk maken dat de positie van een universiteit geen vast punt op een kaart is, maar een locatie die verschuift afhankelijk van de lens waardoor zij wordt bekeken. De studie beweert niet het probleem van rangschikking te hebben opgelost, maar biedt een duidelijke methode om te meten hoeveel de keuze van de gegevensbron het antwoord verandert, waarbij wordt gepleit voor het zichtbaar maken van deze onzekerheid voor iedereen die deze lijsten gebruikt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.