An analysis of university ranking systems using an unsupervised machine learning-based ranking framework
Deze studie stelt een ongesuperviseerd machine learning-framework voor dat gebruikmaakt van Principal Component Analysis en Factor Analysis om de transparantie en stabiliteit van universiteitsranglijsten te valideren en te verbeteren door latente factoren af te leiden en gebalanceerde gewichten toe te passen, waarmee uiteindelijk wordt aangetoond dat hoewel individuele rangnummers fluctueren, de algemene distributiepatronen van de top Australische universiteiten consistent blijven met gevestigde systemen zoals THE en QS.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Elk jaar staan miljoenen studenten en hun families voor een ontmoetende vraag: welke universiteit is de beste pasvorm? Om te helpen bij het beantwoorden hiervan, publiceren wereldwijde organisaties jaarlijkse lijsten die instellingen rangschikken op basis van een mix van factoren zoals onderzoeksoutput, studenttevredenheid en internationale diversiteit. Deze ranglijsten zijn meer dan alleen cijfers; ze bepalen waar studenten zich aanmelden, hoeveel financiering universiteiten ontvangen en zelfs de reputatie van hele landen. De methoden die worden gebruikt om deze lijsten samen te stellen, zijn echter vaak opaak. De organisaties die ze samenstellen, onthullen zelden precies hoe ze scores berekenen of hoe ze met ontbrekende informatie omgaan, waardoor het proces aanvoelt als een black box. Bovendien leunen traditionele ranglijsten vaak zwaar op onderzoeksprestaties, waarbij de kwaliteit van het onderwijs of de studentervaring mogelijk wordt over het hoofd gezien. Dit gebrek aan transparantie en balans heeft ervoor gezorgd dat onderzoekers vragen of er een duidelijkere, eerlijkere manier is om de prestaties van universiteiten te meten.
Een team onderzoekers van de University of New South Wales in Sydney heeft dit probleem aangepakt door een nieuw kader te bouwen om universiteiten te evalueren. In plaats van te vertrouwen op de subjectieve wegingen die door grote rangschikkingsinstanties worden gebruikt, hebben zij zich gericht op unsupervised machine learning, een type computeranalyse dat verborgen patronen in gegevens vindt zonder te worden verteld waarnaar gezocht moet worden. De onderzoekers verzamelden tien jaar aan gegevens van twee van de meest prominente ranglijsten ter wereld, de Times Higher Education (THE) en de QS World University Rankings. Ze verzamelden informatie over duizenden universiteiten, waarbij ze naar indicatoren keken variërend van academische reputatie en werkgeverstevredenheid tot de ratio tussen faculteit en studenten en de diversiteit van de studentenpopulatie. Een aanzienlijke hindernis die zij tegenkwamen, was dat de gegevens incompleet waren; veel universiteiten rapporteerden niet elke indicator elk jaar, en sommige indicatoren werden pas recent geïntroduceerd, wat grote gaten liet in de historische verslaglegging.
Om deze hiaten te dichten, gebruikten het team geavanceerde computermethoden om de ontbrekende waarden te schatten. Ze testten verschillende methoden, waaronder algoritmen die leren van de patronen van vergelijkbare universiteiten en statistische modellen die voorspellen wat een ontbrekend getal waarschijnlijk was op basis van andere bekende feiten. Ze ontdekten dat twee specifieke machine learning-benaderingen, bekend als Random Forest en XGBoost, het meest effectief waren in het invullen van de gaten zonder het algemene beeld te verstoren. Deze methoden stelden hen in staat om een compleet dataset te creëren, wat ervoor zorgde dat geen enkele universiteit onrechtvaardig werd benadeeld simpelweg omdat zij een specifiek stukje data niet hadden gerapporteerd. Met een schone en complete set informatie gebruikten de onderzoekers vervolgens statistische instrumenten om het complexe web van indicatoren te vereenvoudigen. Ze reduceerden de tientallen verschillende metrieken tot vijf kernonderliggende thema's, of "latente factoren", die de prestaties van een universiteit werkelijk aansturen.
Deze vijf factoren onthulden de verborgen structuur van wat een universiteit succesvol maakt. De eerste en meest significante factor combineerde academische reputatie, werkgeversreputatie en werkgelegenheidsresultaten, wat in essentie de algehele invloed en het succes van de afgestudeerden en het onderzoek van een universiteit meet. De tweede factor richtte zich op internationale invloed, waarbij werd vastgesteld hoe goed een universiteit studenten en personeel van over de hele wereld aantrekt. De derde factor mat de impact van industrie-betrokkenheid, terwijl de vierde keek naar de leeromgeving via de ratio tussen personeel en studenten. De vijfde factor concentreerde zich op de kwaliteit van het onderzoek en het aantal citaties dat het werk van een universiteit ontvangt. Door te analyseren hoe deze vijf factoren met elkaar interageren, creëerde het team een nieuw ranglijstsysteem dat elke factor hetzelfde gewicht gaf aan deze thema's, in plaats van de doelpalen te verschuiven zoals traditionele ranglijsten vaak doen.
Toen de onderzoekers hun nieuwe ranglijsten vergeleken met de gevestigde lijsten, vonden zij dat de topuniversiteiten grotendeels hetzelfde bleven, waarbij instellingen zoals Oxford, MIT en Cambridge consequent de hoogste posities behielden. Dit suggereert dat de wereldleidende universiteiten inder weinig op meerdere dimensies sterk zijn. Echter, het nieuwe kader toonde een ander beeld voor universiteiten in de middelste en lagere segmenten. De traditionele ranglijsten zagen vaak significante sprongen en dalingen in positie van jaar tot jaar, grotendeels omdat de organisaties achter hen de manier waarop ze verschillende indicatoren weegden zouden veranderen. In contrast hiermee bood het nieuwe systeem een veel stabieler beeld van institutionele kracht. Wanneer men bijvoorbeeld naar Australische universiteiten kijkt, toonde het nieuwe kader dat hun relatieve standplaats in de loop van de tijd consistent bleef, terwijl de traditionele ranglijsten volatiele schommelingen vertoonden die leken te reflecteren op veranderingen in de methodologie in plaats van werkelijke veranderingen in de prestaties van de universiteiten.
De studie concludeert dat hoewel de individuele posities van universiteiten licht kunnen verschuiven afhankelijk van de gebruikte methode, het algemene patroon van uitmuntendheid robuust is. Het nieuwe kader biedt een transparanter en evenwichtiger benadering, waarbij gelijke aandacht wordt besteed aan onderwijs, onderzoek en wereldwijde betrokkenheid zonder afhankelijk te zijn van subjectieve enquêtes of opaak berekende gegevens. Door de gegevens en de code die voor de analyse zijn gebruikt publiekelijk beschikbaar te maken, hebben de onderzoekers een hulpmiddel geboden waarmee iedereen precies kan zien hoe de ranglijsten worden afgeleid. Dit werk suggereert dat een eerlijkere manier om het hoger onderwijs te evalueren mogelijk is, een die steunt op heldere, op data gebaseerde inzichten in plaats van de verschuivende zandgronden van reputatie en incomplete informatie. Voor studenten, beleidsmakers en universiteiten zelf biedt dit een helderder pad naar het begrijpen van wat werkelijk een wereldklasse instelling constitueert.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.