Strategic Mapping of University Research Portfolios Using NLP and Machine Learning: An Integrated Analysis of Research Projects

Universiteiten zijn motoren van ontdekking, die voortdurend duizenden onderzoeksprojecten genereren die erop gericht zijn problemen op te lossen, nieuwe technologieën uit te vinden en de menselijke kennis uit te breiden. Om deze motoren draaiende te houden, vertrouwen instellingen op research offices om de stroom van ideeën, geld en tijd te beheren. Decennialang vertrouwde de manier waarop deze kantoren hun collecties projecten — bekend als portfolio's — evalueerden zwaar op het tellen van eindproducten: hoeveel patenten er werden aangevraagd, hoeveel artikelen er werden gepubliceerd of hoeveel geld er binnenkwam. Deze aanpak kijkt echter achterom. Het vertelt bestuurders wat er al is gebeurd, maar biedt weinig inzicht in het huidige landschap van lopend werk, de verborgen verbindingen tussen verschillende velden, of de potentiële risico's die binnen een project schuilen voordat het mislukt. Naarmate het aantal projecten groeit en onderzoek complexer wordt, is de oude methode om handmatig honderden abstracts te lezen om patronen te vinden te traag en gevoelig voor menselijke bias geworden. Er is een groeiende behoefte aan een manier om het hele bos te zien, en niet alleen de individuele bomen, met behulp van de instrumenten van moderne informatica om de ware vorm van de onderzoeksinspanningen van een universiteit te begrijpen.

In een recente studie hebben onderzoekers aan de Istanbul Sabahattin Zaim Universiteit deze uitdaging aangepakt door geavanceerde computerechnieken toe te passen op een enorme collectie van 631 wetenschappelijke onderzoeksprojecten uitgevoerd tussen 2015 en 2026. In plaats van experts te vragen elke projectbeschrijving te lezen, gebruikte het team een vorm van kunstmatige intelligentie die ontworpen is om taal te begrijpen. Ze voerden de titels en beschrijvingen van deze projecten in een systeem dat de tekst kon lezen en de betekenis van elke zin kon omzetten in een wiskundige kaart. Dit proces stelde de computer in staat om te "zien" hoe vergelijkbaar of verschillend twee projecten waren op basis van hun werkelijke inhoud, in plaats van alleen op basis van hun toegewezen afdeling of brede categorie. De onderzoekers gebruikten deze kaarten vervolgens om de projecten in natuurlijke clusters te groeperen, waardoor verborgen thema's aan het licht kwamen die de traditionele academische grenzen doorsnijden. Ze bouwden ook een systeem om projecten op te sporen die ongewoon of riskant leken in vergelijking met de rest, wat een dynamisch beeld creëerde van de gezondheid van het onderzoek van de universiteit dat veel verder gaat dan eenvoudige spreadsheets.

De analyse begon met een dataset van 631 projecten, die werd schoongemaakt en verfijnd om te focussen op 593 vermeldingen met voldoende detail om betekenisvol te zijn. De onderzoekers verwijderden eerst de onnodige ruis uit de tekst, zoals veelvoorkomende woorden die geen specifieke betekenis dragen, en gebruikten vervolgens een geavanceerd taalmodel om elke projecttitel te vertalen naar een dichte set getallen die de semantische essentie ervan vastlegden. Deze stap was cruciaal omdat het de computer in staat stelde te begrijpen dat een project over "kunstmatige intelligentie in de geneeskunde" conceptueel dichter bij een project over "machine learning voor diagnose" ligt dan bij een project over "historische architectuur", zelfs als de gebruikte woorden heel verschillend waren. Zodra de tekst in deze numerieke representaties was omgezet, pasten de onderzoekers technieken voor dimensionaliteitsreductie toe. Denk hierbij aan het nemen van een complex, meerlagig object en het platdrukken ervan op een tweedimensionaal vel papier op een manier die de belangrijkste relaties tussen de onderdelen behoudt. Dit maakte het mogelijk om de gehele portfolio te visualiseren op één enkel scherm, waarbij de positie van elke stip de unieke kenmerken van een project vertegenwoordigde.

Met de projecten in kaart gebracht, gebruikten het team clusteringalgoritmen om de data voor zichzelf te laten spreken. Deze algoritmen fungeerden als een sorteermachine, waarbij projecten die dicht bij elkaar lagen in de wiskundige ruimte werden gegroepeerd in duidelijke families. De onderzoekers testten verschillende manieren om de data te groeperen en ontdekten dat het verdelen van de portfolio in tien duidelijke clusters het helderste en meest stabiele beeld gaf. Deze tien groepen waren niet willekeurig; ze vertegenwoordigden echte thematische verschillen in het uitgevoerde onderzoek. Zo werd één cluster gedomineerd door projecten gericht op materiaalkunde, nanotechnologie en geavanceerde karakterisering, terwijl een ander gevuld was met projecten gecentreerd rond kunstmatige intelligentie en datagestuurde engineering. Een derde groep ontstond rond autonome systemen en defensietechnologieën. Door te kijken naar de woorden die het meest voorkwamen in elke groep, konden de onderzoekers elk cluster duidelijk labelen, wat onthulde dat het onderzoek van de universiteit niet slechts een willekeurige mix van onderwerpen was, maar een gestructureerd landschap van gespecialiseerde domeinen.

De studie keek ook naar de financiële en operationele kant van deze clusters om te zien of de thema's overeenkwamen met de middelen. Ze ontdekten dat de Faculteit voor Engineering en Natuurwetenschappen de powerhouse van de portfolio was, en bijna twee derde van het totale projectbudget huisvestte. Deze concentratie suggereerde een hoog niveau van productiviteit in technische velden, maar wees ook op een potentieel onevenwicht, aangezien andere faculteiten aanzienlijk minder middelen hadden. De onderzoekers creëerden een specifieke metriek om te meten hoe intensief geld over tijd werd uitgegeven, door het totale budget te delen door de projectduur. Dit onthulde dat sommige clusters niet alleen groot waren in totale omvang, maar ook middelen op een veel snellere snelheid per maand consumeerden dan andere. De visuele kaarten toonden aan dat de clusters met de hoogste budgetten en de meest intense uitgaven vaak dezelfde waren als de clusters die het meest opvallend waren in hun thematische inhoud, wat suggereert dat er een sterke link is tussen de aard van het onderzoek en de schaal van de benodigde investering.

Misschien wel de meest kritieke bevinding van de studie was de identificatie van risico. Met behulp van statistische methoden ontworpen om anomalieën op te sporen, analyseerden de onderzoekers de projecten om te zien welke projecten significant afweken van de norm. Ze ontdekten dat ongeveer een derde van de gehele portfolio in een risicovolle categorie viel. Dit waren niet noodzakelijkerwijs slechte projecten, maar ze waren ongebruikelijk in termen van budgetgrootte, duur of middelenverbruik, waardoor ze kwetsbaarder waren voor falen of managementproblemen. Het risico was niet gelijkmatig verdeeld over de universiteit; in plaats daarvan was het zwaar geconcentreerd in specifieke clusters. Eén bepaald groep projecten had een risicocijfer van 100 procent, wat betekende dat elk project in die cluster werd gemarkeerd als ongebruikelijk. Andere clusters, inclusief die gericht op kunstmatige intelligentie en defensietechnologieën, vertoonden ook significante concentraties van risico. Dit patroon suggereerde dat bepaalde soorten onderzoek, met name die met grote budgetten en lange tijdlijnen, inherente onzekerheden met zich meebrengen die nauwlettende monitoring vereisen. De studie toonde aan dat deze risico's niet willekeurig waren; ze waren geclusterd in specifieke gebieden van het onderzoekslandschap, waardoor managers hun aandacht kunnen richten waar die het meest nodig is.

De onderzoekers valideerden hun bevindingen door de stabiliteit van hun modellen te testen. Ze voerden het clusteringproces meerdere keren uit met verschillende startpunten om te garanderen dat de gevonden groepen echt waren en niet slechts een toevalstreffer van de willekeurige keuzes van de computer. De resultaten waren opmerkelijk consistent, waarbij dezelfde projecten telkens in dezelfde groepen terechtkwamen. Ze vergeleken hun taalgebaseerde aanpak ook met oudere methoden die simpelweg telden hoe vaak woorden voorkwamen. De nieuwere methode, die de betekenis van de tekst begreep, produceerde veel duidelijkere en meer onderscheidende groepen, wat bewees dat het begrijpen van de context van het onderzoek veel belangrijker was dan alleen het tellen van trefwoorden. Dit bevestigde dat de tien door hen geïdentificeerde clusters een robuuste reflectie waren van de werkelijke onderzoeksstructuur van de universiteit.

De implicaties van dit werk reiken veel verder dan een enkele universiteit. De studie laat zien dat research portfolio's beheerd kunnen worden met een niveau van precisie en vooruitziendheid dat voorheen onmogelijk was. Door deze datagestuurde instrumenten te gebruiken, kunnen technologieoverdrachtkantoren en research managers overgaan van een reactieve houding, waarbij ze simpelweg bijhouden wat er al is gebeurd, naar een proactieve houding. Ze kunnen opkomende trends zien, interdisciplinaire kansen identificeren die anders misschien gemist zouden worden, en potentiële problemen opsporen voordat ze escaleren. De studie suggereert dat de toekomst van research management ligt in het integreren van deze analytische capaciteiten in de dagelijkse operaties, waardoor instellingen beslissingen kunnen nemen op basis van een integraal beeld van hun gehele onderzoeks-ecosysteem. De bevindingen wijzen erop dat hoewel de huidige portfolio aanzienlijke sterktes heeft, met name in engineering en natuurwetenschappen, er een duidelijke behoefte is om onderzoek in andere velden te ondersteunen en te balanceren om een diverser en duurzamer wetenschappelijk klimaat te waarborgen.

Uiteindelijk biedt dit onderzoek een nieuwe lens om naar de complexe wereld van academische vraagstelling te kijken. Het laat zien dat achter de duizenden individuele projecttitels een samenhangend, gestructureerd en soms risicovol landschap schuilgaat dat in kaart gebracht, begrepen en beheerd kan worden. De studie beweert niet elk probleem in research management te hebben opgelost, maar biedt een krachtige, bewezen methode om het grote plaatje te zien. Door tekst om te zetten in data en data in inzicht, hebben de onderzoekers een blauwdruk geleverd voor hoe universiteiten de uitdagingen van de moderne wetenschap beter kunnen navigeren, zodat hun middelen worden gericht naar de meest veelbelovende en stabiele paden vooruit. Het werk staat als een testament voor de kracht van het combineren van menselijke nieuwsgierigheid met computationele kracht om de verborgen structuren van kennis te onthullen.