Inflationary bibliometric values revisited: Indicator validity under falling production costs

In de wereld van academisch onderzoek bestaat een langdurige gewoonte om dingen te tellen om kwaliteit te meten. Decennialang hebben wetenschappers en universiteitsbestuurders gekeken naar hoeveel artikelen een onderzoeker schrijft, hoe vaak die artikelen door anderen worden geciteerd, en hoeveel auteurs er aan een enkel project hebben gewerkt. Deze getallen fungeren als een scorekaart die helpt beslissen wie een baan, een subsidie of een promotie krijgt. Dit systeem heeft echter al eerder voor een grote uitdaging gestaan. Twintig jaar geleden merkten onderzoekers op dat het enorme volume aan artikelen en citaties veel sneller groeide dan het aantal wetenschappers dat daadwerkelijk het werk verrichtte. Deze "inflatie" betekende dat het simpelweg tellen van artikelen niet langer een eerlijke manier was om kwaliteit te beoordelen, omdat de aantallen werden opgepompt door meer mensen die samenwerkten in plaats van door betere wetenschap. De oplossing destijds was om te stoppen met het tellen van ruwe aantallen en onderzoekers te gaan vergelijken met hun vakgenoten, door te vragen hoe een wetenschapper presteerde ten opzichte van het gemiddelde in hun specifieke vakgebied.

Vandaag de dag verandert een nieuwe kracht het landschap van het wetenschappelijk schrijven. De opkomst van krachtige kunstmatige intelligentie-instrumenten heeft het aanzienlijk goedkoper en sneller gemaakt om wetenschappelijke teksten op te stellen en te herzien. Deze verschuiving roept een kritische vraag op: als het gemakkelijker wordt om een artikel te produceren, verandert dat dan de fundamentele aard van de artikelen zelf, of betekent het simpelweg dat er meer van zijn? Als de kosten voor het produceren van een artikel dalen, verandert dan de verdeling van de kwaliteit, of breidt deze zich slechts uit? Dit is de kernpuzzel die Ahmed Hamid Mahmoud onderzoekt in een recente studie. Hij onderzoekt of de oude methoden om onderzoekers te vergelijken nog steeds geldig zijn wanneer de kosten voor het creëren van een wetenschappelijk artikel niet langer constant zijn.

Het werk van Mahmoud begint met het scheiden van de effecten van deze nieuwe, goedkopere productieomgeving in twee afzonderlijke mogelijkheden. De eerste mogelijkheid is wat hij een "schaalverandering" noemt. Stel je een fabriek voor die plotseling een nieuwe machine krijgt waarmee het twee keer zoveel widgets kan produceren. Als de kwaliteit van elke widget exact hetzelfde blijft, maar er simpelweg meer van zijn, blijft de algemene vorm van de kwaliteitsverdeling gelijk. In de wereld van de wetenschap zou dit betekenen dat kunstmatige intelligentie onderzoekers in staat stelt om meer artikelen te publiceren, maar dat de ratio van uitstekende artikelen tot gemiddelde artikelen ongewijzigd blijft. De tweede mogelijkheid is een "vormverandering". Dit zou optreden als de nieuwe instrumenten de aard van het werk zelf zouden veranderen, bijvoorbeeld door het gemakkelijker te maken om artikelen van lage kwaliteit te produceren of door de mix van hoog- en laagwaardig werk op een manier te veranderen die de verdeling vertekent. Als de vorm verandert, gelden de oude regels voor het beoordelen van kwaliteit mogelijk niet meer.

De studie gebruikt een wiskundig model van hoe wetenschappelijke citaties verdeeld zijn om deze scenario's te testen. De onderzoekers ontdekten dat als de verandering louter een "schaaleffect" is — wat betekent dat er meer artikelen worden geproduceerd maar het onderliggende patroon van kwaliteit hetzelfde blijft — dan de relatieve indicatoren die vandaag de dag worden gebruikt nog steeds veilig zijn. Het vergelijken van een onderzoeker met zijn vakgenoten, of het kijken naar de ratio van diens citaties ten opzichte van het gemiddelde in het vakgebied, blijft een geldige maatstaf voor prestaties bieden. Deze methoden zijn robuust tegen een eenvoudige toename in volume. De situatie verandert echter drastisch als verschillende onderzoekers ongelijke toegang hebben tot deze goedkope productie-instrumenten. Als sommige wetenschappers kunstmatige intelligentie kunnen gebruiken om veel meer artikelen te publiceren terwijl anderen dat niet kunnen, wordt het simpelweg tellen van het totaal aantal artikelen of het totaal aantal citaties misleidend. In dat scenario weerspiegelen de aantallen niet langer de kwaliteit van het werk; ze weerspiegelen slechts wie toegang had tot de goedkopere instrumenten. De rangschikking laat dan zien wie het voordeel had, niet wie de betere wetenschap bedreef.

Het artikel onderzoekt ook wat er gebeurt als de "vorm" van de kwaliteitsverdeling daadwerkelijk verandert. Als de mix van hoogwaardig en laagwaardig werk verschuift, raken de standaard benchmarks die worden gebruikt om onderzoekers te beoordelen defect. Bijvoorbeeld, een drempelwaarde die ooit "goede" artikelen van "gemiddelde" artikelen scheidde, zou plotseling een groot aantal artikelen onjuist kunnen classificeren als de onderliggende verdeling vervormd is. De studie toont aan dat als deze vormvervorming optreedt, de oude, vaste standaarden er niet in slagen de werkelijke kwaliteit van onderzoekers te identificen. Het artikel biedt echter een oplossing. Het suggereert dat het vakgebied deze veranderingen kan detecteren door te kijken naar de specifieke patronen van hoe artikelen binnen een groep verdeeld zijn. Door de huidige "vorm" van de verdeling naast de standaard rangschikkingen te schatten, kunnen beoordelaars hun oordelen aanpassen. De aanbeveling is om de positie van een onderzoeker binnen de huidige groep te rapporteren, terwijl men ook expliciet de staat van de omgeving waarin zij worden beoordeeld vermeldt. Deze dubbele rapportage zorgt ervoor dat een onderzoeker niet wordt benadeeld of onterecht wordt bevoordeeld door een verschuiving in het systeem zelf.

De auteur merkt zorgvuldig op dat hoewel het bewijs voor een enorme toename in het volume van artikelen en het gebruik van kunstmatige intelligentie sterk is, het nog niet bewezen is dat de fundamentele vorm van de kwaliteitsverdeling is veranderd. De studie beweert niet dat de oude methoden nutteloos zijn, noch zegt het dat kunstmatige intelligentie de wetenschap heeft geruïneerd. In plaats daarvan biedt het een duidelijk kader om te begrijpen wat er aan de hand is. Het bevestigt dat de relatieve vergelijkingen die ontwikkeld zijn om de inflatie uit het verleden op te lossen, nog steeds geldig zijn zolang de productieomgeving uniform verandert. Het waarschuwt dat als de toegang tot deze nieuwe instrumenten ongelijk is, ruwe aantallen zullen liegen. En het biedt een methode om te detecteren of de aard van het werk zelf verandert, waardoor de wetenschappelijke gemeenschap haar evaluatieregels kan aanpassen voordat ze verouderd raken. De uiteindelijke conclusie is dat de instrumenten om wetenschap te meten nog steeds deugdelijk zijn, maar dat ze gebruikt moeten worden met een duidelijk begrip van de omgeving waarin ze worden toegepast. De vraag voor de toekomst is niet of we deze instrumenten moeten verlaten, maar of we het systeem nauw genoeg monitoren om te weten of de grond onder hen verschuift.