AttribRank: An Open and Reproducible Framework for Diagnosing Attribution Sensitivity in Author-Level Research Assessment
Deze studie introduceert AttribRank, een open-source Python-framework dat kwantificeert hoe de rangschikkingen van auteurs op basis van onderzoek verschuiven door gevolgjes van evaluatiekeuzes zoals samenwerkingsregels en indicatortypes, wat onthult dat deze variaties gestructureerd zijn door disciplinaire velden in plaats van willekeurige ruis.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van de moderne wetenschap, hoe bepalen we wie de belangrijkste onderzoeker is? Decennialang kwam het antwoord vaak neer op cijfers: hoeveel artikelen een wetenschapper heeft geschreven en hoe vaak andere wetenschappers naar die artikelen hebben geciteerd. Deze tellingen worden gebruikt om levensveranderende beslissingen te nemen over aanstellingen, promoties en financiering. Maar deze cijfers zijn geen eenvoudige feiten zoals het gewicht van een rots; het zijn geconstrueerde samenvattingen die sterk afhangen van de regels die worden gebruikt om ze te berekenen. Als je de regel verandert voor hoe krediet wordt verdeeld over een team van auteurs, of als je besluit citaties van een wetenschapper naar eigen werk te negeren, kan de eindscore verschuiven. Dit betekent dat de positie van een onderzoeker geen vast punt op een kaart is, maar een positie die beweegt afhankelijk van de lens waardoor het wordt bekeken. De vraag waar de wetenschappelijke gemeenschap voor staat is niet alleen wie er aan de top staat, maar hoeveel die rangschikking verandert wanneer de regels van het spel worden aangepast.
Om dit te beantwoorden, heeft een team van onderzoekers een nieuwe tool gebouwd genaamd AttribRank, ontworpen om precies te meten hoeveel de ranglijst van een wetenschapper wankelt wanneer de evaluatieregels veranderen. Stel je een wetenschapper voor die op een ladder staat; de onderzoekers wilden weten hoeveel treden ze omhoog of omlaag zouden glijden als de definitie van "klimmen" licht zou veranderen. Ze hebben niet nieuwe manieren uitgevonden om succes te meten, maar hebben in plaats daarvan vier gangbare manieren genomen om een score aan te passen — hoe krediet wordt verdeeld in een team, hoe zelfcitaties worden behandeld, hoe de volgorde van auteurs wordt gewogen, en welk type score wordt gebruikt — en deze toegepast op een enorme groep veelgeciteerde wetenschappers. Door deze verschillende regelsets door hun software te draaien, konden ze zien hoeveel de relatieve positie van elke wetenschapper verschoof. Het resultaat was een helder beeld van hoe fragiel of stabiel deze rangschikkingen werkelijk zijn.
De onderzoekers pasten hun raamwerk toe op een database met meer dan 230.000 veelgeciteerde wetenschappers uit de hele wereld, variërend van een breed scala aan velden van geneeskunde tot natuurkunde. Ze ontdekten dat de ranglijsten inderdaad gevoelig zijn voor de gebruikte regels. Gemiddeld genomen verschoof de positie van een wetenschapper met ongeveer tien percentielpunten wanneer de regels veranderden. Om dit in perspectief te plaatsen: als een onderzoeker onder één set regels in de top 10 procent van zijn vakgebied zat, kon hij onder een andere set regels zakken naar de top 20 procent, of zelfs hoger stijgen. Dit is geen kleine fluctuatie; het vertegenwoordigt een niet-verwaarloosbare verandering in status die invloed kan hebben op beslissingen in de echte wereld. De studie toonde aan dat deze verschuivingen geen willekeurige ruis of fouten in de data zijn, maar gestructureerde gevolgen van de keuzes gemaakt door de mensen die de evaluatie uitvoeren.
Niet alle regels veroorzaakten evenveel beweging. De onderzoekers ontdekten dat het uitsluiten van zelfcitaties — het verwijderen van citaties die een wetenschapper aan zijn of haar eigen eerdere werk geeft — de kleinste verandering in de ranglijsten veroorzaakte. In contrast hiermee vonden de grootste verschuivingen plaats wanneer de onderzoekers overstapten van een standaard citatie-aantal naar een complexere, samengestelde score die verschillende verschillende metrieken combineert. Het veranderen van de manier waarop krediet wordt gedeeld onder mede-auteurs of hoe de volgorde van auteurs op een artikel wordt geïnterpreteerd, veroorzaakte ook aanzienlijke beweging, hoewel iets minder dan het wisselen van het gehele scoresysteem. Dit vertelt ons dat de keuze welke algemene score wordt gebruikt belangrijker is dan de beslissing om zelfcitaties te filteren wanneer het gaat om het herschikken van de ranglijst.
De studie onthulde ook dat deze verschuivingen niet voor iedereen hetzelfde zijn. De mate waarin een ranglijst beweegt, hangt sterk af van het specifieke wetenschappelijke veld waarin een onderzoeker werkt. Bijvoorbeeld, in velden zoals natuurkunde en astronomie, waar grote teams gebruikelijk zijn, had de manier waarop krediet onder auteurs wordt verdeeld een grote impact op wie bovenaan de lijst eindigde. In andere velden was de volgorde van auteurs op een artikel de meest invloedrijke factor. Dit betekent dat een enkele regel niet eerlijk kan worden toegepast op elk discipline zonder rekening te houden met hoe wetenschappers in dat veld daadwerkelijk werken. De onderzoekers vonden dat het specifieke subveld waartoe een wetenschapper behoort, vaak een betere voorspeller is voor hoe gevoelig hun rangschikking zal zijn dan hun land van herkomst.
Toen de onderzoekers naar nationale verschillen keken, ontdekten ze dat zodra ze rekening hielden met de soorten velden waarin wetenschappers werkten en hoe lang zij al publiceren, het land zelf heel weinig verklaarde van de variatie in de gevoeligheid van de rangschikking. Hoewel sommige landen iets hogere of lagere gemiddelde verschuivingen vertoonden, waren deze verschillen klein vergeleken met de verschillen tussen individuele wetenschappers en tussen verschillende wetenschappelijke disciplines. Dit suggereert dat nationale onderzoekssystemen niet de primaire drijfveren zijn van deze rangschikkingsveranderingen; eerder is de structuur van de wetenschap zelf en de specifieke keuzes gemaakt in het evaluatieproces veel belangrijker.
De onderzoekers benadrukken dat hun tool, AttribRank, geen nieuwe manier is om wetenschappers te rangschikken of een maatstaf voor wie echt de beste is. In plaats daarvan is het een diagnostisch instrument, zoals een stresstest voor een evaluatiesysteem. Het vertelt je niet wie een baan of een subsidie moet krijgen; het vertelt je hoeveel die beslissing zou veranderen als je een iets andere set regels zou gebruiken. Door deze verschuivingen zichtbaar en meetbaar te maken, stelt het hulpmiddel universiteiten, financieringsinstanties en beleidsmakers in staat om de aannames te zien die verborgen liggen achter een enkel getal. Het moedigt een meer transparante aanpak aan waarbij de regels van het spel worden erkend en besproken, in plaats van een rangschikking te behandelen als een onveranderlijk feit. De studie concludeert dat voor een verantwoorde en eerlijke wetenschappelijke beoordeling, we moeten stoppen met zoeken naar een enkel, perfect getal en moeten beginnen met begrijpen hoe onze keuzes de resultaten die we zien vormgeven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.