Regulatory effect of document samples on the fluctuation of journal impact factor
Deze studie toont aan dat het herberekenen van de impactfactor van tijdschriften door extreme citatie-outliers uit de documentsteekproef uit te sluiten, met een optimale retentiedrempel van 90%, de fluctuaties in indicatoren effectief vermindert en de stabiliteit en rationaliteit van evaluatiesystemen voor tijdschriften verbetert.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je de kwaliteit van een restaurant probeert te beoordelen op basis van de gemiddelde klantbeoordeling. Normaal gesproken neem je elke individuele recensie, tel je ze allemaal bij elkaar op en deel je het door het aantal recensies. Dat geeft de "Impact Factor" (of in dit geval, de Journal Impact Factor) voor een wetenschappelijk tijdschrift.
Echter, er is een probleem met deze eenvoudige wiskunde. Als één persoon een recensie schrijft waarin staat: "Dit is de beste maaltijd in de geschiedenis van het universum!" en 100 sterren geeft, terwijl een ander zegt: "Het eten was oké," en 3 sterren geeft, kan die ene 100-sterrenrecensie het hele gemiddelde scheef trekken. Plotseling ziet een restaurant dat normaal gesproken degelijke maaltijden serveert eruit als een vijfsterrenmeesterwerk, zelfs als het de volgende dag weer terugvalt op gemiddelde maaltijden serveren.
Dit is precies wat er gebeurt met wetenschappelijke tijdschriften. Een enkel, ongelooflijk populair artikel (een "virale hit") kan de score van een tijdschrift het ene jaar enorm laten stijgen en het volgende jaar laten instorten, waardoor het moeilijk wordt om te bepalen of het tijdschrift echt goed is of gewoon geluk heeft gehad.
Het Probleen: Het "Outlier"-effect
De auteurs van dit artikel keken naar negen beroemde wetenschappelijke tijdschriften (waaronder reuzen als Nature, Science en Cell, plus enkele natuurkundetijdschriften). Ze merkten op dat deze tijdschriften vaak wilde schommelingen in hun scores vertonen.
Soms publiceert een tijdschrift een artikel dat duizenden keren wordt geciteerd (vermeld) door andere wetenschappers. Dat is geweldig, maar omdat het huidige scoresysteem elk artikel gelijk behandelt, trekt dat ene superster-artikel het gemiddelde zo hoog dat het de kwaliteit van de overige 99 artikelen die het tijdschrift dat jaar publiceerde, niet meer vertegenwoordigt. Het is als een klas waar één genie een perfect cijfer haalt, en plotseling lijkt de hele klas uit genieën te bestaan, zelfs als de rest van de leerlingen moeite heeft met de stof.
De Oplossing: De "Trimming"-strategie
Om dit op te lossen, stelden de onderzoekers een nieuwe manier voor om de score te berekenen. Ze noemden dit een "dual-end trimming" strategie (het afsnijden aan beide uiteinden).
Denk er zo over na: Stel je voor dat je een lange rij leerlingen hebt, gerangschikt op hun toetsresultaten.
- De Oude Manier: Je neemt het gemiddelde van ieders score.
- De Nieuwe Manier: Je kijkt naar de rij en vraagt de top 1% van de leerlingen (de supersterren) en de onderste 1% (degenen die misschien een slechte dag hadden) om even opzij te stappen. Vervolgens bereken je het gemiddelde van de resterende 98% van de leerlingen.
Door de "extremen" aan beide uiteinden van de lijn te verwijderen, krijg je een score die vertegenwoordigt wat de typische leerling (of het typische artikel) daadwerkelijk doet, in plaats van te worden beïnvloed door de uitschieters.
Wat Ze Vonden
De onderzoekers testten dit idee op hun negen tijdschriften gedurende 16 jaar. Dit is wat er gebeurde:
- Stabiliteit: Wanneer ze de top en de onderste artikelen verwijderden, verdwenen de wilde schommelingen in de scores. De scores werden veel vloeiender en voorspelbaarder.
- Het "Sweet Spot": Ze probeerden verschillende hoeveelheden artikelen te verwijderen (1%, 2%, 5%, etc.). Ze ontdekten dat het verwijderen van slechts een heel klein beetje (de top 1% en de onderste 1% elk, waardoor 98% overblijft) al veel hielp, maar dat het verwijderen van iets meer nog meer hielp.
- Het Magische Getal: Ze bepaalden dat het behouden van 90% van de artikelen (het verwijderen van de top 5% en de onderste 5%) de perfecte balans was.
- Als je 100% behoudt, zijn de scores te grillig.
- Als je slechts 50% behoudt, gooi je te veel informatie weg en vertegenwoordigt de score het tijdschrift misschien niet meer goed.
- 90% is de "Goldilocks"-zone: het verwijdert de extreme uitschieters die de pieken veroorzaken, maar behoudt genoeg data om de werkelijke, constante kwaliteit van het tijdschrift te tonen.
De Conclusie
Het artikel concludeert dat we door deze "trimming"-methode te gebruiken, kunnen voorkomen dat de scores van wetenschappelijke tijdschriften worden gekaapt door een enkele gelukkige hit. Het maakt het evaluatiesysteem eerlijker en eerlijker. In plaats van een achtbaanrit van scores, krijgen we een stabiele, betrouwbare maatstaf voor hoe goed een tijdschrift er werkelijk voor staat, artikel voor artikel.
Kortom: Laat je niet misleiden door één superster-artikel. Kijk naar het middelste deel van 90% om het echte verhaal te zien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.