Regulatory effect of document samples on the fluctuation of journal impact factor
Cette étude démontre que le recalcul des facteurs d'impact des revues en excluant les valeurs aberrantes de citations extrêmes de l'échantillon de documents, avec un seuil de rétention optimal de 90 %, réduit efficacement les fluctuations des indicateurs et améliore la stabilité ainsi que la rationalité des systèmes d'évaluation des revues.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayiez d'évaluer la qualité d'un restaurant en vous basant sur la note moyenne de ses clients. Habituellement, vous prendriez chaque avis, vous les additionneriez, puis vous les diviseriez par le nombre d'avis. Cela vous donne l'« Facteur d'Impact » (ou dans ce cas, le Facteur d'Impact de la Revue) pour une revue scientifique.
Cependant, il y a un problème avec ce calcul simple. Si une personne écrit un avis disant : « C'est le meilleur repas de l'histoire de l'univers ! » et donne 100 étoiles, tandis qu'une autre dit : « Le repas était correct » et donne 3 étoiles, ce seul avis à 100 étoiles peut fausser toute la moyenne. Soudain, un restaurant qui sert habituellement une nourriture correcte ressemble à un chef-d'œuvre cinq étoiles, même si le lendemain, il se remet à servir des repas moyens.
C'est exactement ce qui arrive avec les revues scientifiques. Un article unique, incroyablement populaire (un « succès viral »), peut faire bondir le score d'une revue de manière spectaculaire une année et le faire s'effondrer l'année suivante, ce qui rend difficile de savoir si la revue est réellement bonne ou si elle a simplement eu de la chance.
Le Problème : L'effet « Outlier » (Valeur Aberrante)
Les auteurs de cet article ont étudié neuf revues scientifiques célèbres (comprenant des géants comme Nature, Science et Cell, ainsi que plusieurs revues de physique). Ils ont remarqué que ces revues présentent souvent des variations sauvages dans leurs scores.
Parfois, une revue publie un article qui est cité (mentionné) des milliers de fois par d'autres scientifiques. C'est une excellente chose, mais comme l'actuel système de notation compte chaque article de manière égale, cet article superstar tire la moyenne vers le haut de façon si élevée qu'il ne représente plus la qualité des 99 autres articles publiés par la revue cette année-là. C'est comme une classe où un élève génie obtient un score parfait, et soudain, toute la classe semble composée de génies, même si le reste des élèves est en difficulté.
La Solution : La stratégie de « l'Élagage »
Pour corriger cela, les chercheurs ont proposé une nouvelle façon de calculer le score. Ils l'ont appelée une stratégie de « l'élagage à double extrémité » (dual-end trimming).
Voyez cela comme ceci : Imaginez une longue file d'élèves classés par leurs notes aux tests.
- L'ancienne méthode : Vous prenez la moyenne des notes de tout le monde.
- La nouvelle méthode : Vous regardez la file, et vous demandez discrètement au top 1 % des élèves (les superstars) et au bas 1 % des élèves (ceux qui ont pu passer une mauvaise journée) de s'écarter. Ensuite, vous calculez la moyenne des 98 % restants.
En supprimant les « extrêmes » aux deux extrémités de la file, vous obtenez un score qui représente ce que l'élève (ou l'article) typique fait réellement, plutôt que d'être influencé par les valeurs aberrantes.
Ce qu'ils ont trouvé
Les chercheurs ont testé cette idée sur leurs neuf revues sur une période de 16 ans. Voici ce qui s'est passé :
- Stabilité : Lorsqu'ils ont supprimé les articles les plus hauts et les plus bas, les variations sauvages des scores ont disparu. Les scores sont devenus beaucoup plus fluides et prévisibles.
- Le « Point Idéal » : Ils ont essayé de supprimer différentes quantités d'articles (1 %, 2 %, 5 %, etc.). Ils ont découvert que supprimer une infime partie (le haut et le bas de 1 % chacun, laissant 98 %) aidait beaucoup, mais que supprimer un peu plus aidait encore davantage.
- Le Chiffre Magique : Ils ont déterminé que conserver 90 % des articles (en supprimant les 5 % supérieurs et les 5 % inférieurs) était l'équilibre parfait.
- Si vous gardez 100 %, les scores sont trop instables.
- Si vous ne gardez que 50 %, vous jetez trop d'informations, et le score pourrait ne plus représenter bien la revue.
- 90 % est la zone « Goldilocks » (ni trop, ni trop peu) : cela élimine les valeurs aberrantes délirantes qui causent les pics, mais conserve suffisamment de données pour montrer la véritable qualité constante de la revue.
La Conclusion
L'article conclut qu'en utilisant cette méthode d'élagage, nous pouvons empêcher les scores des revues scientifiques d'être détournés par un seul succès chanceux. Cela rend le système d'évaluation plus juste et plus honnête. Au lieu d'un parcours en montagnes russes de scores, nous obtenons une mesure stable et fiable de la qualité réelle d'une revue, article par article.
En bref : Ne vous laissez pas tromper par un seul article superstar. Regardez le milieu des 90 % pour voir la véritable histoire.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.