Examining the Cognitive Gap Between Authors and Peer Reviewers on Academic Paper Novelty

Résumé Technique : Examen de l'écart cognitif entre les auteurs et les pairs évaluateurs sur la nouveauté des articles académiques

Énoncé du problème
La nouveauté est une métrique primaire pour évaluer la qualité des articles académiques, pourtant un écart cognitif existe souvent entre la manière dont les auteurs font la promotion de leur travail et la façon dont les pairs évaluateurs l'évaluent. Les auteurs exagèrent fréquemment la nouveauté pour garantir la publication, tandis que les évaluateurs peuvent négliger des contributions authentiques ou mal interpréter le langage promotionnel. Ce désalignement peut conduire à des évaluations biaisées, à la publication de travaux moins novateurs ou au rejet de recherches précieuses. Bien que des études antérieures aient examiné le langage promotionnel dans les propositions de subventions ou certains aspects isolés des titres et résumés d'articles, il manque une recherche empirique à grande échelle analysant l'interaction entre les stratégies promotionnelles des auteurs dans le corps du texte, la nouveauté intrinsèque de la recherche et l'évaluation résultante par les pairs.

Méthodologie
L'étude utilise un ensemble de données de 15 328 articles académiques publiés dans Nature Communications entre 2016 et 2021, incluant leurs commentaires de révision par les pairs accessibles au public. Le cadre de recherche se déroule en trois étapes :

1. Extraction et classification des données :

   • Langage promotionnel des auteurs : En utilisant le grand modèle de langage DeepSeek-V3 (671 milliards de paramètres), les auteurs ont extrait les phrases de promotion de contribution dans les sections d'introduction des articles. Ces phrases ont été classées en trois types d'innovation basés sur Leahey et al. (2023) : innovation Théorique, Méthodologique et de Résultat.
   • Évaluations des évaluateurs : Une approche « basée sur des règles + apprentissage automatique » a été employée. Les phrases candidates initiales ont été extraites à l'aide d'expressions régulières et d'un lexique personnalisé, puis affinées à l'aide de SciBERT (un modèle BERT spécifique au domaine). Ce pipeline a extrait 38 561 phrases d'évaluation de l'innovation issues des révisions par les pairs, qui ont été similarly classées selon les trois types d'innovation et scorées (Positif : +2, Neutre : +1, Négatif : -1).
   • Métrique de nouveauté : La nouveauté intrinsèque de chaque article a été quantifiée via Novelty_U (Uzzi et al., 2013), une métrique basée sur des références calculant l'atypicité des combinaisons de revues dans la bibliographie d'un article.

2. Métriques d'intensité promotionnelle :
   Deux métriques ont été définies pour mesurer l'intensité promotionnelle dans l'introduction :

   • PL : Proportion de langage promotionnel (phrases de promotion de contribution) par rapport au nombre total de mots.
   • PW : Proportion de mots promotionnels spécifiques (ex: « nouveau », « unique », « révolutionnaire ») par rapport au nombre total de mots.

3. Approche analytique :

   • Analyse comparative : Des comparaisons statistiques ont été effectuées entre l'accent mis par les auteurs (phrases promotionnelles) et les évaluateurs (phrases d'évaluation) à travers les types d'innovation et les domaines disciplinaires.
   • Analyse de régression : Les articles ont été stratifiés en groupes de nouveauté Élevée, Moyenne et Faible sur la base de Novelty_U. Des régressions distinctes ont été menées pour tester l'effet de PL et PW sur les scores de nouveauté des évaluateurs (PRscore), en contrôlant le nombre d'auteurs, la longueur de l'introduction, l'année de publication et la discipline.
   • Mesure du désaccord : Le désaccord des évaluateurs a été quantifié par la variance des scores d'innovation individuels pour un article donné. Des analyses de corrélation ont été effectuées entre l'intensité promotionnelle et cette variance à travers le spectre de la nouveauté.

Résultats clés

• Alignement et divergence cognitifs : Les auteurs et les évaluateurs privilégient tous deux l'Innovation de Résultat (87,19 % des promotions des auteurs ; 50 % des évaluations des évaluateurs). Cependant, les évaluateurs adoptent une perspective plus exhaustive, évaluant fréquemment les aspects théoriques et méthodologiques aux côtés des résultats. Les auteurs ont tendance à se concentrer lourdement sur les résultats, omettant souvent la promotion détaillée des changements théoriques ou méthodologiques, à moins qu'ils ne soient accompagnés de résultats.
• La nouveauté intrinsèque stimule la promotion : Il existe une corrélation positive entre la Novelty_U intrinsèque d'un article et l'utilisation du langage promotionnel. Les articles hautement novateurs utilisent davantage de langage et de mots promotionnels, particulièrement pour les innovations théoriques et de résultats.
• Efficacité conditionnelle de la promotion : L'impact du langage promotionnel sur les scores des évaluateurs est non linéaire et dépend de la nouveauté intrinsèque :
  • Haute nouveauté : Un langage promotionnel fort (tant PL que PW) est significativement corrélé à des scores de nouveauté des évaluateurs plus élevés.
  • Faible/Moyenne nouveauté : L'intensité promotionnelle n'a aucun effet positif statistiquement significatif sur les scores des évaluateurs. Pour les articles ayant une nouveauté intrinsèque limitée, une promotion agressive n'améliore pas les évaluations.
• La « zone grise » du désaccord : Le langage promotionnel amplifie significativement le désaccord des évaluateurs (variance des scores) spécifiquement pour les articles présentant une innovation modérée. Pour les articles de très haute ou de très faible nouveauté, l'intensité promotionnelle n'a qu'un effet négligeable sur le désaccord. Cela suggère que, dans les cas ambigus, les indices promotionnels agissent comme des facteurs externes qui polarisent les interprétations des évaluateurs.

Principales contributions

1. Quantification systématique des écarts cognitifs : L'étude fournit une quantification fine et à grande échelle du désalignement entre l'auto-promotion des auteurs et l'évaluation des pairs, en distinguant spécifiquement les innovations théoriques, méthodologiques et de résultats.
2. Cheminement de la qualité intrinsèque vers la perception : Elle établit un parcours analytique complet reliant la nouveauté intrinsèque d'un article (via Novelty_U) au comportement de l'auteur (intensité promotionnelle) et, enfin, à la perception de l'évaluateur, démontrant que l'efficacité de la promotion est tributaire de la qualité réelle du papier.
3. Aperçu de la stabilité de la revue : La recherche identifie la « zone grise » de la nouveauté modérée comme la zone critique où le langage promotionnel déstabilise le processus de révision, exacerbant le désaccord entre experts. Cela déplace l'unité d'analyse de l'individu vers la stabilité du consensus lui-même.

Signification et implications
L'article soutient que le langage promotionnel n'est pas simplement un dispositif rhétorique, mais un outil stratégique dont l'efficacité est bornée par la nouveauté réelle du travail.

• Pour les auteurs : Les conclusions suggèrent que les auteurs devraient calibrer leur intensité promotionnelle en fonction de la nouveauté réelle de leur travail. Une sur-promotion dans les articles de faible nouveauté risque de susciter le scepticisme, tandis qu'une promotion forte est bénéfique et appropriée pour la recherche véritablement hautement novatrice.
• Pour les éditeurs et la communauté : L'étude souligne que le désaccord des évaluateurs peut ne pas provenir d'erreurs, mais d'une divergence cognitive face à l'ambiguïté des preuves, exacerbée par les indices promotionnels. Cela offre une explication théorique à l'émergence de la controverse dans la révision par les pairs et suggère que la compréhension de la « zone grise » est cruciale pour améliorer la transparence et l'efficacité du système de révision.

L'étude reconnaît des limites, notamment la dépendance à un seul journal (Nature Communications), l'exclusion des manuscrits rejetés et les défis inhérents à l'extraction d'évaluations implicites à partir de textes non structurés. Des travaux futurs sont proposés pour étendre cet ensemble de données à d'autres revues à révision ouverte et inclure les articles rejetés afin de valider davantage ces dynamiques.