Which Review Aspect Has a Greater Impact on the Duration of Open Peer Review in Multiple Rounds? -- Evidence from Nature Communications

Résumé Technique : Quel aspect de la revue a un impact plus important sur la durée de la revue par les pairs en plusieurs cycles ?

Énoncé du problème
L'augmentation rapide des soumissions d'articles académiques a placé un fardeau important sur le système de revue par les pairs, entraînant des durées de revue de plus en plus longues. Bien que la littérature existante ait analysé de manière approfondie les commentaires de révision par la bibliométrie, l'analyse de sentiment et l'extraction structurelle, la plupart des études traitent les commentaires de révision comme un texte monolithique ou se concentrent sur des aspects à grain grossier (par exemple, la prédiction générale de l'acceptation). De manière cruciale, il existe un manque de recherche reliant les sentiments des aspects de révision à grain fin à la durée réelle du processus de revue par les pairs, particulièrement à travers plusieurs cycles de révision et différentes disciplines. Cette lacune limite la capacité des auteurs à effectuer des révisions ciblées et celle des éditeurs à accélérer la prise de décision.

Méthodologie
L'étude emploie une approche quantitative en deux étapes utilisant un corpus structuré de 41 373 commentaires de révision de Nature Communications (2016–2020).

1. Construction des données et extraction d'aspects :

   • Les auteurs ont utilisé un corpus de revue par les pairs multi-cycles où les commentaires ont été segmentés par cycles de révision.
   • Extraction d'aspects : L'algorithme de Double Propagation (DP) a été utilisé pour extraire les mots-aspects candidats, suivi d'un partitionnement par Propagation d'Affinité (AP). Cela a abouti à 11 clusters d'aspects de révision distincts : Définition du Problème/Idée (PDI), Données/Jeux de données (DAT), Tableaux et Figures (TNF), Méthodologie et Modèle (MET), Expériences et Opérations (EXP), Conclusions et Discussions (CON), Indice/Paramètres (IND), Évaluation et Résultat (RES), Structure et Langage (SNL), Impact et Valeur de la Recherche (IMP), et Comparaison et Corrélation (CMP).
   • Annotation de sentiment : Un ensemble de données de 5 063 phrases contenant des aspects de révision a été annoté manuellement par trois annotateurs (positif, neutre, négatif) avec un accord inter-annotateurs élevé (Kappa > 0,6).

2. Classification de sentiment :

   • Divers modèles d'Analyse de Sentiment Basée sur les Aspects (ABSA) ont été entraînés et évalués, notamment les variantes ATAE-LSTM, MEMNET, IAN, AOA, CABASC, AEN_BERT, BERT_SPC et LCF_BERT.
   • Le modèle LCF_BERT_CDM (Local Context Focus with Contextual Dynamic Masking) a obtenu la meilleure performance (Précision : 81,24 %, Macro-F1 : 80,77 %) et a été sélectionné pour classifier les sentiments à travers l'ensemble du corpus.

3. Analyse de corrélation :

   • Variables : Les scores de sentiment ont été calculés pour chaque cluster d'aspect et pour la révision globale en utilisant une formule équilibrant les comptes positifs, négatifs et neutres. La durée de la revue par les pairs a été définie comme la différence de temps entre la soumission et l'acceptation.
   • Contrôles : La longueur de l'article (nombre de mots), le nombre d'auteurs et le nombre de sujets ont été inclus comme variables de contrôle.
   • Analyse : Les coefficients de corrélation partielle de Pearson ont été calculés pour analyser la relation entre les scores de sentiment d'aspect et la durée de la revue à travers cinq disciplines de premier niveau et à travers différents cycles de révision (1er, 2ème et 3ème).

Résultats clés

• Corrélation globale : Une corrélation négative faible mais statistiquement significative existe entre le sentiment de la révision et la durée de la revue par les pairs. Cela indique que les articles ayant des sentiments d'aspect plus positifs connaissent généralement des durées de révision plus courtes.
• Différences disciplinaires (RQ1) :
  • À travers toutes les disciplines, les clusters d'aspects Évaluation et Résultat (RES) et Impact et Valeur de la Recherche (IMP) ont systématiquement montré la plus forte corrélation négative avec la durée de la révision.
  • Structure et Langage (SNL) a montré la corrélation la plus faible, suggérant que les révisions dans ce domaine ont moins d'impact sur le temps total.
  • Des variations spécifiques ont été notées : Dans les sciences de la santé, les Tableaux et Figures ainsi que les Conclusions et Discussions étaient plus fortement corrélés à la durée, tandis que la Méthodologie et le Modèle montraient une faible corrélation.
• Différences selon les cycles (RQ2) :
  • La corrélation entre le sentiment et la durée est la plus forte lors du premier cycle et diminue dans les cycles suivants.
  • Focus du premier cycle : Les réviseurs priorisent l'Évaluation et le Résultat, les Expériences et les Opérations, et l'Impact et la Valeur de la Recherche. Un sentiment négatif dans ces domaines lors du cycle initial prolonge considérablement le calendrier de révision.
  • Focus du deuxième/troisième cycle : À mesure que le processus progresse, l'attention des réviseurs change. Dans les cycles ultérieurs, les Tableaux et Figures, la Comparaison et la Corrélation, et la Structure et le Langage deviennent plus fortement corrélés à la durée, tandis que l'impact de l'Évaluation et du Résultat et de l'Impact et de la Valeur de la Recherche diminue.

Signification et contributions
Le papier revendique une importance dans trois domaines principaux :

1. Connecter le texte au processus : Contrairement aux études précédentes qui traitaient les commentaires de révision comme du texte statique, ce travail lie explicitement les sentiments d'aspects fins à la dynamique temporelle du processus de revue par les pairs.
2. Granularité et spécificité des cycles : En allant au-delà des aspects à grain grossier et en analysant les données multi-cycles, l'étude identifie que le « chemin critique » de la durée de révision change selon l'étape de la révision.
3. Utilité pratique :
   • Pour les auteurs : Les résultats suggèrent que pour réduire le temps de révision, les auteurs devraient prioriser des révisions de haute qualité concernant l'Évaluation et le Résultat et l'Impact et la Valeur de la Recherche dans les premiers cycles, et déplacer leur attention vers les Tableaux et Figures et la Structure et le Langage dans les cycles ultérieurs.
   • Pour les éditeurs/réviseurs : Identifier ces aspects à haut impact permet une prise de décision plus ciblée, pouvant potentiellement alléger le fardeau du système de revue par les pairs et accélérer la diffusion des connaissances.

Limites
Les auteurs reconnaissent plusieurs contraintes :

• Portée des données : L'étude est limitée à Nature Communications (articles acceptés uniquement) et aux données allant jusqu'en 2020, excluant les articles rejetés et les tendances plus récentes.
• Performance du modèle : Bien que LCF_BERT_CDM ait été le plus performant, il repose sur une architecture de 2019 ; des modèles plus récents n'ont pas été testés.
• Variables de contrôle : L'étude a contrôlé la longueur de l'article, le nombre d'auteurs et le nombre de sujets, mais n'a pas pu rendre compte des facteurs spécifiques aux réviseurs (ex. expertise, niveaux d'accord) en raison de la confidentialité des données.

Conclusion
L'étude conclut que, bien que le sentiment global soit corrélé à la durée de la révision, les aspects spécifiques qui pilotent cette durée varient selon la discipline et le cycle de révision. Plus précisément, l'Évaluation et le Résultat ainsi que l'Impact et la Valeur de la Recherche sont les principaux moteurs de la durée de révision, particulièrement lors du premier cycle. Une attention ciblée à ces aspects par les auteurs et les réviseurs peut potentiellement optimiser le calendrier de la revue par les pairs.