Why Is Reviewer 2 Always the Villain? Myth, Bias, or Statistical Reality?
Cette étude analyse les métadonnées de près de 160 000 évaluations à travers des conférences de machine learning et ne trouve aucune preuve statistique soutenant le stéréotype du « Reviewer 2 » lié à une dureté ou une polarisation inhérente, suggérant plutôt que le phénomène est probablement un artefact de mesure ou un biais dépendant de l'institution plutôt qu'une réalité universelle.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée par l'auteur. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de la science académique, le chemin allant d'une nouvelle idée à un article publié est pavé d'un processus appelé l'examen par les pairs. Avant qu'une étude ne voie le jour, elle est envoyée à d'autres experts du domaine qui la lisent attentivement et offrent leur jugement. Ces experts, connus sous le nom de réviseurs, agissent comme des gardiens, décidant si le travail est assez solide pour être partagé avec le monde. Ils attribuent des scores, rédigent des commentaires détaillés et recommandent souvent si l'article doit être accepté, rejeté ou renvoyé pour des modifications majeures. Ce système est conçu pour garantir la qualité, mais il est aussi une source de grande anxiété pour les auteurs. Un seul commentaire dur peut faire dérailler une carrière, et le processus est souvent enveloppé de secret, l'identité des réviseurs étant cachée à l'auteur qu'ils jugent.
Au fil du temps, un récit culturel spécifique a émergé au sein de ce système. Les auteurs et les scientifiques ont développé une suspicion partagée selon laquelle le deuxième réviseur figurant sur un rapport est exceptionnellement difficile. Le « Reviewer 2 » (le Réviseur 2) est devenu un méchant populaire au sein de la communauté scientifique, une figure imaginée comme étant disproportionnellement dure, méprisante ou obstructive par rapport à son collègue. Ce stéréotype suggère que si un article possède un deuxième réviseur, cette personne est celle qui est susceptible de tuer le projet. Mais s'agit-il d'un véritable schéma de comportement humain, ou est-ce simplement un sentiment né de la frustration ? Pour répondre à cela, un chercheur a dû dépasser les anecdotes et examiner les chiffres réels derrière des milliers de critiques afin de voir si la deuxième personne sur la liste se comporte réellement différemment de la première ou de la troisième.
Un chercheur s'est proposé d'enquêter sur ce mythe en examinant une collection massive de données réelles provenant de conférences en science ouverte. Il a rassemblé des informations provenant de près de 63 000 manuscrits et plus de 157 000 critiques individuelles. Son objectif était de dépouiller le processus de ses émotions et de ses récits pour ne regarder strictement que les scores et les décisions. Il s'est concentré sur une question spécifique : les personnes étiquetées comme « Reviewer 2 » donnent-elles réellement des scores plus bas, utilisent-elles plus souvent des évaluations extrêmes ou sont-elles plus en désaccord avec leurs pairs que les autres réviseurs évaluant le même article ? Le chercheur a pris soin de distinguer le nombre attribué à un réviseur de l'ordre réel dans lequel ils ont rédigé leur rapport, sachant que ces deux éléments ne sont pas toujours identiques. Il est important de noter, cependant, que les données utilisées dans cette étude étaient principalement concentrées dans les conférences de machine learning, s'appuyant spécifiquement sur 7 966 manuscrits de l'ICLR entre 2018 et 2021. Cela signifie que les conclusions sont plus applicables à ces contextes de revue ouverte et peuvent ne pas se généraliser pleinement aux revues traditionnelles et transdisciplinaires.
Après avoir analysé les données avec des méthodes statistiques rigoureuses, l'étude n'a trouvé aucune preuve étayant l'idée que le Reviewer 2 soit un type de méchant particulier. Lorsque le chercheur a comparé les scores donnés par le deuxième réviseur par rapport aux scores moyens de ses pairs, la différence était si petite qu'elle était effectivement nulle. En fait, les données ont montré que le deuxième réviseur n'était pas systématiquement plus dur, ni plus susceptible d'utiliser les évaluations les plus extrêmes de type « rejet » ou « acceptation ». La crainte que la deuxième personne sur la liste soit un adversaire unique semble être un mythe. Le chercheur a également examiné si l'opinion du deuxième réviseur pesait davantage sur la décision finale des éditeurs. Bien qu'une critique dure de la part de n'importe qui puisse mener à un rejet, il n'y avait pas d'effet « multiplicateur » spécial pour le deuxième réviseur qui rendrait son opinion plus puissante que celle des autres.
L'étude a tout de même révélé des détails intéressants sur le fonctionnement du processus, même si elle a démystifié le point principal. Le chercheur a découvert que le nombre que voit un réviseur sur son écran ne correspond souvent pas à l'ordre dans lequel il a réellement soumis son travail. Dans l'ensemble de données examiné, le label public de « Reviewer 2 » ne correspondait à la deuxième personne ayant effectivement soumis un rapport que dans environ 30 % des cas. Cela signifie que le « méchant » dont se plaignent les auteurs pourrait même ne pas être la deuxième personne à avoir écrit une critique ; la numérotation est souvent une attribution aléatoire ou un ordre de stockage qui n'a rien à voir avec la séquence des événements. De plus, lorsque le chercheur a examiné si les désaccords entre les réviseurs étaient résolus après qu'un auteur a rédigé une réponse (rebuttal), il a constaté que le groupe dans son ensemble avait tendance à se rapprocher dans ses opinions, mais il n'y avait aucun signe que le deuxième réviseur soit celui qui changeait d'avis ou provoquait la friction.
L'une des parties les plus révélatrices de l'enquête a consisté à tester si savoir quel réviseur avait donné quel score pouvait aider à prédire l'issue finale d'un article. Le chercheur a construit des modèles informatiques pour voir si traiter le score du deuxième réviseur comme un facteur distinct et spécial améliorait sa capacité à deviner si un article serait accepté ou rejeté. Les résultats ont montré qu'une simple moyenne de tous les scores fonctionnait aussi bien, et dans certains cas, légèrement mieux, qu'un modèle qui tentait d'accorder un poids spécial au deuxième réviseur. Cela suggère que les éditeurs regardent probablement la sagesse collective du groupe plutôt que de se fixer sur une position numérotée spécifique. Les données indiquent que la perception d'un deuxième réviseur difficile est probablement le résultat de la façon dont les humains se souviennent des expériences négatives, plutôt que d'une réalité statistique du système de révision lui-même.
L'étude a également examiné la dynamique du processus de révision au fil du temps. Dans un sous-ensemble d'articles où un auteur était autorisé à répondre aux réviseurs, le chercheur a suivi l'évolution des scores. Il a constaté que l'écart entre les opinions des différents réviseurs avait tendance à se réduire après l'étape de la réponse, ce qui signifie que les réviseurs trouvaient souvent un terrain d'entente. Cependant, cette convergence s'est produite de manière globale et n'était pas pilotée par un changement de comportement spécifique du deuxième réviseur. Le chercheur a conclu que, bien que l'expérience de devoir faire face à un réviseur difficile soit réelle et douloureuse pour de nombreux auteurs, l'idée que la deuxième personne sur la liste est l'unique responsable n'est pas soutenue par les preuves. Le système est complexe, et les désaccords surviennent, mais ils ne sont pas le résultat d'un biais caché contre une position numérotée spécifique.
Enfin, cette enquête à grande échelle sert de rappel que nos intuitions sur le fonctionnement des systèmes peuvent parfois être trompeuses. Le phénomène du « Reviewer 2 » est un récit puissant car il donne un visage à la frustration du rejet, mais les données montrent que ce visage n'est pas attaché à un numéro spécifique. La dureté, le désaccord et les enjeux élevés de la révision par les pairs sont répartis sur l'ensemble du groupe d'experts, et non concentrés dans la deuxième position. En remplaçant le mythe par la mesure, le chercheur a montré que la communauté scientifique peut mieux comprendre ses propres processus, en se concentrant sur les véritables sources de variation de jugement plutôt qu'en poursuivant un fantôme qui n'existe pas dans les chiffres.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.