Observability of False Negatives in Preprint Moderation: A Framework for Auditable Scientific Gatekeeping
Cet article propose un cadre pour un « filtrage scientifique auditable » afin de combler l'écart de mesure critique dans la modération des prépublications, arguant que si les critères de décision sont souvent transparents, l'incapacité d'observer les résultats des soumissions rejetées empêche l'évaluation empirique des taux de faux négatifs et nécessite de nouvelles normes de rapport pour rendre le filtrage substantiel empiriquement testable.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
La science repose sur une promesse simple : que les nouvelles idées puissent être vues, testées et débattues par tous. Pendant des décennies, le principal moyen pour les chercheurs de partager leurs travaux préliminaires a été les serveurs de prépublications, des bibliothèques numériques où les scientifiques publient leurs articles avant qu'ils ne soient formellement vérifiés par une revue. Ces plateformes agissent comme une autoroute rapide pour la découverte, permettant au monde de voir une affirmation ou une méthode dès qu'elle est écrite, plutôt que d'attendre des mois ou des années le processus lent et traditionnel de l'examen par les pairs. Cependant, ces serveurs ne sont pas seulement des classeurs ouverts ; ce sont des espaces curatés. Avant qu' un article n'apparaisse sur la liste publique, une équipe de bénévoles le lit pour décider s'il a sa place ici. Ils peuvent rejeter une soumission si elle semble manquer d'originalité, si la science n'est pas significative, ou si le travail est trop incomplet pour être utile. Ce rôle de gardien est nécessaire pour éviter que la bibliothèque ne soit inondée de futilités, mais cela crée un problème difficile. Lorsqu'un gardien dit « non », comment peut-on savoir si cette décision était juste ? Si un article est caché, et que l'auteur ne le publie nulle part ailleurs, le monde ne voit jamais le résultat. L'article pourrait être une découverte brillante qui a été enterrée par erreur, ou il pourrait s'agir d'une impasse qui a été correctement arrêtée. Sans moyen de regarder dans la pile des rejets, le système ne peut pas faire la différence entre une erreur et un succès.
C'est l'énigme centrale que cherche à résoudre le chercheur indépendant Atsushi Otsuka dans une nouvelle étude. Il ne soutient pas que le système actuel soit brisé ou que les bénévoles soient biaisés. Au lieu de cela, il pose une question plus fondamentale sur la mesure : le système possède-t-il un moyen de voir ses propres erreurs ? Otsuka examine les règles et les rapports publics d'arXiv, le serveur de prépublications le plus grand et le plus célèbre, pour voir s'il est possible de suivre ce qui arrive aux articles qui sont rejetés. Il constate que si le serveur est très doué pour nous dire combien d'articles il reçoit et combien il en écarte, il ne nous dit pas ce qui arrive à ceux qu'il écarte. Le serveur connaît son propre taux de rejet, mais il ne suit pas si ces articles rejetés sont publiés plus tard dans d'autres revues, s'ils sont cités par d'autres scientifiques, ou si l'auteur les a améliorés et a réessayé. Sans cette information de suivi, le système ne peut pas calculer la fréquence de ses erreurs. C'est comme un agent de sécurité qui sait exactement combien de personnes il a arrêtées à la porte, mais qui n'a aucun registre pour savoir si certaines de ces personnes arrêtées étaient en réalité des visiteurs innocents qui ont été injustement écartés.
Le travail d'Otsuka s'appuie sur une longue histoire d'études similaires dans le monde des revues académiques traditionnelles. Pendant des années, des chercheurs ont suivi les manuscrits rejetés par des revues pour voir s'ils finissent par être publiés ailleurs ou s'ils deviennent des œuvres hautement citées et importantes. Ces études ont montré que même les meilleures revues manquent parfois des articles brillants, et que le processus de rejet lui-même peut changer le comportement d'un auteur, peut-être en le décourageant de terminer son travail. Otsuka applique cette même logique aux serveurs de prépublications. Il souligne une asymétrie cruciale dans la manière dont nous jugeons ces décisions. Si un article rejeté est publié plus tard dans une revue de premier plan, c'est une preuve forte que le serveur de prépublications a fait une erreur. Mais si un article rejeté n'est jamais publié, cela ne prouve pas que le serveur avait raison. Le rejet lui-même peut avoir changé l'avenir de l'article, ou l'article peut avoir été rejeté pour une raison qui était en fait erronée. Parce que le rejet modifie l'avenir de l'article, on ne peut pas simplement regarder le résultat final pour décider si le « non » initial était correct.
Pour résoudre cela, Otsuka propose un nouveau cadre pour rendre le gardiennage scientifique « auditable ». Il décompose le problème en trois niveaux. Le premier niveau est la transparence de la décision, ce qui signifie simplement rapporter combien d'articles ont été rejetés et pourquoi. Le deuxième est l'observabilité du résultat, ce qui signifie suivre ce qui arrive plus tard à ces articles rejetés. Le troisième, et le plus important, est l'auditabilité de l'erreur. Cela exige que la plateforme déclare à l'avance comment elle jugera si une décision était erronée. Par exemple, si un article est rejeté parce qu'il nécessite une « révision significative », la plateforme doit avoir une règle claire pour vérifier plus tard si l'auteur a réellement effectué ces révisions avant de publier ailleurs. L'audit d'Otsuka sur les registres publics actuels d'arXiv montre que le serveur est performant sur le premier niveau mais faible sur les deux autres. Le serveur rapporte ses chiffres totaux et ses politiques générales, mais il ne publie pas de données liant des rejets spécifiques à des résultats ultérieurs, et il ne fournit pas de méthode pour vérifier si un papier rejeté était réellement une erreur.
L'étude ne prétend pas qu'arXiv rejette de la bonne science, ni qu'il y a des erreurs de la part des bénévoles. Elle affirme simplement que l'information publique actuelle n'est pas suffisante pour savoir. Le serveur pourrait être parfait, ou il pourrait commettre beaucoup d'erreurs ; la structure des données publiques ne peut tout simplement pas le dire. Otsuka suggère que pour qu'un système soit véritablement digne de confiance, il doit être capable de mesurer sa propre précision. Il recommande que les plateformes commencent à collecter et à partager des données spécifiques : combien d'articles rejetés apparaissent plus tard dans des revues, à quelle fréquence les auteurs font appel et gagnent, et si les raisons données pour le rejet correspondent au sort final de l'œuvre. Il suggère également que les plateformes fassent attention à ne pas utiliser le dossier passé d'un auteur ou l'affiliation de son université comme raison de rejet, à moins de pouvoir prouver que ces facteurs ne mènent pas à des erreurs injustes. L'objectif n'est pas d'éliminer tous les rejets, ce qui est impossible, mais de créer un système où le taux d'erreur peut être vu et étudié.
En fin de compte, cette recherche déplace la conversation de l'argumentation sur le fait de savoir si le gardiennage est bon ou mauvais vers la question de savoir comment nous pouvons mesurer sa qualité. L'article soutient que si un système a le pouvoir de cacher le travail scientifique au monde, il a la responsabilité de nous montrer à quelle fréquence il se trompe dans sa décision. En suivant les articles rejetés et en les reliant à leur vie ultérieure, la communauté scientifique peut passer de l'estimation de la qualité de ses gardiens à la connaissance réelle. Cette approche ne nécessite pas une définition parfaite de ce qu'est une « bonne science ». Elle exige seulement un registre clair et honnête de ce qui se passe après qu'un « non » a été prononcé. Si le système peut nous montrer ce registre, il peut prouver qu'il fonctionne comme prévu. S'il ne le peut pas, alors le système reste une boîte noire, où les décisions sont prises dans l'obscurité, et où le coût de ces décisions est payé par les scientifiques dont le travail ne sera jamais vu.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.