Résumé technique : La revue par les pairs est-elle réellement en déclin ? Analyse de la qualité des évaluations selon les conférences et le temps

Énoncé du problème

La revue par les pairs est la pierre angulaire de la validation scientifique moderne, pourtant un récit prédominant suggère un déclin de la qualité des évaluations, entraîné par l'augmentation des volumes de soumissions, la rareté des évaluateurs et l'utilisation irresponsable des modèles de langage de grande taille (LLM). Malgré une inquiétude généralisée, les preuves empiriques concernant la trajectoire de la qualité des évaluations sont largement anecdotiques. Les principaux défis de l'étude de cette tendance sont :

1. Difficulté de mesure : La qualité d'une évaluation est difficile à formaliser, et le jugement humain est sujet aux biais et ne peut pas passer à l'échelle.
2. Hétérogénéité des données : Les formats, les directives et les structures de revue varient considérablement d'un lieu à l'autre (par exemple, ICLR, NeurIPS, ACL), rendant toute comparaison intertemporelle cohérente impossible avec les méthodes existantes.
3. Absence de cadre : Il n'existe pas de cadre computationnel holistique pour l'analyse multidimensionnelle de la qualité des évaluations à grande échelle.

Méthodologie

Les auteurs proposent un nouveau cadre pour l'étude comparative fondée sur des preuves de la qualité des évaluations, appliqué aux principales conférences d'IA et d'apprentissage automatique (ICLR, NeurIPS et *ACL/ARR). La méthodologie se compose de trois composantes centrales :

1. Unification des évaluations

Pour traiter la diversité structurelle, les auteurs introduisent un processus d'unification en deux étapes :

• Aplatissement (Flattening) : Tous les champs textuels et les en-têtes de section d'un formulaire d'évaluation sont concaténés en une chaîne de texte continue ($r_f$), en écartant les champs non textuels.
• Énumération (Itemization) : Une approche novatrice basée sur les LLM (utilisant GPT-5.2 en mode zero-shot) transforme le texte aplati en un ensemble d'éléments à puces autonomes ($r_i$). Ces éléments sont assignés à des sections prédéfinies : Résumé, Forces, Faiblesses+ (regroupant les faiblesses, questions et suggestions), et Autre.
• Validation : Le processus d'énumération a été évalué pour la préservation du contenu (hallucinations et omissions) et la précision de l'assignation aux sections, atteignant une précision élevée (0,95) et un rappel (0,88) dans l'alignement au niveau de la phrase, les évaluateurs humains ayant confirmé l'absence d'hallucinations ou d'omissions.

2. Schéma de qualité multidimensionnel

Les auteurs définissent la qualité d'une évaluation en fonction de son utilité pour les éditeurs et les auteurs, opérationnalisée par trois critères et six mesures spécifiques (Tableau 1) :

• Substantivité (Substantiveness) :
  • ITX (Nombre d'éléments) : Le décompte des éléments informatifs de base dans les sections Résumé, Forces et Faiblesses+.
  • LEN (Longueur) : Nombre de caractères du texte aplati (proxy léger).
• Actionnabilité (Actionability) :
  • ACT (Score d'actionnabilité) : Un score basé sur les LLM (1–5) évaluant la facilité avec laquelle les suggestions peuvent être traduites en actions spécifiques.
  • REQ (Nombre de requêtes) : Un décompte léger des phrases de requête explicites (ex: "Veuillez ajouter...") identifiées via un classificateur de marquage pragmatique.
• Ancrage (Grounding) :
  • GND (Score d'ancrage) : Un score basé sur les LLM (1–5) mesurant la mesure dans laquelle les commentaires sont ancrés dans des parties spécifiques de l'article.
  • EXL (Liens explicites) : Un décompte léger des liens explicites de la revue vers l'article (ex: "Fig. 1", "Sec. 2").

3. Score agrégé et analyse

• Normalisation : Toutes les métriques sont normalisées entre [0, 1].
• Score composite ($Q$) : Un score de qualité d'évaluation agrégé est calculé comme la moyenne non pondérée de toutes les mesures normalisées.
• Portée des données : L'étude analyse un échantillon aléatoire de 1 000 évaluations par campagne pour ICLR (2018–2025), NeurIPS (2021–2025) et ARR (2022–2025), en excluant les articles rejetés ou retirés.

Principales contributions

1. Cadre holistique : Le premier cadre computationnel pour l'étude multidimensionnelle à grande échelle de la qualité des évaluations à travers les conférences et le temps.
2. Unification des évaluations : Une approche novatrice de standardisation des structures d'évaluation diverses via les LLM, préservant le sens, permettant l'analyse intertemporelle.
3. Schéma de qualité : Un schéma multidimensionnel combinant des mesures légères (efficaces) et basées sur les LLM (profondes) pour la substantivité, l'actionnabilité et l'ancrage.
4. Analyse empirique : La première étude à grande échelle appliquant ce schéma pour analyser l'évolution de la qualité des évaluations dans les conférences de premier plan en informatique.

Résultats

Corrélation et types de mesures

• Toutes les mesures sont positivement corrélées, indiquant des dimensions de qualité non contradictoires, mais elles ne sont pas parfaitement corrélées, ce qui suggère qu'elles sont complémentaires.
• Les mesures légères (LEN, REQ, EXL) présentent une corrélation modérément forte ($\rho \approx 0,6$) avec les mesures basées sur les LLM (ACT, GND) de manière agrégée, suggérant que les proxies légers peuvent approximer les métriques gourmandes en ressources à grande échelle.

Tendances temporelles

• Pas de déclin constant : Contredisant le récit populaire, l'analyse révèle aucun déclin constant de la qualité médiane des évaluations à travers les conférences et les années.
• Fluctuations : Bien que certaines fluctuations existent (par exemple, une augmentation notable du $Q$ médian pour ICLR-2021, ICLR-2025 et NeurIPS-2025), les tests de bootstrap indiquent que de nombreuses différences d'une année sur l'autre ne sont pas statistiquement significatives ou sont pratiquement négligeables.
• Acceptés vs Rejetés : Dans ICLR, où les données sont entièrement ouvertes, la qualité médiane pour les articles acceptés (0,24) n'est que marginalement supérieure à celle des articles rejetés (0,23).

Distribution

La distribution du score agrégé $Q$ est asymétrique en raison des valeurs aberrantes positives dans les mesures de comptage, avec un petit sous-ensemble d'évaluations au score extrêmement bas (par exemple, des textes de remplacement ou des refus).

Signification et affirmations

L'article affirme que le récit du "déclin de la qualité des évaluations" n'est pas soutenu par les données empiriques lorsqu'il est analysé via un cadre systématique et multidimensionnel. Les auteurs postulent que la perception de déclin peut provenir de :

1. Artéfacts statistiques (H5) : À mesure que le nombre total d'évaluations augmente, le nombre absolu d'évaluations de faible qualité augmente proportionnellement, ce qui conduit à ce que davantage d'auteurs subissent de mauvaises évaluations et amplifie le sentiment négatif sur les réseaux sociaux.
2. Mesure incomplète (H3) : Les métriques actuelles peuvent manquer des dimensions spécifiques de la qualité, ou les données historiques (pré-2021) pourraient montrer des tendances différentes qui sont actuellement inaccessibles.
3. Scénarios du pire cas (H4) : Bien que la médiane soit stable, la qualité des pires évaluations pourrait avoir dégradé, ce qui nécessite des investigations supplémentaires avec de nouvelles métriques.

Les auteurs soulignent que leur cadre est exploratoire et destiné à faciliter de futures études empiriques plutôt qu'à servir d'outil direct pour la conception de politiques ou la détection automatisée des évaluations. Ils appellent la communauté à dépasser les preuves anecdotiques et à utiliser des métriques standardisées et évolutives pour comprendre et améliorer l'écosystème de la revue par les pairs.