💻 computer science

Reviewer Scores Are Not Comparable Across Research Areas in ML Peer Review

Ce document de position soutient que les résultats d'acceptation des conférences en apprentissage automatique sont dictés par des défaillances de conception de la mesure plutôt que par un biais individuel, démontrant à travers une analyse de plus de 50 000 articles que les scores des évaluateurs sont fondamentalement incomparables selon les domaines de recherche, entraînant des probabilités d'acceptation qui varient jusqu'à un facteur de 8 pour un même score selon le sujet.

Auteurs originaux : Binyan Xu, Fan Yang, Xilin Dai, Kehuan Zhang

Publié 2026-07-31

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Binyan Xu, Fan Yang, Xilin Dai, Kehuan Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Mystère du Grand Bulletin de Notes

Imaginez un salon de la science massif et mondial où des milliers d'étudiants brillants soumettent leurs projets chaque année. Pour décider qui obtient une place dans la présentation finale, une équipe de juges attribue à chaque projet un simple score numérique, comme une note de 1 à 10. La règle du salon est censée être simple et équitable : un score de 7 signifie « excellent travail », peu importe le sujet du projet. Que vous ayez construit un robot qui danse, un programme qui prédit la météo ou une nouvelle façon d'apprendre aux ordinateurs à lire, un 7 doit signifier la même chose.

Mais que se passe-t-il si les juges de la section « Robotique » sont super stricts et n'attribuent des 7 qu'aux robots parfaits, tandis que les juges de la section « Météo » sont super enthousiastes et donnent des 7 à presque tout ce qui ressemble à un nuage ? Si vous ne savez pas à quelle section appartient un projet, ce chiffre unique devient déroutant. Un 7 dans un domaine peut être un ticket d'or, tandis qu'un 7 dans un autre peut être un rejet poli. C'est le casse-tête que les chercheurs dans le domaine de l'apprentissage automatique (Machine Learning) tentent de résoudre. Ils étudient comment les ordinateurs apprennent à reconnaître des modèles, à prendre des décisions et à résoudre des problèmes, et ils posent une question effrayante : le « score » que nous utilisons pour juger ces travaux est-il réellement équitable, ou dépend-il entièrement du club auquel vous appartenez ?

La Grande Découverte de l'Article : Le Bulletin de Notes est Cassé

Cet article, écrit par une équipe de chercheurs, plonge dans les données d'une grande conférence d'apprentissage automatique appelée ICLR. Ils ont examiné plus de 50 000 articles soumis entre 2021 et 2026 pour voir si le « score » signifiait réellement la même chose pour tout le monde. Leur conclusion est frappante : les scores ne sont pas comparables.

Pensez à un jeu vidéo où les joueurs de différents niveaux utilisent des manettes différentes. Dans les niveaux « Tendances » (comme les nouveaux sujets brûlants de l'IA), les manettes sont super sensibles. Une petite pression vous donne un score élevé. Dans les niveaux « Vieille École » (comme les sujets plus anciens et établis), les manettes sont rigides et difficiles à presser. Si vous obtenez un score de 5,0 dans le niveau « Tendances », vous pourriez être une superstar. Mais si vous obtenez un 5,0 dans le niveau « Vieille École », vous pourriez être en difficulté. L'article a découvert que pour un même score de réviseur, la chance d'acceptation d'un article peut être jusqu'à 8 fois plus élevée selon son sujet.

Par exemple, un article sur la « pensée » ou le « raisonnement » avec un score de 5,0 avait 52,6 % de chances d'être accepté. Mais un article sur la « reconnaissance d'images » ou les « attaques adverses » avec ce même score exact de 5,0 n'avait que 6,6 % de chances. C'est une différence de huit fois ! Les chercheurs appellent cela un « échec de conception de mesure ». Ce n'est pas que les réviseurs sont méchants ou que les présidents de section sont biaisés ; c'est que le système lui-même est cassé car il essaie d'utiliser une seule règle pour mesurer des choses qui sont fondamentalement différentes.

Ce que ce n'est PAS (Les Fausses Pistes)

Les auteurs ont été très prudents pour écarter d'autres raisons expliquant cet écart. Ils ont demandé : « Est-ce parce que les sujets "Tendances" sont de meilleure qualité ? » La réponse est non. Si c'était le cas, les articles acceptés dans ces sujets chauds auraient des scores plus élevés. Au contraire, les données montrent l'inverse : les sujets chauds acceptent des articles avec des scores plus bas que les sujets froids.

Ils ont également vérifié si c'était parce que les sujets « Vieille École » ont des réviseurs super experts qui sont simplement plus difficiles à satisfaire. Les données disent non encore une fois. Les réviseurs dans les domaines difficiles à satisfaire n'étaient pas plus confiants ou plus experts ; ils étaient aussi enthousiastes que tous les autres.

Enfin, ils se sont demandé si peut-être les sujets « Tendances » laissaient entrer des travaux de moindre qualité parce qu'il y avait trop de soumissions (une « dilution de la qualité »). Les données n'ont montré aucun lien entre la vitesse de croissance d'un sujet et la baisse de sa qualité. En fait, certains sujets à croissance rapide ont maintenu leurs taux d'acceptation stables tandis que d'autres se sont effondrés.

Le Vrai Coupable : Le « Cycle de la Hype » et le « Patch »

Alors, pourquoi cela se produit-il ? L'article soutient qu'il s'agit d'un problème structurel. Lorsqu'un sujet est « chaud » (comme une nouvelle tendance passionnante), il attire une foule immense de nouveaux réviseurs juniors qui sont enthousiastes et peut-être un peu indulgents. Lorsqu'un sujet est « mature » (comme un domaine ancien et établi), il attire des experts seniors qui sont plus critiques. Parce que le système ne sait pas qui donne le score, il traite un « 6 » d'un junior enthousiaste de la même manière qu'un « 6 » d'un senior grincheux.

Pour corriger cela, les Présidents de Section (les personnes qui prennent la décision finale de oui ou non) doivent deviner. Ils utilisent leurs « a priori de communauté » — essentiellement leur intuition sur la difficulté d'obtenir l'acceptation d'un article dans ce sujet spécifique. Ils sont essentiellement en train de réparer un système cassé avec leur propre intuition. Cela signifie que pour un article situé juste sur la limite (un article « limite »), son sort n'est pas décidé par la qualité du travail, mais par la question de savoir si le sujet est actuellement « à la mode ».

Que Devons-nous Faire ?

L'article ne se contente pas de pointer le problème ; il propose un plan en trois étapes pour le corriger, sans avoir besoin de reconstruire complètement tout le système :

Être Transparent : Les organisateurs de la conférence devraient publier un rapport montrant les taux d'acceptation pour chaque sujet, détaillés par score. Si un article obtient un 5,0, tout le monde devrait pouvoir voir : « Oh, un 5,0 dans le Sujet A est accepté 50 % du temps, mais un 5,0 dans le Sujet B n'est accepté que 6 % du temps. » Cela rend le biais caché visible.
Créer des Règles Personnalisées : Au lieu d'utiliser une échelle générique de « 1 à 10 » pour tout, chaque communauté de recherche devrait écrire sa propre liste de contrôle spécifique (rubrique) pour ce qui fait un bon article. Un « bon » article théorique est différent d'un « bon » article d'ingénierie, et les règles doivent le refléter.
Utiliser de Meilleurs Signaux : L'article suggère d'utiliser des « signaux calibrés ». Par exemple, au lieu de regarder simplement le chiffre brut, le système pourrait ajuster le score en fonction de l'historique du réviseur (donnait-il habituellement des scores élevés ou faibles ?). Il suggère également de laisser les auteurs classer leurs propres articles s'ils en soumettent plusieurs, ce qui aide le système à mieux comprendre la qualité relative des travaux qu'un simple chiffre brut ne pourrait jamais faire.

L'Essentiel

L'article conclut que le système actuel est comme une course où les coureurs de différentes pistes courent sur des surfaces différentes, mais où tout le monde est jugé par le même chronomètre. Les coureurs dans les pistes « chaudes » obtiennent une avance non pas parce qu'ils sont plus rapides, mais parce que la piste est plus facile. Les auteurs soutiennent que tant que nous ne réparons pas la piste et ne rendons pas le score équitable dans toutes les pistes, les meilleurs articles pourraient encore être rejetés simplement parce qu'ils travaillent sur un sujet qui n'est pas actuellement « cool ». La solution n'est pas de blâmer les juges, mais d'admettre que la règle que nous utilisons n'est pas de la bonne taille pour la tâche.

Résumé Technique : Les scores des évaluateurs ne sont pas comparables entre les domaines de recherche en apprentissage automatique (ML)

1. Énoncé du problème

L'article identifie un défaut de conception de la mesure dans les processus d'examen par les pairs des principales conférences de Machine Learning (ML), en se concentant spécifiquement sur l'ICLR. Alors que le volume de soumissions est passé de milliers à des dizaines de milliers, le recours à une échelle de notation numérique fixe (1–10) pour déterminer l'acceptation est devenu structurellement défaillant.

Le problème central est que les scores absolques des évaluateurs ne sont pas comparables entre différents domaines de recherche. Le contrat implicite du système d'examen — selon lequel un score spécifique (ex: 6,0) entraîne la même probabilité d'acceptation quel que soit le sujet du papier — est violé en pratique. Les auteurs soutiennent que les résultats d'acceptation sont façonnés par des forces dépassant les scores des évaluateurs, poussées par des assignations de réviseurs structurellement non uniformes. Cela force les Area Chairs (AC) à substituer des priors communautaires aux décisions basées sur les scores, menant à des disparités systématiques où les papiers traitant de sujets « tendance » ou « chauds » font face à des seuils d'acceptation différents de ceux des sujets « matures » ou « froids », même lorsqu'ils reçoivent des scores d'évaluateurs identiques.

2. Méthodologie

L'étude est une analyse observationnelle basée sur les données de l'ICLR 2021–2026, couvrant 50 289 papiers à travers 219 sujets de recherche. Les auteurs ont utilisé le répertoire PaperCopilot et BERTopic (dérivé du texte des titres et résumés) pour construire une taxonomie granulaire des sujets de recherche, offrant une granularité plus fine que les étiquettes officielles des domaines primaires.

L'analyse procède via trois niveaux de preuves :

Analyse descriptive : Comparaison des taux d'acceptation (AR) bruts entre les sujets avec des intervalles de confiance de Wilson à 95 %.
Analyse structurelle : Ajustement de modèles de régression logistique ( $P(\text{accept}) = \sigma(\beta_0 + \beta_1 \cdot \text{score})$ ) par sujet pour estimer le seuil d'acceptation ( $\hat{\tau}$ ) où un papier a 50 % de chances d'être accepté.
Analyse sans modèle (Model-Free) : Examen des taux d'acceptation au sein de bandes de scores fixes (ex: $s \in [4.875, 5.125]$ ) pour isoler l'effet de l'identité du sujet du score lui-même.

Les auteurs ont rigoureusement écarté quatre explications alternatives :

Culture de notation : L'hypothèse selon laquelle les sujets tendance ont simplement des scores de base plus élevés.
Standards des évaluateurs experts : L'hypothèse selon laquelle les domaines à seuil élevé ont des évaluateurs plus confiants et experts.
Repondération rationnelle des Area Chairs : L'hypothèse selon laquelle les AC ajustent rationnellement les poids entre Contribution et Solidité (Soundness) en fonction du domaine.
Dilution de la qualité : L'hypothèse selon laquelle les domaines en croissance souffrent de la qualité moyenne des papiers plus faible.

3. Résultats clés

Disparités de taux d'acceptation : Il existe un écart de 27,8 points de pourcentage dans les taux d'acceptation entre les sujets (allant de 18,3 % pour « recognition » à 46,0 % pour « radiance fields »).
Variation du seuil : Le seuil d'acceptation (le score requis pour une chance d'acceptation de 50 %) varie considérablement selon le sujet. Par exemple, les sujets « chain-of-thought » ont un seuil de 4,938, tandis que les sujets « activation functions/relu » ont un seuil de 5,751.
L'écart de 8× (Résultat central) : À scores d'évaluateurs identiques, les probabilités d'acceptation varient drastiquement. À un score de 5,0, les papiers dans les sujets « policy-optimization/LLM-reasoning » ont un taux d'acceptation de 52,6 %, tandis que ceux dans les sujets « CNN/adversarial-robustness » n'ont que 6,6 %. Cela représente une différence de 8× dans les chances d'acceptation pour des papiers recevant exactement la même évaluation des évaluateurs.
Rejet des alternatives :
- Explication par la qualité : Les domaines ayant des taux d'acceptation plus élevés acceptent systématiquement des papiers avec des scores moyens d'évaluateurs plus bas, contredisant l'idée qu'ils acceptent de « meilleurs » papiers.
- Hypothèse de l'expert : Il n'y a pas de corrélation significative entre le seuil d'acceptation d'un sujet et la confiance des évaluateurs ( $r = -0,102$ ). Les domaines à haut AR sont souvent servis par des évaluateurs enthousiastes mais moins experts.
- Repondération rationnelle : L'analyse des sous-scores montre que les domaines à seuil élevé exigent plus de Solidité et de Contribution simultanément, plutôt que de troquer l'un pour l'autre.
- Dilution de la qualité : La croissance des soumissions dans des domaines spécifiques (ex: Datasets & Benchmarks a crû de +459 %) n'a pas été corrélée à un déclin plus marqué des taux d'acceptation.

4. Mécanisme de la cause racine

L'article attribue ces disparités à une assignation de réviseurs structurellement non uniforme, ce qui crée trois dimensions de non-comparabilité composées :

Profondeur d'expertise : Les zones « chaudes » attirent de grands bassins de réviseurs juniors avec des évaluations moins calibrées, tandis que les zones matures attirent des experts seniors.
Culture de notation : Différentes communautés interprètent la échelle 1–10 différemment (ex: les méthodes formelles traitent un 8 comme étant presque parfait ; le ML empirique traite un 6 comme un accept solide).
Base de référence de la nouveauté : Les évaluateurs dans les zones chaudes calibrent la nouveauté par rapport à une frontière de haute nouveauté, élevant la barre, tandis que les zones matures ont des frontières qui évoluent plus lentement.

En conséquence, les AC doivent s'appuyer sur des priors communautaires pour interpréter les scores, remplaçant de fait le signal de qualité par un signal d'identité de sujet. Ceci est exacerbé par les « cycles de hype », où les sujets émergents bénéficient d'une prime d'acceptation temporaire sans lien avec la qualité du papier.

5. Signification et affirmations

L'article prétend être la première étude à identifier le découplage entre score et acceptation au niveau du sujet avec identification du mécanisme et falsification des explications alternatives. Sa signification réside dans le fait de déplacer la responsabilité de l'erreur individuelle ou de l'évaluateur vers un défaut de conception de mesure systémique.

Les affirmations clés incluent :

La transparence comme prérequis : L'opacité actuelle des conférences comme NeurIPS et ICML empêche la détection de ces modèles. Les auteurs soutiennent que la transparence est le prérequis de la responsabilité et de la réforme.
Faisabilité de la réforme : Les solutions proposées ne nécessitent pas une refonte fondamentale du processus d'examen, mais plutôt l'adoption de signaux calibrés et de la transparence.
Limite observationnelle : Les auteurs déclarent explicitement que leur analyse est observationnelle et limitée à l'ICLR (la seule conférence avec une divulgation complète des examens). Ils ne prétendent pas identifier l'effet causal de l'assignation de sujet sur un papier individuel, mais documentent un modèle systématique au niveau de la population que le propre signal de qualité du système d'examen ne peut expliquer.

6. Actions proposées

L'article appelle à trois actions interconnectées :

Comités de programme : Publier des taux d'acceptation conditionnés par le score et stratifiés par domaine comme une métrique de justice de premier rang pour permettre la responsabilité.
Communautés de recherche : Développer des rubriques d'examen spécifiques au domaine pour rendre explicites les standards communautaires implicites, réduisant ainsi les échements de calibration chez les évaluateurs inexpérimentés.
Conférences : Compléter les scores absolus par des signaux calibrés, tels que des profils de calibration des évaluateurs, l'auto-classement des auteurs via le mécanisme Isotonique, et une norme privilégiant les critiques écrites sur les scores agrégés pour les décisions limites.