Position on LLM-Assisted Peer Review: Addressing Reviewer Gap through Mentoring and Feedback

Résumé Technique : Position sur l'évaluation par les pairs assistée par les LLM

Énoncé du problème : Le fossé des évaluateurs (The Reviewer Gap)
Le document identifie un décalage structurel critique dans l'écosystème de la recherche en IA, qualifié de « fossé des évaluateurs », provoqué par l'expansion sans précédent des soumissions d'IA (par exemple, des augmentations annuelles de 20 à 30 % dans les conférences majeures) qui dépasse la croissance de l'infrastructure de révision. Ce fossé se manifeste dans deux dimensions renforçatrices :

1. Fossé de volume : Les volumes de soumissions dépassent la capacité de traitement, entraînant une surcharge d'assignations aux évaluateurs, de la fatigue et des évaluations superficielles et perfunctoires.
2. Fossé de qualité : Le vivier d'évaluateurs s'élargit pour inclure des chercheurs juniors et des auteurs ayant une expérience limitée en matière de révision, créant un déficit d'expertise métier. Sans formation systématique, cela conduit à l'enracinement de normes de révision de faible qualité.

Les auteurs critiquent les approches actuelles des grands modèles de langage (LLM) qui se concentrent sur la génération automatisée de critiques. Ils soutiennent que la génération directe par LLM risque de provoquer des hallucinations, des résumés superficiels et la propagation de biais, échouant ainsi à traiter la cause profonde : le manque de compétence des évaluateurs.

Méthodologie : Un cadre à double système centré sur l'humain
Le document propose un changement de paradigme de l'automatisation vers l'augmentation, positionnant les LLM comme des assistants pédagogiques et des outils de rétroaction plutôt que comme des évaluateurs autonomes. Cette approche est fondée sur cinq principes fondamentaux d'une évaluation par les pairs de haute qualité : la Fidélité (exactitude des faits), la Clarté (langage non ambigu et fondé sur des preuves), l'Équité (ton neutre et exempt de biais), la Proportionnalité (poids de la critique proportionnel à la contribution) et la Constructivité (suggestions exploitables).

La solution proposée consiste en deux systèmes complémentaires :

1. Système de mentorat des évaluateurs assisté par LLM (Éducation) :

   • Objectif : Cultiver systématiquement les compétences des évaluateurs à travers un environnement d'apprentissage « sûr pour l'échec » (safe-to-fail).
   • Structure : Un curriculum pédagogique en trois étapes :
     • Reconnaissance guidée : Les apprenants analysent des exemples de critiques de haute et de faible qualité par rapport aux cinq principes pour intérioriser les critères.
     • Pratique de l'affinement de la critique : Les apprenants révisent des brouillons contenant des défauts intentionnels, recevant des commentaires ciblés pour identifier les lacunes.
     • Simulation complète : Les apprenants rédigent des critiques complètes, que le LLM analyse pour générer un rapport de mentorat complet soulignant les succès et les échecs spécifiques par rapport aux principes.
   • Résultat : À l'issue du processus, les évaluateurs reçoivent une « Certification d'évaluateur » volontaire, signalant une expertise accrue sans imposer de participation.

2. Système de rétroaction des évaluateurs assisté par LLM (Vérification) :

   • Objectif : Combler le fossé entre la formation et l'exécution en soutenant les évaluateurs lors du processus de révision réel.
   • Flux de travail :
     • Détection et vérification croisée : Un « agent critique » LLM scanne les projets de critiques soumis pour détecter les violations des cinq principes (ex. : erreurs factuelles, contenus négligés, affirmations définitives).
     • Génération de rétroaction fondée sur des preuves : Le système extrait des preuves spécifiques du document pour aider les évaluateurs à justifier leurs critiques (ex. : clarifier des affirmations vagues sur l'insuffisance d'un jeu de données en référençant des benchmarks spécifiques utilisés dans l'article).
     • Test de fiabilité : Avant la livraison, la rétroaction subit une vérification pour garantir un ton approprié, éviter les formulations de type « évaluateur vers auteur » et prévenir les éloges non informatifs.
     • Affinement optionnel : La rétroaction est partagée de manière privée avec les évaluateurs et les présidents de session (Area Chairs). La révision est non obligatoire, préservant l'autonomie de l'évaluateur tout en permettant l'autocorrection.

Principales contributions

• Recadrage conceptuel : Le document plaide contre le remplacement du jugement humain par les LLM, proposant plutôt une architecture à double système où les LLM servent de mentors (développement des compétences à long terme) et de mécanismes de rétroaction (assurance qualité en temps réel).
• Rubrique d'évaluation standardisée : Il définit un ensemble unifié de cinq principes fondamentaux (Fidélité, Clarté, Équité, Proportionnalité, Constructivité) pour servir de base objective au mentorat et à la rétroaction par LLM.
• Conception architecturale : La proposition esquisse un flux de travail spécifique intégrant la simulation éducative à la vérification post-brouillon, garantissant que les principes appris sont appliqués dans des scénarios réels sans imposer de charges supplémentaires aux évaluateurs.
• Boucle d'amélioration collaborative : Le cadre comprend un mécanisme permettant aux experts humains (ex. : les présidents de session) de fournir une méta-rétroaction sur les suggestions du LLM, créant une boucle fermée pour le raffinement continu du système et l'atténuation des biais.

Résultats et affirmations
En tant que document de position, ce travail ne présente pas de résultats expérimentaux empiriques ou de métriques quantitatives issus d'un système déployé. Au lieu de cela, les « résultats » sont théoriques et structurels :

• Le document affirme que le passage de la génération automatisée au mentorat et à la rétroaction assistés par LLM répond à la fois aux dimensions quantitative (capacité) et qualitative (expertise) du fossé des évaluateurs.
• Il postule que cette approche centrée sur l'humain atténue les risques de biais d'automatisation et de déqualification en maintenant les évaluateurs humains dans la boucle en tant que décideurs primaires, les LLM agissant comme des outils de soutien pour la détection d'erreurs et le renforcement des compétences.
• Les auteurs affirment que le système respecte l'autonomie de l'évaluateur grâce à sa structure d'affinement optionnelle, empêchant l'homogénéisation des critiques tout en garantissant l'adhésion aux normes professionnelles.

Signification
Le document affirme que sa signification réside dans l'offre d'une voie durable pour l'écosystème scientifique. En se concentrant sur la culture de l'expertise des évaluateurs plutôt que sur la simple génération de texte, le cadre proposé vise à :

1. Briser le cercle vicieux des critiques de faible qualité et de la stagnation de la recherche.
2. Établir un cercle vertueux où l'amélioration des évaluations mène à une recherche plus rigoureuse, laquelle fait progresser à son tour les technologies d'IA qui renforcent davantage l'écosystème d'évaluation.
3. Fournir une solution évolative et rentable au fossé des évaluateurs, qui ne repose pas sur la tâche impossible d'étendre rapidement le vivier d'experts humains, mais sur la montée en compétences systématique de la communauté existante.

En fin de compte, le document envisage un avenir où le système d'évaluation par les pairs n'est pas seulement un goulot d'étranglement à automatiser, mais une composante robuste et auto-améliorée du progrès scientifique, soutenue par une IA qui améliore l'expertise humaine plutôt que de la remplacer.