PeerCheck: Enhancing LLM-Generated Academic Reviews Towards Human-Level Quality

Résumé technique de PeerCheck : Améliorer la qualité des évaluations académiques générées par les LLM pour atteindre un niveau humain

Énoncé du problème
Le processus d'évaluation par les pairs dans le milieu académique est confronté à une crise de l'évolutivité en raison de la croissance exponentielle des soumissions et d'une pénurie de relecteurs disponibles, ce qui entraîne des retards et une qualité incohérente. Bien que les grands modèles de langage (LLM) soient apparus comme une solution potentielle pour assister l'évaluation des manuscrits, leur adoption soulève des préoccupations significatives concernant la fiabilité, la qualité et l'alignement de leurs évaluations générées avec les normes académiques humaines. La recherche actuelle manque d'un cadre complet pour comparer quantitativement les évaluations générées par les LLM avec celles rédigées par des humains ou pour traiter systématiquement les lacunes spécifiques qui les séparent.

Méthodologie
Les auteurs proposent PeerCheck, un cadre conçu pour analyser les différences entre les évaluations humaines et celles des LLM et pour améliorer la qualité des sorties des LLM. La méthodologie se déroule en trois étapes :

1. Collecte de données et génération de base : L'étude utilise un corpus de 1 920 articles provenant de conférences de premier plan en apprentissage automatique (ICLR 2024/2025, NeurIPS 2024) et de leurs évaluations humaines officielles correspondantes issues d'OpenReview. Trois LLM de pointe (GPT-4o, Claude-3.7-Sonnet et DeepSeek-V3) sont employés pour générer des évaluations à l'aide de prompts structurés. Les auteurs simulent également divers personas de relecteurs (ex. : doctorants, professeurs, experts de l'industrie) pour tester la sensibilité aux rôles.
2. Analyse comparative : Le cadre analyse les divergences selon trois dimensions :
   • Mots-clés : Identifiant que les LLM privilégient les aspects « théoriques », tandis que les humains se concentrent sur les « méthodes », les « expériences » et la « performance ».
   • Notation : Observant que les LLM présentent des distributions de scores plus larges et ont tendance à attribuer des scores plus élevés aux articles rejetés par rapport aux humains.
   • Sujets : Notant que les humains mettent davantage l'accent sur le traitement du langage naturel (NLP) que les LLM, qui favorisent l'apprentissage de représentations et l'apprentissage en contexte (in-context learning).
3. Stratégies d'amélioration : Pour combler ces lacunes, les auteurs implémentent :
   • Ingénierie de prompt (Prompt Engineering) : Utilisation du raisonnement par chaîne de pensée (Chain-of-Thought - CoT) et révision des prompts pour inclure des mots-clés spécifiques, des éléments stylistiques (ex. : prudence/hedging, marqueurs de discours) et des contraintes structurelles (ex. : citer des équations ou des figures spécifiques).
   • Génération augmentée par récupération (RAG) : Intégration de connaissances externes en récupérant des évaluations écrites par des humains pour guider le processus de génération du LLM.
   • Évaluation : Les évaluations améliorées sont évaluées à l'aide de métriques de détection (RoBERTa, log-vraisemblance, etc.) pour mesurer la « ressemblance humaine » (détectabilité plus faible) et de métriques de similitude (Cosinus, ROUGE, BLEU) pour mesurer l'alignement avec les évaluations humaines.

Principales contributions

• Cadre PeerCheck : Un système novateur qui compare et améliore quantitativement les évaluations académiques générées par les LLM, augmentant le score de ressemblance humaine de GPT-4o de 0,379 à 0,645.
• Découverte du « Paradoxe du RAG » : Les auteurs constatent que la génération augmentée par récupération ne améliore pas universellement les performances. Si le RAG augmente considérablement la similitude de GPT-4o avec les évaluations humaines, il dégrade les performances de Claude-3.7-Sonnet et DeepSeek-V3, remettant en question l'hypothèse selon laquelle « plus d'informations égale une meilleure performance ».
• Analyse de la sensibilité au rôle : L'étude révèle que les LLM présentent un biais significatif basé sur les personas assignés. Par exemple, Claude-3.7-Sonnet attribue un score de 8/10 57,7 % plus fréquemment lorsqu'il agit en tant que « doctorant » par rapport à un rôle neutre.
• Aperçus sur l'optimisation des prompts : À travers des études d'ablation, les auteurs démontrent que l'échafaudage structurel (guider le processus de raisonnement) contribue davantage à la qualité de l'évaluation (spécificité et actionnabilité) que le mimétisme stylistique (imiter la formulation humaine). De plus, les prompts révisés utilisant la CoT réduisent de 40,3 % la détectabilité du texte généré par l'IA via les détecteurs basés sur RoBERTa.

Résultats

• Évasion de la détection : Les prompts révisés, particulièrement ceux combinant la CoT avec des mots-clés et des phrases types, réduisent considérablement la capacité des outils de détection à identifier le texte généré par l'IA. Par exemple, le taux de détection de RoBERTa pour GPT-4o passe de 0,798 à 0,512 avec les prompts révisés.
• Similitude avec les évaluations humaines : La combinaison de prompts révisés et de RAG produit les scores de similitude les plus élevés. GPT-4o atteint une similitude cosinus de 0,645 avec les évaluations humaines dans ces conditions, une amélioration substantielle par rapport à la base de 0,379.
• Évaluation humaine : Lors d'évaluations en aveugle par des experts humains, les évaluations révisées des LLM ont obtenu une moyenne de 6,682, nettement supérieure aux évaluations normales des LLM (5,371) et se rapprochant des évaluations écrites par des humains (7,124). Cependant, les évaluations augmentées par RAG ont parfois performé moins bien que les évaluations révisées sans RAG, confirmant la nature dépendante du modèle du paradoxe du RAG.
• Fidélité factuelle : Les prompts révisés ont systématiquement réduit le taux d'allégations non étayées et non vérifiables dans les évaluations, indiquant que les améliorations structurelles renforcent la justesse factuelle, et pas seulement la similitude stylistique.

Signification et affirmations
L'article affirme que l'amélioration des évaluations basées sur les LLM nécessite des stratégies spécifiques au modèle et des prompts bien planifiés plutôt que de simplement augmenter le volume de données d'entrée ou de s'appuyer sur une augmentation par récupération générique. Les auteurs soulignent que la « qualité de niveau humain » dans ce contexte est opérationnalisée comme une similitude lexicale et sémantique avec les évaluations humaines historiques, ce qui sert de proxy pour la constructivité et la perspicacité.

Ce travail souligne que, bien que les LLM puissent être entraînés pour imiter les structures d'évaluation humaine et échapper à la détection, des différences fondamentales de raisonnement (telles que le paradoxe du RAG) persistent. Les auteurs positionnent PeerCheck non pas comme un remplacement automatisé des relecteurs humains, mais comme un outil analytique d'assistance pour aider à aligner les commentaires générés par l'IA avec les normes académiques, répondant ainsi à la crise de l'évolutivité tout en préservant l'intégrité de l'écosystème de l'examen par les pairs. L'étude conclut qu'une intégration efficace des LLM dans l'évaluation par les pairs exige une compréhension nuancée de la manière dont différents modèles interagissent avec les mécanismes de récupération et les structures de prompts.