Résumé Technique : ScholarPeer – Un Cadre Multi-Agents pour l'Évaluation par les Pairs Automatisée

Formulation du Problème

La démocratisation rapide de la recherche en intelligence artificielle a entraîné une explosion sans précédent de la production scientifique, mettant sous tension le processus traditionnel d'évaluation par les pairs. Les grandes conférences d'apprentissage automatique font désormais face à une crise de scalabilité caractérisée par deux goulots d'étranglement principaux : les auteurs subissent des délais de plusieurs mois avant de recevoir des retours exploitables, tandis que les présidents de section et les évaluateurs font face à une fatigue extrême en tentant d'auditer rigoureusement la validité technique, de chasser manuellement les références de base manquantes et de vérifier les affirmations sur l'état de l'art (SOTA) par rapport à une littérature en évolution rapide.

Les solutions automatisées existantes, principalement basées sur des modèles de langage de grande taille (LLM) affinés sur des paires statiques article-évaluation, évaluent souvent les articles dans un « vide paramétrique ». Elles manquent de mécanismes structurels pour mener l'audit rigoureux et fondé sur des preuves requis pour des critiques prêtes à être publiées. Bien que des cadres récents aient intégré la récupération d'informations ou des architectures multi-agents, ils se concentrent principalement sur des politiques de génération de texte ou des simulations collaboratives plutôt que sur la vérification active et adversariale nécessaire pour identifier les comparaisons omises et les incohérences logiques.

Méthodologie

Pour combler ces lacunes, les auteurs présentent ScholarPeer, un cadre multi-agents conçu pour opérationnaliser le flux de travail d'audit rigoureux d'un chercheur senior. Plutôt que de remplacer le jugement humain, ScholarPeer agit comme un « co-scientifique », servant de mentor pour les auteurs et d'assistant de vérification pour les évaluateurs.

Le cadre découple structurellement la contextualisation de la critique grâce à un processus de récupération d'informations à double flux, imitant le flux cognitif d'un évaluateur humain expert. L'architecture se compose de deux sous-systèmes principaux :

1. Module d'Acquisition de Connaissances et de Contextualisation

Ce module construit dynamiquement un contexte externe ($C_{dynamic}$) et transforme le contenu intrinsèque de l'article ($S_{content}$) en utilisant quatre agents spécialisés :

• Agent de Résumé (Extraction Interne) : Atténue le phénomène « perdu au milieu » en transformant le texte brut en une représentation structurée ($\hat{S}$), en extrayant les affirmations principales, la méthode proposée et les preuves rapportées. Cela fournit un signal haute fidélité pour les agents en aval.
• Agent de Revue de Littérature et d'Expansion : Construit un cadre de référence « en direct » en exécutant un processus de récupération en deux étapes. Il identifie le sous-domaine, effectue une recherche initiale et étend itérativement la recherche pour trouver des lacunes, ciblant les prépublications récentes et les travaux concurrents. Crucialement, il impose des filtres de qualité stricts, restreignant les résultats aux conférences de premier plan (par exemple, NeurIPS, ICLR, ICML) et à arXiv avec une date de coupure de publication correspondant à la soumission de l'article pour éviter la pollution des sources.
• Agent Historien du Sous-Domaine : Synthétise la littérature récupérée en une « narration de domaine » chronologique. Cela imite le modèle mental d'un chercheur senior, plaçant la soumission dans la trajectoire du domaine pour évaluer la signification des contributions.
• Agent Éclaireur des Références de Base (Audit Adversarial) : Agit en tant qu'auditeur indépendant, chassant activement les méthodes SOTA et les jeux de données avec lesquels les auteurs ont omis de se comparer. Il renvoie une liste concrète de concurrents omis, fournissant des preuves pour les critiques de validité technique.

2. Moteur de Questions-Réponses Multi-Aspects et Génération d'Évaluation

Ce sous-système utilise le résumé structuré et le contexte dynamique pour sonder rigoureusement l'article avant de générer le rapport final :

• Agents de Questions-Réponses Multi-Aspects : Des agents de requête et de réponse dédiés agissent comme des « sceptiques » pour deux aspects critiques : Nouveauté et Signification et Validité Technique.
  • L'Agent de Nouveauté énumère les affirmations de contribution et génère des questions pour les vérifier par rapport à la narration du domaine et à la littérature. L'agent de réponse utilise une recherche active pour croiser les affirmations avec les meilleurs lieux de publication.
  • L'Agent de Validité Technique génère des questions pour scruter la cohérence logique, la validité expérimentale et le rigueur mathématique. L'agent de réponse croise les affirmations avec la propre méthodologie de l'article pour identifier les incohérences internes, les contraintes impossibles ou les métriques inappropriées.
• Agent Générateur d'Évaluation : Synthétise le rapport final en intégrant le résumé structuré et les paires de questions-réponses vérifiées. Conditionné par des directives explicites d'évaluation de conférence (par exemple, les listes de contrôle NeurIPS), cet agent agrège les résultats et produit une critique alignée sur le lieu de publication.

Contributions Clés

L'article présente trois contributions principales :

1. Cadre ScholarPeer : Un système multi-agents qui effectue une interrogation active et ancrée dans la recherche pour accélérer l'itération des auteurs et augmenter le jugement des évaluateurs humains.
2. Architecture d'Agents Spécialisés : L'introduction d'agents historiens, éclaireurs de références de base et de questions-réponses qui effectuent collectivement des vérifications de cohérence logique interne et une vérification externe à l'échelle du web contre les lieux de publication académiques de premier plan.
3. Évaluation Complète : Tests extensifs sur environ 1 800 soumissions ICLR (2020–2025) utilisant un nouvel ensemble de données, ScholarEval, et de nouvelles métriques incluant le score H-Max (calibrant la qualité de la critique IA par rapport aux meilleurs points humains) et le Score de Diversité des Évaluations (évaluant la variance des perspectives).

Résultats Expérimentaux

ScholarPeer a été évalué par rapport à des modèles affinés de l'état de l'art (par exemple, CycleReviewer, DeepReviewer), à des bases de référence à agent unique, et à des cadres d'agents augmentés par la recherche (par exemple, AgentReview, AI Scientist v2).

• Taux de Victoire : ScholarPeer a obtenu des taux de victoire dominants lors d'évaluations côte à côte. Il a sécurisé un taux de victoire de 99,6 % contre CycleReviewer-8B, 90,5 % contre DeepReviewer-14B, et 73 % contre la base de référence agentic la plus forte avec le même modèle de base. Même face à l'évaluateur Agent de Stanford en source fermée, il a obtenu un taux de victoire de 54 %.
• Score H-Max : ScholarPeer a obtenu un score H-Max moyen de 6,12 (sur une échelle où 5,0 représente la meilleure évaluation humaine), surpassant significativement les modèles affinés (qui peinaient à dépasser 4,0) et les autres bases de référence agentic. Il a obtenu des scores particulièrement élevés dans l'Évaluation de la Signification (6,47) et la Valeur Constructive (5,87).
• Diversité : Le cadre a obtenu un Score de Diversité des Évaluations (RDS) de 0,31, significativement plus élevé que les modèles affinés (0,01–0,02) et plus proche de la variance naturelle des comités humains (0,43), indiquant un risque réduit d'homogénéisation « d'essaim artificiel ».
• Efficacité : Le système fonctionne avec une latence d'environ 10 minutes par évaluation (amortie à environ 56 secondes en traitement par lots) et un coût monétaire d'environ 1,20 $ par article.

Signification et Affirmations

L'article affirme que ScholarPeer établit une nouvelle norme pour la critique automatisée en démontrant que le raisonnement adversarial structuré – plutôt que le simple accès à Internet ou l'affinage statique – est le catalyseur essentiel pour une évaluation de niveau expert.

Les auteurs soulignent que ScholarPeer n'est pas conçu pour remplacer le système humain d'évaluation par les pairs, mais pour servir de co-scientifique. En agissant comme un mentor pour une itération rapide des auteurs et un assistant de vérification infatigable pour les évaluateurs, le système fournit des preuves hautement exploitables et vérifiables. Cette approche vise à démocratiser l'accès à des retours de haute qualité et à atténuer la crise de scalabilité dans l'édition scientifique, permettant aux experts humains de se concentrer sur le jugement scientifique de haut niveau tandis que le système gère l'audit rigoureux de la validité technique et la vérification de la littérature.

Les résultats suggèrent que l'architecture multi-agents, qui découple structurellement la compréhension de l'article de la contextualisation externe, opérationnalise efficacement le flux de travail rigoureux d'un chercheur senior, produisant des critiques qui sont non seulement techniquement exactes, mais aussi profondément contextualisées et constructives.