ARA: Agentic Reproducibility Assessment For Scalable Support Of Scientific Peer-Review

Résumé technique : Évaluation de la reproductibilité par agents (ARA)

Énoncé du problème
L'examen par les pairs scientifique est de plus en plus incapable d'évaluer la reproductibilité à l'échelle et à la complexité de la production de recherche moderne. La croissance exponentielle des publications, accélérée par les grands modèles de langage (LLM) en tant qu'assistants à la rédaction, a mis à rude épreuve les mécanismes traditionnels d'assurance qualité. Bien que la reproductibilité soit une condition nécessaire pour valider les contributions scientifiques, son évaluation nécessite de reconstruire les dépendances expérimentales, les choix méthodologiques, les flux de données et les procédures de génération de résultats. Ce processus dépasse souvent la capacité des examinateurs humains compte tenu des contraintes de temps et du volume des soumissions. Les approches automatisées existantes sont souvent spécifiques à un domaine, reposent sur un parsing simple basé sur des listes de contrôle, ou nécessitent l'accès à des packages de réplication externes (code, données) au-delà du texte de la publication lui-même. Par conséquent, les évaluations de reproductibilité restent sous-représentées dans les flux de travail standards et difficiles à mettre à l'échelle.

Méthodologie
L'article présente l'Évaluation de la reproductibilité par agents (ARA), un cadre qui formalise l'évaluation de la reproductibilité comme une tâche de raisonnement structuré exécutable par des systèmes d'agents basés sur des LLM directement à partir de documents scientifiques. L'ARA fonctionne sans exiger d'artefacts externes, de code source ou d'environnements d'exécution. Le pipeline se compose de trois étapes principales :

1. Construction du graphe de flux de travail :
   Étant donné un article scientifique $D$, l'ARA construit un graphe de flux de travail dirigé $G = (V, E)$. Les nœuds $V$ sont partitionnés en quatre étapes agnostiques au domaine :

   • Sources : Jeux de données, hypothèses et questions de recherche.
   • Méthodes : Transformations intermédiaires, algorithmes, paramètres et ressources logicielles/matérielles.
   • Expériences : Protocoles d'évaluation, références de base, conditions d'exécution et configurations.
   • Puits : Figures pertinentes pour les résultats, tableaux et conclusions rapportées.
     Les arêtes $E$ représentent les relations de dépendance entre ces composants. Un agent LLM extrait ces composants en utilisant des requêtes structurées, en ancrant les réponses dans des citations littérales de la source pour garantir la traçabilité.

2. Notation micro-niveau :
   La reproductibilité des nœuds individuels est évaluée à l'aide d'une fonction de notation ordinale $r(\cdot) \in \{1, 2, 3, 4\}$, où 1 désigne une information manquante et 4 des détails suffisants pour une reconstruction indépendante. Cette notation est effectuée spécifiquement par étape, distinguant des aspects tels que la clarté de l'algorithme (pour les méthodes) par rapport à la disponibilité du jeu de données (pour les sources).

3. Notation de reproductibilité :
   Les évaluations micro-niveau sont agrégées en un score composite final de reproductibilité $R$ via deux axes orthogonaux :

   • Score de contenu ($R_c$) : Mesure la suffisance descriptive des nœuds (sources, méthodes, expériences, puits) pour une reconstruction indépendante. Il s'agit d'une combinaison convexe pondérée des scores moyens spécifiques à chaque étape.
   • Score structurel ($R_s$) : Mesure la qualité de la connectivité du graphe de flux de travail. Il pénalise les sources déconnectées, les puits orphelins, les références non résolues, les chemins brisés de source à puits et la fragmentation du graphe.
     Le score final est la moyenne géométrique : $R = \sqrt{R_c \cdot R_s}$. Cette formulation garantit qu'une faiblesse soit dans les détails descriptifs, soit dans la connectivité structurelle, ne peut être compensée par une force dans l'autre.

Contributions clés

• Formalisation du raisonnement au niveau du document : L'ARA modélise l'évaluation de la reproductibilité non pas comme une liste de contrôle ou une tâche d'exécution complète, mais comme un problème de raisonnement structuré sur le flux de travail de génération de preuves extrait du texte.
• Cadre agnostique au domaine : Contrairement aux travaux antérieurs limités à des domaines spécifiques (par exemple, l'informatique ou les sciences sociales), l'ARA est conçu pour fonctionner à travers des domaines scientifiques hétérogènes.
• Support de diagnostic évolutif : Le système fournit un mécanisme évolutif pour identifier les éléments de rapport manquants, les flux de travail incomplets et les goulots d'étranglement de la reproductibilité, destiné à compléter plutôt qu'à remplacer l'examen par les pairs humain.
• Évaluation comparative complète : Les auteurs évaluent l'ARA sur l'ensemble de données ReScience C, comprenant 213 études de reproductibilité computationnelle validées par des humains à travers plusieurs disciplines. Cela représente la plus grande évaluation comparative interdomaine de ce type à ce jour.

Résultats
Des expériences ont été menées sur 213 articles ReScience C, comparant les évaluations de l'ARA aux flux de travail de reproduction et aux structures de rapport vérifiés par des humains.

• Cohérence : Le cadre démontre une stabilité substantielle à travers différentes architectures de LLM (y compris Gemini, GPT-4.1 et les variantes Qwen), des températures d'échantillonnage et des exécutions répétées. La cohérence structurelle du graphe et la variabilité du score de reproductibilité restent faibles, indiquant que le système n'est pas piloté par des hallucinations ou un hasard de type oracle.
• Performance : L'ARA atteint un accord cohérent avec les évaluations humaines, atteignant environ 61 % de précision à travers trois benchmarks d'évaluation de reproductibilité (ReScience C, ReproBench et GoldStandardDB).
• Comparaison : L'ARA se comporte de manière comparable ou supérieure aux systèmes d'agents existants (ReplicatorAgent, ReproScreener) en termes d'accord avec les annotations humaines, bien qu'il opère strictement dans un cadre au niveau du document sans accès aux dépôts externes ou aux packages de réplication.
• Analyse des désaccords : Les désaccords entre l'ARA et les experts humains sont généralement bornés à un niveau d'échelle ordinale. Le désaccord est plus élevé pour les étapes « Méthodes » et « Expériences », où les examinateurs humains s'appuient souvent sur des détails d'implémentation révélés uniquement lors d'une réplication complète, qui ne sont pas observables à partir du texte seul.

Signification et revendications
L'article affirme que l'ARA démontre la faisabilité technique de l'utilisation de systèmes d'IA agents pour approximer les jugements humains de reproductibilité à grande échelle. Les auteurs positionnent l'ARA non pas comme un remplacement de l'examen par les pairs par des experts humains, mais comme un complément de diagnostic évolutif. En opérationnalisant l'évaluation de la reproductibilité comme une tâche de raisonnement au niveau du document, le cadre offre une voie pour :

• Accélérer les pipelines éditoriaux et le criblage de la littérature à grande échelle.
• Fournir des contrôles de qualité cohérents, transparents et reproductibles à travers divers domaines scientifiques.
• S'attaquer à la « crise de la reproductibilité » en identifiant les lacunes de rapport avant que des tentatives de réplication complète ne soient entreprises.

Les auteurs soulignent que la valeur du système réside dans sa capacité à fonctionner sans artefacts externes, le rendant applicable à la vaste majorité de la littérature publiée où le code et les données ne sont pas immédiatement disponibles. La robustesse des résultats à travers différents modèles et l'alignement avec les jugements humains sur un benchmark rigoureux suggèrent que la reconstruction structurée de flux de travail peut capturer des signaux significatifs de reproductibilité au-delà du simple parsing de documents.