Can AI Evaluate AI Scientists? A Benchmarking Study of Autonomous Research Generation Systems Using Automated Multi-Model Review

Résumé Technique : Évaluation Comparative des Systèmes de Génération de Recherche Autonome

Énoncé du Problème
La prolifération rapide des systèmes de type « Scientifique IA » — des pipelines autonomes capables de générer des articles de recherche à partir de propositions de problèmes avec une supervision humaine minimale — a dépassé le développement de méthodologies d'évaluation rigoureuses. Bien que des systèmes tels que The AI Scientist, CycleResearcher et Data-to-Paper promettent de démocratiser et d'accélérer la découverte scientifique, il n'existe aucun cadre normalisé pour comparer la qualité de leurs productions. L'examen par les pairs humain traditionnel est prohibitif en termes de coût à grande échelle, et les méthodes d'évaluation automatisées existantes peinent à évaluer la nature multidimensionnelle de la recherche scientifique (originalité, rigueur, clarté et importance) à travers divers cadres. Cette étude aborde l'écart critique consistant à évaluer systématiquement ces systèmes autonomes afin de déterminer quelles architectures produisent une recherche la plus proche des standards de qualité établis.

Méthodologie
Les auteurs ont mené une étude comparative rigoureuse de bout en bout impliquant quatre principaux cadres de Scientifique IA autonome :

1. Sakana AI (v1 & v2) : Des pipelines de bout en bout utilisant une exécution séquentielle linéaire (v1) et une recherche arborescente agentique avec rétroaction de langage-vision (v2).
2. CycleResearcher : Un cadre itératif intégrant un Agent Chercheur et un Agent Réviseur, entraîné par apprentissage par renforcement sur des jeux de données de révision par les pairs.
3. Data-to-Paper : Un flux de travail centré sur les données qui accepte des ensembles de données empiriques en entrée pour générer des hypothèses et des manuscrits.
4. FARS (Fully Automated Research System) : Un système multi-agents servant de référence de benchmark, utilisant des agents spécialisés pour l'idéation, la planification, l'expérimentation (avec accès à 160 GPU NVIDIA) et la rédaction.

Protocole Expérimental :

• Standardisation des Entrées : Tous les systèmes ont été évalués sur un ensemble cohérent de 15 propositions de recherche issues du jeu de données FARS. Pour s'adapter aux exigences distinctes de Data-to-Paper (qui nécessite des jeux de données plutôt que des spécifications de problèmes), des wrappers personnalisés ont été développés pour extraire et prétraiter les données empiriques associées à partir de dépôts GitHub.
• Génération de Sorties : Chaque cadre a généré des articles pour les 15 propositions. Sakana v1 et v2 ont généré plusieurs idées par proposition, qui ont ensuite été fusionnées en articles consolidés uniques à l'aide d'un système de réconciliation basé sur un LLM. Cela a abouti à 60 articles provenant des quatre cadres, plus 15 articles de référence FARS (75 au total).
• Évaluation Automatisée : Les auteurs ont employé un cadre d'évaluation multi-modèles utilisant trois LLM de pointe comme réviseurs indépendants : GPT-5.4, Gemini 3.1 Pro et Claude Opus 4.6.
• Dimensions d'Évaluation : Les articles ont été notés sur une échelle de 1 à 5 selon quatre dimensions centrales : Originalité (nouveauté des contributions), Rigueur Scientifique (solidité méthodologique), Clarté (qualité de l'exposition) et Importance (impact potentiel). Un score de synthèse a également été calculé.

Résultats Clés

1. Écart de Performance : Les articles de référence FARS ont nettement surpassé tous les cadres concurrents. FARS a obtenu des scores de synthèse moyens de 2,14–2,47 (sur une échelle de 1 à 5) à travers les trois modèles de réviseurs. En revanche, les systèmes concurrents ont obtenu des scores compris entre 1,00 et 1,87. Notamment, les scores de FARS étaient plus de 2 fois supérieurs aux systèmes suivants lors des évaluations par Gemini et Claude.
2. Cohérence des Réviseurs : Il y avait un accord fort entre les réviseurs Gemini et Claude (corrélation de Spearman $\rho = 0,907, p < 0,001$), et les deux corrélaient extrêmement fortement avec le score de synthèse ($\rho = 0,961$). Cependant, GPT-5.4 présentait un accord plus faible ($\rho \approx 0,32$) avec les autres réviseurs, suggérant qu'il utilise des critères d'évaluation différents.
3. Analyse Dimensionnelle : FARS a démontré une performance supérieure dans toutes les dimensions, particulièrement en Clarté (2,87 contre 1,60 pour le meilleur concurrent, CycleResearcher). Une étude de cas sur l'« Évaluation d'Agent Web » (Proposition FA0006) a souligné que FARS a réussi à opérationnaliser des méthodologies concrètes, tandis que les concurrents ont produit des articles avec une « méthodologie sous-développée » ou des « défauts conceptuels majeurs ».
4. Compromis Efficacité vs Qualité : Bien que FARS ait été le plus qualitatif, il n'a pas été inclus dans la comparaison des coûts car il était pré-généré. Parmi les cadres concurrents, CycleResearcher était le plus rapide (10 minutes/article) mais présentait des scores de qualité plus faibles. Data-to-Paper était le plus rentable (9 $/article), tandis que Sakana v2 était le plus lent et le plus coûteux (26 $/article). L'étude a révélé que les systèmes plus rapides et moins chers sous-performent systématiquement en termes de qualité de l'article.

Contributions Clés

• Premier Benchmark Rigoureux : Ce document présente le premier benchmark comparatif quantitatif des principaux systèmes de Scientifique IA, évaluant quatre cadres de pointe sur des propositions de recherche identiques par rapport à un standard de référence de haute qualité.
• Cadre d'Évaluation Scalable : Les auteurs introduisent un cadre d'évaluation par LLM multi-modèles pratique qui évalue les articles de recherche selon quatre dimensions centrales, fournissant à la fois des scores quantitatifs et des retours qualitatifs en 15 à 30 minutes par article.
• Preuve Quantitative des Écarts : L'étude fournit des preuves empiriques que les cadres concurrents actuels (Sakana, CycleResearcher, Data-to-Paper) accusent un retard significatif par rapport au benchmark FARS, avec des écarts de performance dépassant 2× dans les indicateurs clés.
• Validation de la Révision Automatisée : La forte corrélation entre les réviseurs LLM indépendants (Gemini et Claude) valide la fiabilité de l'évaluation automatisée pour évaluer la qualité de la recherche autonome, offrant une alternative scalable à la révision par les pairs humaine.

Signification
Ce document établit un benchmark fondamental pour le domaine de la découverte scientifique autonome. En démontrant que les cadres actuels de Scientifique IA produisent des résultats dont la qualité est substantiellement inférieure à celle d'un système de référence multi-agents mature (FARS), l'étude met en lumière les limites actuelles de la recherche entièrement autonome. Les résultats suggèrent que bien que ces systèmes soient prometteurs, ils ne sont pas encore prêts à générer une recherche de qualité publiable sans une supervision humaine substantielle. De plus, la validation de l'évaluation par LLM multi-modèles fournit un outil nécessaire pour l'amélioration itérative de ces systèmes, permettant aux développeurs d'identifier systématiquement les faiblesses et d'affiner les architectures. Ce travail souligne le compromis critique entre l'efficacité computationnelle et la qualité de la recherche, informant les décisions de déploiement futurs dans des environnements à ressources limitées.