Can AI Evaluate AI Scientists? A Benchmarking Study of Autonomous Research Generation Systems Using Automated Multi-Model Review

Technische Samenvatting: Benchmarking van Autonome Onderzoeksgeneratiesystemen

Probleemstelling
De snelle proliferatie van "AI Scientist"-systemen—autonome pipelines die in staat zijn om onderzoekspapers te genereren op basis van probleemvoorstellen met minimale menselijke supervisie—heeft de ontwikkeling van rigoureuze evaluatiemethodologieën ingehaald. Hoewel systemen zoals The AI Scientist, CycleResearcher en Data-to-Paper beloven de wetenschappelijke ontdekking te democratiseren en te versnellen, is er geen gestandaardiseerd kader om de kwaliteit van hun output te vergelijken. Traditionele menselijke peer review is op schaal evenredig duur en de bestaande geautomatiseerde evaluatiemethoden worstelen met het beoordelen van de meerdimensionale aard van wetenschappelijk onderzoek (originaliteit, rigor, helderheid en significantie) over diverse kaders heen. Deze studie adresseert de kritieke kloof in het systematisch bencmerken van deze autonome systemen om te bepalen welke architecturen onderzoek produceren dat het dichtst bij gevestigde kwaliteitsstandaarden ligt.

Methodologie
De auteurs hebben een rigoureuze, end-to-end vergelijkende benchmarkingstudie uitgevoerd waarbij vier leidende autonome AI Scientist-frameworks betrokken waren:

1. Sakana AI (v1 & v2): End-to-end pipelines die lineaire sequentiële executie gebruiken (v1) en agentic tree search met vision-language feedback (v2).
2. CycleResearcher: Een iteratief framework dat een Researcher Agent en een Reviewer Agent integreert, getraind via reinforcement learning op peer review datasets.
3. Data-to-Paper: Een datacentrisch workflow die empirische datasets als input accepteert om hypothesen en manuscripten te genereren.
4. FARS (Fully Automated Research System): Een multi-agent systeem dat dient als de benchmark-referentie, gebruikmakend van gespecialiseerde agents voor ideatie, planning, experimentatie (met toegang tot 160 NVIDIA GPU's) en schrijven.

Experimenteel Protocol:

• Input Standaardisatie: Alle systemen werden geëvalueerd op een consistente set van 15 onderzoeksvoorstellen uit de FARS-dataset. Om te voldoen aan de afwijkende inputvereisten van Data-to-Paper (dat datasets vereist in plaats van probleemspecificaties), werden aangepaste wrappers ontwikkeld om de bijbehorende empirische datasets uit GitHub-repositories te extraheren en voor te bewerken.
• Output Generatie: Elk framework genereerde papers voor de 15 voorstellen. Sakana v1 en v2 genereerden meerdere ideeën per voorstel, die vervolgens werden samengevoegd tot enkele geconsolideerde papers met behulp van een LLM-gebaseerd reconciliatiesysteem. Dit resulteerde in 60 papers van de vier frameworks plus 15 FARS benchmark papers (totaal 75).
• Geautomatiseerde Evaluatie: De auteurs gebruikten een multi-model evaluatieframework waarbij drie frontier Large Language Models (LLMs) als onafhankelijke reviewers fungeerden: GPT-5.4, Gemini 3.1 Pro, en Claude Opus 4.6.
• Evaluatiedimensies: Papers werden gescoord op een schaal van 1–5 over vier kerndimensies: Originaliteit (nieuwheid van bijdragen), Wetenschappelijke Rigor (methodologische deugdelijkheid), Helderheid (kwaliteit van de expositie) en Significantie (potentiële impact). Een synthese-score werd eveneens berekend.

Belangrijkste Resultaten

1. Prestatiekloof: De FARS benchmark papers presteerden significant beter dan alle concurrerende frameworks. FARS behaalde gemiddelde synthese-scores van 2.14–2.47 (op een schaal van 1–5) over de drie reviewer-modellen. In contrast scoorden de concurrerende systemen tussen de 1.00 en 1.87. Opvallend genoeg waren de FARS-scores meer dan 2× hoger dan die van de op één na beste systemen bij de Gemini en Claude evaluaties.
2. Reviewer Consistentie: Er was sterke overeenstemming tussen de Gemini en Claude reviewers (Spearman correlatie $\rho = 0.907, p < 0.001$), en beide correleerden extreem sterk met de synthese-score ($\rho = 0.961$). Echter, GPT-5.4 vertoonde zwakkere overeenstemming ($\rho \approx 0.32$) met de andere reviewers, wat suggereert dat het andere evaluatiecriteria hanteert.
3. Dimensionale Analyse: FARS demonstreerde superieure prestaties over alle dimensies, met name in Helderheid (2.87 vs. 1.60 voor de beste concurrent, CycleResearcher). Een casestudy over "Web-Agent Evaluatie" (Voorstel FA0006) benadrukte dat FARS concrete methodologieën succesvol operationaliseerde, terwijl concurrenten papers produceerden met "onontwikkelde methodologie" of "majele conceptuele fouten".
4. Efficiëntie vs. Kwaliteit Trade-off: Hoewel FARS de hoogste kwaliteit leverde, werd het niet opgenomen in de kostenvergelijking omdat het vooraf gegenereerd was. Onder de concurrerende frameworks was CycleResearcher de snelste (10 minuten/paper) maar had het lagere kwaliteitsscores. Data-to-Paper was de meest kosteneffectieve ($9/paper), terwijl Sakana v2 de traagste en duurste was ($26/paper). De studie vond dat snellere, goedkopere systemen systematisch onderpresteerden in de kwaliteit van de papers.

Kernbijdragen

• Eerste Rigoureuze Benchmark: Dit artikel presenteert de eerste kwantitatieve vergelijkende benchmark van belangrijke AI Scientist-systemen, waarbij vier leidende frameworks wordt geëvalueerd tegen een identieke set onderzoeksvoorstellen en een hoogwaardige referentiestandaard.
• Schaalbaar Evaluatieframework: De auteurs introduceren een praktisch, multi-model LLM-evaluatieframework dat onderzoekspapers beoordeelt over vier kerndimensies, waarbij zowel kwantitatieve scores als kwalitatieve feedback binnen 15–30 minuten per paper worden geleverd.
• Kwantitatief Bewijs van Gaten: De studie levert empirisch bewijs dat huidige concurrerende frameworks (Sakana, CycleResearcher, Data-to-Paper) aanzienlijk achterblijven bij de FARS-benchmark, met prestatiekloven die de 2× overstijgen in sleutelmetrieken.
• Validatie van Geautomatiseerde Review: De sterke correlatie tussen onafhankelijke LLM-reviewers (Gemini en Claude) valideert de betrouwbaarheid van geautomatiseerde evaluatie voor het beoordelen van autonome onderzoeksoutput, wat een schaalbare alternatief biedt voor menselijke peer review.

Significantie
Het paper vestigt een fundamentele benchmark voor het veld van autonome wetenschappelijke ontdekking. Door aan te tonen dat huidige AI Scientist-frameworks outputs produceren die substantieel lager in kwaliteit zijn dan een volwassen multi-agent referentiesysteem (FARS), benadrukt de studie de huidige beperkingen van volledig autonoom onderzoek. De resultaten suggereren dat hoewel deze systemen veelbelovend zijn, ze nog niet klaar zijn om publicatiewaardig onderzoek te genereren zonder substantiële menselijke supervisie. Verder biedt de validatie van multi-model LLM-evaluatie een noodzakelijk instrument voor de iteratieve verbetering van deze systemen, waardoor ontwikkelaars systematisch zwakheden kunnen identificeren en architecturen kunnen verfijnen. Het werk onderstreept de kritieke trade-off tussen computationele efficiëntie en onderzoeksoutput, wat richting geeft aan toekomstige implementatiebeslissingen in omgevingen met beperkte middelen.