Technische Samenvatting: CORE-Bench

Probleemstelling

Computationele reproduceerbaarheid—het vermogen om de resultaten van wetenschappelijke studies te reproduceren met behulp van de verstrekte code en data—is een hoeksteen van het wetenschappelijke proces. Ondanks de brede beschikbaarheid van data en code, faalt echter een aanzienlijk deel van de studies in diverse vakgebieden (waaronder informatica, geneeskunde, economie en psychologie) in computationele reproduceerbaarheid. Uitdagingen zijn onder meer ongespecificeerde bibliotheekversies, architecturale verschillen (bijv. ARM versus x86), incompatibiliteit van besturingssystemen en inherente variantie in resultaten.

Hoewel recente vooruitgang in AI-agenten en compound AI-systemen veelbelovend is gebleken voor het automatiseren van complexe programmeertaken (bijv. SWE-bench), ontbreekt het aan benchmarks die zijn ontworpen om agenten te evalueren op de specifieke, routinematige, maar cruciale taak van het reproduceren van bestaand wetenschappelijk onderzoek. Voordat agenten kunnen worden vertrouwd om nieuw wetenschappelijk onderzoek te verrichten, moeten ze eerst het vermogen demonstreren om bestaand werk getrouw te reproduceren.

Methodologie

Benchmark Constructie (CORE-Bench)

De auteurs introduceren CORE-Bench (Computational Reproducibility Agent Benchmark), een dataset bestaande uit 270 taken afgeleid van 90 wetenschappelijke papers uit drie disciplines: Informatica, Sociale Wetenschappen en Geneeskunde. De papers zijn afkomstig van CodeOcean, een platform dat bekend staat om het hosten van reproduceerbare research capsules, wat garandeert dat er een grondwaarheid (ground truth) voor succesvolle reproductie bestaat.

Selectiecriteria:
De auteurs filterden 5.090 CodeOcean capsules aan de hand van tien criteria om haalbaarheid en constructvaliditeit te waarborgen (Tabel 2). Belangrijke criteria waren onder meer:

• Overeenkomst met een publiek toegankelijke paper.
• Implementatie in Python of R.
• Aanwezigheid van een README-bestand.
• Executietijd van minder dan 45 minuten op standaard hardware.
• Lage variantie in resultaten (om deterministische of bijna deterministische outputs te garanderen).
• Grootte onder de 10 GB.

Taak Moeilijkheidsgraden:
Om een spectrum aan agent-capaciteiten te evalueren, creëerden de auteurs drie moeilijkheidsgraden voor elk van de 90 papers (Tabel 3):

1. CORE-Bench-Easy: De agent krijgt de volledige code-output van een succesvolle run toegewezen. De taak is puur informatie-extractie uit bestaande tekst of figuren.
2. CORE-Bench-Medium: De agent krijgt een Dockerfile en tekstuele instructies toegewezen. De agent moet het Docker-commando uitvoeren om de code te reproduceren en vervolgens de resultaten extraheren.
3. CORE-Bench-Hard: De agent krijgt alleen het README-bestand toegewezen. De agent moet onafhankelijk afhankelijkheden installeren, het juiste uitvoeringscommando bepalen, de code draaien en de resultaten extraheren. Dit niveau bootst de real-world scenario na van het reproduceren van een paper zonder vooraf verpakte containers.

Evaluatiemetrieken:

• Nauwkeurigheid (Accuracy): Een taak wordt pas als correct gemarkeerd als de agent alle bijbehorende vragen correct beantwoordt. Vragen vereisen het extraheren van specifieke waarden (bijv. modelnauwkeurigheid, as-labels, correlatiecoëfficiënten) uit terminal-outputs, PDF's, HTML of figuren.
• Visie-Taal Integratie: Taken bevatten zowel tekstgebaseerde vragen als visuele vragen die de analyse van figuren en plots vereisen.
• Evaluatie Harness: Om eerlijkheid en paralleliseerbaarheid te garanderen, hebben de auteurs een evaluatie harness gebouwd die elke agent-taak-combinatie in een geïsoleerde Virtuele Machine (VM) draait. Dit voorkomt dat agenten de benchmark manipuleren en maakt het mogelijk om honderden taken parallel te draaien, waardoor de evaluatietijd wordt teruggebracht van ~20 dagen (sequentieel) naar ~2 uur.

Baseline Agenten

De auteurs evalueerden twee agent-architecturen met gebruik van GPT-4o en GPT-4o-mini als de onderliggende LLM's:

1. AutoGPT: Een algemene agent met minimale aanpassingen (toevoeging van een query_vision_language_model tool).
2. CORE-Agent: Een taakspecifieke variant van AutoGPT, aangepast voor elk moeilijkheidsniveau. De aanpassingen omvatten:
   • Programmatische controles om de indiening van een correct geformatteerde report.json te waarborgen.
   • Specifieke prompting-hints (bijv. het gebruik van pdftotext voor PDF's, het prioriteren van specifieke bestanden, het gebruik van absolute paden in plaats van omgevingsvariabelen, en het vooraf installeren van afhankelijkheden voordat de code wordt gedraaid).

Belangrijkste Resultaten

Algemene Prestaties:

• CORE-Agent (GPT-4o) behaalde de hoogste prestaties: 60,00% op Easy, 57,78% op Medium, en 21,48% op Harde taken.
• AutoGPT (GPT-4o) presteerde aanzienlijk lager, vooral op Harde taken (6,67%), wat het belang van taakspecifieke aanpassingen benadrukt.
• GPT-4o-mini vertoonde een lagere nauwkeurigheid over alle agenten en moeilijkheidsgraden, maar demonstreerde een gunstige kost-nauwkeurigheid-verhouding.

Belangrijke Observaties:

1. Impact van Taakspecifieke Aanpassingen: Het aanpassen van een generalistische agent (AutoGPT) met specifieke prompts en beperkingen (CORE-Agent) leverde enorme verbeteringen op, vooral voor zwakkere modellen (bijv. GPT-4o-mini verbeterde van 8,89% naar 44,44% op Easy taken).
2. Moeilijkheidsgradiënt: De prestaties daalden aanzienlijk naarmate de moeilijkheid toenam, wat bevestigt dat dependency management en commando-executie (Hard level) nog steeds grote knelpunten zijn.
3. Modaliteitsverschillen: Agenten presteerden aanzienlijk beter op tekstgebaseerde vragen (87,88% op Easy) dan op visuele vragen (59,26% op Easy), waarbij ze vaak moeite hadden om relevante figuren te identificeren tussen meerdere outputs.
4. Taalverschillen: Python-taken waren aanzienlijk gemakkelijker te reproduceren dan R-taken, deels door de complexiteit van het parsen van door R gegenereerde PDF-manuscripten en langere installatietijden voor afhankelijkheden.
5. Foutmodi (Failure Modes): Veelvoorkomende fouten waren:
   • Informatie ophalen uit de verkeerde figuur of bestand.
   • Docker-instructies negeren en proberen handmatig te reproduceren (wat leidde tot contextlimieten).
   • Vastlopen in loops tijdens de installatie van afhankelijkheden (Hard level).
   • Pogingen om toegang te krijgen tot externe websites (bijv. CodeOcean) die JavaScript-rendering vereisen, wat de agenten niet konden afhandelen.

Betekenis en Claims

Het paper stelt dat het reproduceren van bestaand onderzoek een noodzakelijke voorwaarde is voor het bouwen van agenten die in staat zijn tot het verrichten van nieuw wetenschappelijk onderzoek. De auteurs claimen dat:

1. Haalbaarheid van Automatisering: Hoewel volledige automatisering van computationele reproduceerbaarheid momenteel moeilijk is (21% nauwkeurigheid op de moeilijkste taken), is het niet onmogelijk. Eenvoudige, taakspecifieke aanpassingen aan generalistische agenten kunnen substantiële prestatiewinsten opleveren.
2. Nut van CORE-Bench: De benchmark biedt een gestandaardiseerde, realistische en uitdagende omgeving om de voortgang van agenten te meten. Het dekt een diverse set vaardigheden, inclus\nclusief coderen, interactie met de shell, retrieval en visie-taal interpretatie.
3. Real-World Toepassing: Succesvolle agenten zouden auteurs kunnen helpen bij het verifiëren van reproduceerbaarheid vóór publicatie, onafhankelijke onderzoekers helpen bij het repliceren van studies, en redacteuren van tijdschriften helpen bij het beoordelen van inzendingen.
4. Veiligheid en Guardrails: De studie benadrukt de noodzaak van betere guardrails om te voorkomen dat agenten onveilige of onverwachte acties ondernemen (bijv. het aanmaken van duizenden accounts of het falen bij het renderen van JavaScript-afhankelijke sites) wanneer ze worden ingezet in real-world wetenschappelijke workflows.

De auteurs concluderen dat hoewel de huidige staat van agenten "veel ruimte voor verbetering" laat, CORE-Bench dient als een fundamentele stap naar het stimuleren van de ontwikkeling van betrouwbare research-agenten en het verbeteren van de algehele staat van computationele reproduceerbaarheid in de wetenschap.