💬 NLP

NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?

Het artikel introduceert NatureBench, een benchmark afgeleid van publicaties uit de Nature-familie die onthult dat huidige AI-codeeragenten moeite hebben om de bestaande SOTA te overtreffen bij echte wetenschappelijke ontdekkingstaken, waarbij ze primair slagen door methodologische vertaling in plaats van werkelijke uitvinding en falen door onjuiste methodekeuze en beperkte rekenbudgetten.

Oorspronkelijke auteurs: Yuru Wang, Lejun Cheng, Yuxin Zuo, Sihang Zeng, Bingxiang He, Che Jiang, Junlin Yang, Yuchong Wang, Kaikai Zhao, Weifeng Huang, Kai Tian, Zhenzhao Yuan, Jincheng Zhong, Weizhi Wang, Ning Ding, Bowen Z

Gepubliceerd 2026-06-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuru Wang, Lejun Cheng, Yuxin Zuo, Sihang Zeng, Bingxiang He, Che Jiang, Junlin Yang, Yuchong Wang, Kaikai Zhao, Weifeng Huang, Kai Tian, Zhenzhao Yuan, Jincheng Zhong, Weizhi Wang, Ning Ding, Bowen Zhou, Kaiyan Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een enorme, prestigieuze kookwedstrijd voor. De juryleden (de onderzoekers) hebben een kookboek vol met 90 ongelooflijk complexe recepten uit de meest vooraanstaande culinaire tijdschriften van de wereld (de Nature-familie van wetenschappelijke tijdschriften). Dit zijn niet zomaar "recepten om toast te maken"; het zijn ingewikkelde gerechten zoals "het deconstrueren van een eiwitstructuur" of "het voorspellen van het gedrag van een nieuw medicijnmolecuul."

De deelnemers aan deze wedstrijd zijn AI Coding Agents—slimme computerprogramma's die ontworpen zijn om code te schrijven en problemen op te lossen.

Hier is de twist: de deelnemers mogen de originele recepten niet zien. Ze krijgen alleen de rauwe ingrediënten (de data) en een beschrijving van hoe het eindgerecht moet smaken (het doel). Hun taak is om hun eigen methode uit te vinden om een gerecht te creëren dat net zo goed is als, of zelfs beter dan, de originele bekroonde versie.

Dit is het verhaal van NatureBench, een nieuwe test om te zien of AI kan evolueren van simpelweg een recept kopiëren naar het daadwerkelijk uitvinden van een nieuw recept.

Het Probleem: De "Kopieer-Plak" Valstrik

Vóór deze test waren veel AI-benchmarks als het geven van een wiskundeprobleem en het antwoordmodel aan een student, om vervolgens te vragen de berekening te laten zien. Als de student gewoon het antwoordmodel kopieerde, slaagde hij. Maar echte wetenschap gaat niet over kopiëren; het gaat over ontdekking.

De makers van NatureBench realiseerden zich dat eerdere tests rommelig waren. Soms was de "keuken" (de computermgeving) kapot, of ontbraken de ingrediënten, waardoor het onmogelijk was om vast te stellen of de AI faalde omdat hij dom was of omdat de test gemanipuleerd was.

Om dit op te lossen, bouwden ze NatureGym. Zie NatureGym als een supergeorganiseerde, geautomatiseerde keukenteam.

De Filter: Ze scanden duizenden papers en kozen er slechts 90 die eerlijk waren, waarbij alle ingrediënten beschikbaar waren en die door een machine beoordeeld konden worden.
De Firewall: Ze bouwden een "glazen wand" rond de AI. De AI kan de ingrediënten en het doel zien, maar kan de originele aantekeningen van de chef of het geheime sausje van het winnende gerecht niet zien.
De Container: Elke taak wordt in zijn eigen afgesloten, perfecte kleine keuken (een container) geplaatst, zodat de AI niet kan valsspelen door externe tools of het internet te gebruiken.

De Wedstrijd: Hoe deed de AI het?

Ze nodigden 10 van de slimste AI "chefs" uit (zoals Claude Opus 4.7, GPT-5.5 en Gemini 3.5) om deze 90 gerechten aan te pakken. Ze hadden een strikte regel: Niet Googelen. Ze moesten het uit het niets uitzoeken.

De resultaten waren nuchter:

De "Goed Genoeg" Club: Zelfs de beste AI slaagde er slechts in om het originele, bekroonde recept ongeveer 48% van de tijd te evenaren.
De "Beter Dan het Origineel" Club: De AI slaagde er slechts in om in slechts 18% van de gevallen een beter gerecht te creëren dan het origineel.
De Realiteitscheck: In de overige 82% van de gevallen maakte de AI óf een gerecht dat slechter was dan het origineel, óf slaagde de AI er niet in het af te maken.

Hoe slaagden ze (en waarom faalden ze)?

De onderzoekers keken nauwgezet naar hoe de AI-chefs werkten om de resultaten te begrijpen.

De Winningsstrategie: "De Translatie-truc"
Wanneer de AI slaagde, bedacht hij meestal geen briljante nieuwe wetenschappelijke ontdekking. In plaats daarvan gebruikte hij een truc genaamd Methodologische Translatie.

De Analogie: Stel dat het originele recept was voor een complexe Franse soufflé (een moeilijk wetenschappelijk probleem). De AI probeerde geen soufflé te maken. In plaats daarvan keek de AI naar de ingrediënten en zei: "Hé, dit lijkt op een pizza die ik al ken!" Hij veranderde het moeilijke wetenschappelijke probleem in een eenvoudig, bekend wiskundeprobleem dat hij al een miljoen keer had gezien.
45% van de successen kwam voort uit het feit dat de AI de wetenschap simpelweg veranderde in een standaard "raad het antwoord"-spelletje. Hij ontdekte geen nieuwe wetenschap; hij paste oude trucjes toe op nieuwe data.

De Verliesstrategie: "Verkeerde Gereedschappen en Tijdgebrek"
Wanneer de AI faalde, kwam dat meestal niet omdat hij de instructies niet begreep.

Verkeerd Gereedschap (45%): De AI koos het verkeerde "keukengereedschap". Hij probeerde een blender te gebruiken terwijl hij een garde nodig had. Hij koos een methode die fundamenteel onjuist was voor het type probleem.
Tijd/Geld Op (24%): De AI begon met koken, maar liep tegen de tijdslimiet van 4 uur aan of verbruikte al het computervermogen (budget) dat nodig was om het gerecht af te maken.
Misverstand (Zeldzaam): Het kwam zeer zelden voor dat de AI simpelweg niet begreep wat het gerecht moest zijn.

De Moeilijkheidsgraden

Niet alle recepten waren even moeilijk.

De Makkelijke Gerechten: Taken die te maken hebben met "Relationeel Redeneren" (punten verbinden) en "Eiwitbiologie" waren het makkelijkst voor de AI.
De Moeilijke Gerechten: "Fysische Modellering" (het simuleren van fysica) en "Moleculaire Ontwerp" waren het moeilijkst.
De "Frankenstein" Gerechten: De moeilijkste taken van allemaal waren de taken die twee verschillende velden mengden (zoals het mengen van biologie en fysica). De AI had moeite met het combineren van kennis uit verschillende "keukens".

De Belangrijkste Conclusie

NatureBench vertelt ons dat hoewel AI-coding agents erg goed worden in het opvolgen van instructies en het oplossen van bugs, ze nog geen echte wetenschappelijke uitvinders zijn.

Ze zijn uitstekend in het nemen van een complex wetenschappelijk probleem en zeggen: "Ik ken een kortere weg voor dit!" Maar ze zijn nog niet goed in het bekijken van een probleem en zeggen: "Ik heb een gloednieuw idee dat nog nooit door een mens is bedacht."

Het artikel concludeert dat voor AI om echt bij te dragen aan de wetenschap, we moeten stoppen met alleen maar te vragen om de winnaars te kopiëren, en moeten beginnen met het leren van de AI hoe ze de juiste instrumenten kiezen en moeten denken als een wetenschapper, en niet alleen als een programmeur.

Technische Samenvatting: NatureBench

Probleemstelling

Naarmate AI-coderingsagenten evolueren van het reproduceren van gepubliceerde code naar het uitvoeren van autonoom wetenschappelijk onderzoek, is er een kritiek evaluatiegat ontstaan. Bestaande benchmarks voor wetenschappelijke agenten lijden onder twee primaire beperkingen:

Reproductie versus Ontdekking: Huidige paper-gebaseerde benchmarks (bijv. PaperBench, CORE-Bench) testen primair het vermogen van een agent om een gepubliceerde methode te reproduceren. Ze beantwoorden niet de vraag of een agent onafhankelijk een concurrerende of superieure methode kan ontdekken op echte wetenschappelijke problemen.
Fragmentatie van de Omgeving: Benchmarks voor engineering-optimalisatie (bijv. MLE-bench, PostTrainBench) vertrouwen vaak op Kaggle-stijl taken of post-training doelstellingen die het domeinredeneren en de gespecialiseerde tooling van de natuurwetenschappen missen. Bovendien lijden ze aan fragmentatie van de omgeving, waardoor onafhankelijke verificatie en reproduceerbare uitvoering fragiel zijn.

Er is behoefte aan een benchmark die zowel uitdagend als bidirectioneel is: het testen of agenten methoden kunnen bedenken die de gepubliceerde state-of-the-art (SOTA) overtreffen op echte wetenschappelijke problemen uit de natuurwetenschappen, in plaats van op engineering-proxies.

Methodologie: NatureGym en NatureBench

De auteurs introduceren NatureBench, een cross-discipline benchmark van 90 taken gedestilleerd uit peer-reviewed publicaties uit de Nature-familie, gebouwd op NatureGym, een geautomatiseerde pipeline ontworpen om papers om te zetten in reproduceerbare, gecontaineriseerde taakpakketten.

1. De NatureGym-pipeline

NatureGym lost het probleem van omgevingsfragmentatie op via een driestaps, door review beoordeelde pipeline die een bronpaper transformeert naar een gestandaardiseerd taakpakket:

Fase 1: Paper Filtering: Een drielaags cascadefilter evalueert papers op basis van taak-extraheerbaarheid (moet een ML-taak opleveren), evaluatie-automatiseerbaarheid (moet een deterministische, geautomatiseerde metriek hebben) en data-volledigheid (publiek toegankelijk, <50GB). Een adversariële review-stap richt zich op fout-positieven.
Fase 2: Dataset Acquisitie & Verificatie: De pipeline downloadt data en stelt een strikt informatiebrandmuur op. Het scheidt de taakdefinitie (inputs) van het kernalgoritme van de bronpaper (outputs/methoden). Alleen de bestanden die nodig zijn om de taak te definiëren (bijv. ruwe inputs, gedeelde datapreparatie) worden behouden; bestanden die specifiek zijn voor het oorspronkelijke algoritme worden uitgesloten.
Fase 3: Taakpakket Constructie: Het definitieve pakket bevat een taakbrief, dataset, een gehouden testset met verborgen grondwaarheid (ground truth), en een geautomatiseerde evaluator. De bronmethode wordt volledig verwijderd, wat agenten dwingt om oplossingen te ontdekken in plaats van ze te reproduceren.

2. Benchmark Samenstelling

Bron: 90 taken afgeleid van 10 Nature-familie tijdschriften (2022–2025), inclusief Nature Machine Intelligence, Nature Methods, en Nature Biomedical Engineering.
Domeinen: Zes wetenschappelijke taakdomeinen: Cellular Omics (31 taken), Protein Biology (16), Biomedical Modeling (14), Physical Modeling (13), Molecular Design (11), en Relational Reasoning (5).
Evaluatieprotocol: Agenten opereren in geïsoleerde Docker-containers met een wall-clock budget van 4 uur en beperkte toegang (geen websearch). Ze dienen iteratieve oplossingen in die gescoord worden tegenover de gerapporteerde SOTA uit de paper.
Metriek: De primaire metriek is de SOTA-genormaliseerde relatieve kloof ( $g$ ):
$g_i = \text{dir}_i \cdot \frac{m_i - m_{\text{sota}}}{|m_{\text{sota}}|}$
Waar $m_i$ de score van de agent is en $m_{\text{sota}}$ de gerapporteerde SOTA van de paper. Een waarde $g > 0.1$ geeft aan dat de SOTA is overtroffen; $g \ge 0$ geeft aan dat de SOTA is gematcht.

3. Experimentele Opstelling

Tien frontier agent-configuraties werden geëvalueerd onder een strikt protocol waarbij websearch uitgeschakeld was. Deze omvatten modellen uit drie harnesses:

Claude Code: Gekoppeld aan Claude Opus 4.6, 4.7, Kimi K2.6, MiniMax-M2.7, DeepSeek-V4-Pro, GLM-5.1, en Qwen 3.7 Max.
Codex CLI: Gekoppeld aan GPT-5.4 en GPT-5.5.
Gemini CLI: Gekoppeld aan Gemini 3.5 Flash.

Belangrijkste Resultaten

1. Prestaties vs. Gepubliceerde SOTA

Zelfs de sterkste agenten worstelen om de gepubliceerde SOTA te overtreffen op echte wetenschappelijke problemen:

SOTA Overtroffen ( $g > 0.1$ ): De beste performer, Claude Opus 4.7, overtrof de SOTA op slechts 17,8% van de taken. De op één na beste, Gemini 3.5 Flash en GPT-5.5, behaalden respectievelijk 15,6% en 14,4%. Het zwakste model (MiniMax-M2.7) behaalde slechts 1,1%.
SOTA Gematcht ( $g \ge 0$ ): De beste agent matchte of overtrof de SOTA op 47,8% van de taken. De overige agenten varieerden tussen 13,3% en 37,8%.
Validiteit: De Claude Opus-agenten vertoonden de hoogste integriteit, met 100% voltooiings- en score-rates en nul ongeldige (shortcut) inzendingen.

2. Analyse van Succes- en Faalmechanismen

Succespaden: Wanneer agenten slagen, doen ze dat primair door methodologische translatie (45,5% van de successen), waarbij complexe wetenschappelijke taken worden omgezet naar bekende supervised predictieproblemen. Echte wetenschappelijke uitvinding of domein-gebaseerd redeneren maakte minder dan 10% van de successen uit.
Faalmodi: Falen wordt gedomineerd door verkeerde methodekeuze (45,1%) en onvoldoende compute budget/tijd (24,4%). Het misverstaan van de taak of het produceren van malafide output vormt een verwaarloosbaar deel van de fouten.
Domeincomplexiteit: Er bestaat een consistente moeilijkheidsgraad-gradiënt over de domeinen. Relational Reasoning en Protein Biology zijn het makkelijkst, terwijl Biomedical Modeling en Molecular Design het moeilijkst zijn. Interdisciplinaire taken (die meerdere domeinen combineren) vertonen consistent grotere kloven tot de SOTA dan single-discipline taken.

Betekenis en Claims

Het artikel claimt dat NatureBench de eerste benchmark is die paper-gebaseerde taken, echte wetenschappelijke domeinen en ontdekkingsgerichte evaluatie (het overtreffen van SOTA) combineert in één enkel framework.

Voorbij Reproductie: De resultaten geven aan dat huidige AI-coderingsagenten in staat zijn tot engineering-optimalisatie en het reproduceren van bekende patronen, maar nog niet in staat zijn tot echte wetenschappelijke ontdekking die consequent menselijke methoden uit de literatuur overtreft.
De "Translatie"-bottleneck: De dominante succes-mechanisme is de translatie van wetenschappelijke problemen naar standaard ML-pipelines, wat suggereert dat agenten momenteel eerder "AI-voor-wetenschap" versnellers zijn dan "AI-native" probleemoplossers. Ze blinken uit in het toepassen van bekende ML-tools, maar worstelen met de methodologische keuzes die vereist zijn voor nieuwe wetenschappelijke ontdekkingen.
Benchmark Validiteit: De auteurs stellen dat het ontwerp van de benchmark, met name de informatiebrandmuur en de SOTA-genormaliseerde metriek, een geloofwaardige, reproduceerbare en gestandaardiseerde manier biedt om autonoom wetenschappelijk onderzoek te evalueren, waarmee de fragmentatie- en geloofwaardigheidsproblemen van eerdere benchmarks worden geadresseerd.

De auteurs stellen de benchmark, de NatureGym-pipeline en een publieke leaderboard beschikbaar om toekomstig onderzoek te faciliteren naar het omzetten van deze substraten in trainingsdata voor de volgende generatie wetenschappelijke ontdekkingsagenten.