NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?
Das Paper führt NatureBench ein, einen Benchmark, der aus Publikationen der Nature-Familie abgeleitet wurde und offenbart, dass aktuelle KI-Coding-Agenten Schwierigkeiten haben, den bestehenden Stand der Technik bei echten wissenschaftlichen Entdeckungsprozessen zu übertreffen, wobei sie primär durch methodische Translation statt durch echte Erfindung erfolgreich sind und aufgrund falscher Methodenwahl sowie begrenzter Rechenbudgets scheitern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen gewaltigen Kochwettbewerb mit hohem Einsatz vor. Die Juroren (die Forscher) haben ein Kochbuch voller 90 unglaublich komplexer Rezepte aus den weltweit renommiertesten Fachzeitschriften der Kulinarik (der Nature-Familie wissenschaftlicher Journale). Dies sind nicht einfach nur „Rezepte für Toast“; es sind komplizierte Gerichte wie „Dekonstruktion einer Proteinstruktur“ oder „Vorhersage des Verhaltens eines neuen Wirkstoffmoleküls“.
Die Teilnehmer dieses Wettbewerbs sind KI-Coding-Agenten – intelligente Computerprogramme, die darauf ausgelegt sind, Code zu schreiben und Probleme zu lösen.
Hier ist der Clou: Die Teilnehmer dürfen die Originalrezepte nicht sehen. Es werden ihnen lediglich die Rohzutaten (die Daten) und eine Beschreibung gegeben, wie das fertige Gericht schmecken soll (das Ziel). Ihre Aufgabe ist es, ihre eigene Methode zu erfinden, um ein Gericht zu kreieren, das genauso gut oder sogar besser ist als die ursprüngliche, preisgekrönte Version.
Dies ist die Geschichte von NatureBench, einem neuen Test, der prüfen soll, ob KI von der bloßen Vervollständigung eines Rezepts zur eigentlichen Erfindung eines neuen Rezeptes übergehen kann.
Das Problem: Die „Copy-Paste“-Falle
Vor diesem Test waren viele KI-Benchmarks wie eine Aufgabe, bei der man einem Schüler ein Matheproblem und den Lösungsschlüssel gibt und ihn dann bittet, seinen Rechenweg aufzuzeigen. Wenn der Schüler einfach nur den Lösungsschlüssel kopiert hat, hat er bestanden. Aber echte Wissenschaft besteht nicht aus Kopieren; sie besteht aus Entdeckung.
Die Schöpfer von NatureBench stellten fest, dass frühere Tests unordentlich waren. Manchmal war die „Küche“ (die Computerumgebung) defekt oder die Zutaten fehlten, was es unmöglich machte, zu unterscheiden, ob die KI versagte, weil sie dumm war oder weil der Test manipuliert war.
Um dies zu beheben, bauten sie NatureGym. Stellen Sie sich NatureGym als eine superorganisierte, automatisierte Küchencrew vor.
- Der Filter: Sie scannten tausende Paper und wählten nur jene 90 aus, die fair waren, bei denen alle Zutaten verfügbar waren und die von einer Maschine bewertet werden konnten.
- Die Firewall: Sie bauten eine „Glaswand“ um die KI. Die KI kann die Zutaten und das Ziel sehen, aber sie kann nicht die Notizen des ursprünglichen Küchenchefs oder die Geheimzutat der Gewinner-Speise sehen.
- Der Container: Jede Aufgabe wird in ihre eigene, versiegelte, perfekte kleine Küche (einen Container) gestellt, damit die KI nicht durch die Nutzung externer Werkzeuge oder des Internets schummeln kann.
Der Wettbewerb: Wie hat die KI abgeschnitten?
Sie luden 10 der klügsten KI-„Köche“ (wie Claude Opus 4.7, GPT-5.5 und Gemini 3.5) ein, um diese 90 Gerichte anzugehen. Dabei galt die strikte Regel: Kein Googeln. Sie mussten es aus dem Stegreif lösen.
Die Ergebnisse waren ernüchternd:
- Der „Gut genug“-Club: Selbst die beste KI schaffte es nur in etwa 48 % der Fälle, das ursprüngliche, preisgekrönte Rezept zu replizieren.
- Der „Besser als das Original“-Club: Die KI schaffte es nur in gerade einmal 18 % der Fälle, ein besseres Gericht als das Original zu kreieren.
- Der Realitätscheck: In den restlichen 82 % der Fälle war das Ergebnis entweder ein Gericht, das schlechter als das Original war, oder die KI konnte das Gericht gar nicht erst fertigstellen.
Wie haben sie Erfolg gehabt (und warum sind sie gescheitert)?
Die Forscher untersuchten genau, wie die KI-Köche arbeiteten, um die Ergebnisse zu verstehen.
Die Gewinnstrategie: „Der Übersetzungs-Trick“
Wenn die KI erfolgreich war, kam sie meistens nicht auf eine brillante neue wissenschaftliche Entdeckung. Stattdessen wandte sie einen Trick an, den man Methodische Translation nennt.
- Die Analogie: Stellen Sie sich vor, das Originalrezept war für ein komplexes französisches Soufflé (ein schwieriges wissenschaftliches Problem). Die KI versuchte nicht, ein Soufflé zu machen. Stattdessen betrachtete sie die Zutaten und sagte: „Hey, das sieht aus wie eine Pizza, die ich schon mal gemacht habe!“ Sie verwandelte das schwierige wissenschaftliche Problem in ein einfaches, vertrautes Matheproblem, das sie schon millionenfach gesehen hatte.
- 45 % der Erfolge passierten, weil die KI die Wissenschaft einfach in ein Standard-„Rate das Ergebnis“-Spiel verwandelte. Sie erfand keine neue Wissenschaft, sondern wandte alte Tricks auf neue Daten an.
Die Verluststrategie: „Falsche Werkzeuge und Zeitmangel“
Wenn die KI scheiterte, lag es meist nicht daran, dass sie die Anweisungen nicht verstanden hatte.
- Falsches Werkzeug (45 %): Sie wählte das falsche „Küchengerät“. Sie versuchte, einen Mixer zu benutzen, obwohl sie einen Schneebesen benötigt hätte. Sie wählte eine Methode, die fundamental falsch für die Art des Problems war.
- Zeit-/Geldmangel (24 %): Die KI fing an zu kochen, lief aber entweder in das 4-Stunden-Zeitlimit oder in das Budget der benötigten Rechenleistung, bevor sie das Gericht vollenden konnte.
- Missverständnis (Selten): Es war sehr selten, dass die KI einfach nicht verstand, was das Gericht sein sollte.
Die Schwierigkeitsgrade
Nicht alle Rezepte waren gleich schwer.
- Die leichten Gerichte: Aufgaben mit „Relationalem Denken“ (Punkte verbinden) und „Proteinbiologie“ waren für die KI am einfachsten.
- Die schweren Gerichte: „Physikalische Modellierung“ (Simulation von Physik) und „Molekulares Design“ waren am schwierigsten.
- Die „Frankenstein“-Gerichte: Die schwierigsten Aufgaben waren jene, die zwei verschiedene Fachbereiche mischten (wie die Kombination von Biologie und Physik). Die KI hatte Mühe, Wissen aus verschiedenen „Küchenrichtungen“ zu kombinieren.
Das große Fazit
NatureBench zeigt uns, dass KI-Coding-Agenten zwar sehr gut darin werden, Anweisungen zu befolgen und Fehler zu beheben, aber sie sind noch keine wahren wissenschaftlichen Erfinder.
Sie sind exzellent darin, ein komplexes wissenschaftliches Problem zu nehmen und zu sagen: „Ich kenne eine Abkürzung dafür!“ Aber sie sind noch nicht gut darin, ein Problem zu betrachten und zu sagen: „Ich habe eine völlig neue Idee, an die noch kein Mensch gedacht hat.“
Das Paper kommt zu dem Schluss, dass wir aufhören müssen, die KI nur zu fragen, die Gewinner zu kopieren, und stattdessen anfangen müssen, sie zu lehren, wie man die richtigen Werkzeuge wählt und wie man wie ein Wissenschaftler denkt, nicht nur wie ein Programmierer.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.