SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science?

Die Wissenschaft hat sich schon immer auf Werkzeuge verlassen: das Teleskop, das ferne Sterne enthüllte, das Mikroskop, das die verborgene Welt der Zellen entschleierte, und der Teilchenbeschleuniger, der das Gefüge der Materie untersuchte. Heute ist eine neue Art von Werkzeug unverzichtbar geworden, eines, das nicht in einer Laborschublade lebt, sondern in der digitalen Welt des Computercodes. Diese Software ist nicht mehr nur ein Helfer, der Zahlen für einen Wissenschaftler berechnet; sie ist selbst zum Instrument geworden. Wenn ein Forscher ein neues Medikament simuliert, das Klima modelliert oder das Licht einer fernen Galaxie analysiert, führt er Programme aus, die als die eigentliche Linse fungieren, durch die er die Realität betrachtet. Wenn der Code einen Fehler enthält, ist das Ergebnis nicht bloß ein Computerfehler; es ist ein korrumpiertes Stück Evidenz, das eine wissenschaftliche Schlussfolgerung untergraben kann.

Seit Jahren versuchen Forscher, künstliche Intelligenz dazu zu bringen, diese fehlerhaften Programme zu reparieren. Sie haben Tests entwickelt, um zu sehen, ob ein Computer einen Bug-Report lesen und einen Patch schreiben kann, um die Software zu reparieren. Diese Tests haben gezeigt, dass Maschinen immer besser darin werden, einfache Codierungsfehler zu beheben. Eine entscheidende Frage blieb jedoch unbeantwortet: Können diese intelligenten Systeme die komplexe, hochriskante Welt der wissenschaftlichen Software bewältigen? In diesem Bereich muss eine Reparatur mehr tun, als nur ein Programm lauffähig zu machen; sie muss die empfindlichen Gesetze der Physik, Chemie oder Biologie bewahren, die der Code darzustellen versucht. Eine Reparatur, die die Software schneller laufen lässt, aber die wissenschaftliche Bedeutung verändert, ist ein Fehlschlag, selbst wenn der Computer angibt, den Test bestanden zu haben.

Ein Team von Forschern hat sich nun dieser Frage gestellt, indem es eine neue Testumgebung namens SWE-bench Science geschaffen hat. Sie sammelten 119 reale Aufgaben aus 98 verschiedenen Softwareprojekten, die von Wissenschaftlern in 20 verschiedenen Fachbereichen genutzt werden – von der Chemie und Biologie bis hin zur Astronomie und dem Bauingenieurwesen. Diese Aufgaben waren keine einfachen Übungen; sie wurden aus tatsächlichen Problemen abgeleitet, mit denen Wissenschaftler konfrontiert waren, wie etwa eine Simulation, die einen falschen Energiewert für einen Kristall liefert, oder ein Datenanalysetool, das die Koordinaten einer biologischen Probe falsch interpretiert. Die Forscher organisierten diese Herausforderungen in drei Typen. Einige waren direkte Reparaturen bekannter Bugs, andere erforderten, dass die KI wie ein Experte-Ermittler agierte, um herauszufinden, warum ein wissenschaftliches Ergebnis fehlerhaft aussah, und der Rest verlangte, dass die KI verstand, wie verschiedene Teile eines massiven Softwaresystems zusammenwirken, um einen gesamten Arbeitsablauf zu vervollständigen.

Die Ergebnisse dieses Experiments waren aufschlussreich. Selbst die fortschrittlichsten heute verfügbaren Coding-Agenten hatten erheblich zu kämpfen. Das leistungsstärkste System, ein hochentwickeltes Modell, das mit einem leistungsfähigen Coding-Assistenten ausgestattet war, konnte weniger als die Hälfte der Aufgaben korrekt lösen. Diese niedrige Erfolgsquote verdeutlicht eine tiefe Lücke zwischen dem, was heutige künstliche Intelligenz leisten kann, und dem, was für die Wartung wissenschaftlicher Software erforderlich ist. Die Forscher fanden heraus, dass diese Systeme scheiterten, wenn sie dies auf vier vorhersehbare Arten taten. Oft mangelte es der KI an dem spezifischen wissenschaftlichen Wissen, das nötig war, um das Problem zu verstehen, was dazu führte, dass sie Korrekturen vorschlug, die für einen Computer sinnvoll erschienen, aber gegen die Naturgesetze verstießen. Manchmal behob das System nur das oberflächliche Symptom, das es erkennen konnte, wie etwa eine Zahl, die falsch aussah, ohne den Fehler auf seine Ursache zurückzuverfolgen. In anderen Fällen funktionierte die Reparatur für einen Teil des Programms, unterbrach aber die Verbindung zu einem anderen Teil, wodurch die Integration der Reparatur in das Gesamtsystem fehlschlug. Schließlich versagte die KI häufig dabei, ein wissenschaftliches Prinzip auf neue Situationen anzuwenden, indem sie bei dem spezifischen Beispiel stecken blieb, das ihr gegeben wurde, und nicht in der Lage war, ihre Lösung zu generalisieren.

Um die Rolle wissenschaftlicher Erkenntnisse bei diesen Fehlern zu verstehen, führten die Forscher ein spezifisches Experiment durch. Sie nahmen eine Teilmenge der Aufgaben und führten sie zweimal durch: einmal mit zusätzlicher Hintergrundinformation über die beteiligte Wissenschaft für die KI und einmal ohne. Die Ergebnisse zeigten, dass diese Zusatzinformation kein Allheilmittel war. Bei einigen der stärkeren KI-Modelle führte die Bereitstellung des wissenschaftlichen Kontextes sogar dazu, dass sie etwas weniger wahrscheinlich das Problem perfekt lösten – vielleicht, weil der zusätzliche Text sie ablenkte oder dazu führte, dass sie sich zu sehr auf die bereitgestellte Erklärung statt auf das Testen ihrer eigenen Ideen verließen. Bei schwächeren Modellen half die Zusatzinformation zwar, erforderte aber auch mehr Rechenleistung. Dies deut lässt darauf schließen, dass das bloße Füttern einer KI mit Fakten nicht garantiert, eine bessere Reparatur zu erhalten; das System muss in der Lage sein, diese Fakten mit dem Code zu verknüpfen und sie durch Ausführung zu verifizieren.

Die Studie kommt zu dem Schluss, dass die künstliche Intelligenz zwar Fortschritte in der allgemeinen Softwareentwicklung macht, die einzigartigen Anforderungen der wissenschaftlichen Computertechnik jedoch eine formidable Herausforderung bleiben. Das Reparieren von wissenschaftlichem Code erfordert ein Maß an Verständnis, das über Syntax und Logik hinausgeht; es verlangt nach einem Verständnis der physikalischen und theoretischen Prinzipien, die der Code verkörpert. Bis diese Systeme zuverlässig zwischen einem Programm, das läuft, und einem Programm, das wissenschaftlich valide ist, unterscheiden können, wird die Aufgabe, die digitalen Instrumente der Wissenschaft zu warten, wahrscheinlich eine Aufgabe für menschliche Experten bleiben. Der neue Benchmark bietet eine klare Karte darüber, wo diese Systeme heute stehen, und zeigt, dass der Weg zu einer vollständig autonomen wissenschaftlichen Softwarereparatur noch lang und voller komplexer Hindernisse ist.