SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science?

De wetenschap heeft altijd vertrouwd op instrumenten: de telescoop die verre sterren onthulde, de microscoop die de verborgen wereld van cellen blootlegde, en de deeltjesversneller die de structuur van materie onderzocht. Vandaag de dag is een nieuw soort instrument onmisbaar geworden, een dat niet in een laboratoriumlade leeft, maar in de digitale wereld van computercode. Deze software is niet langer slechts een hulpmiddel dat getallen verwerkt voor een wetenschapper; het is zelf het instrument geworden. Wanneer een onderzoeker een nieuw medicijn simuleert, het klimaat modelleert of het licht van een verre sterrenstelsel analyseert, draait hij programma's die fungeren als de lens waardoor hij de werkelijkheid waarneemt. Als de code een fout bevat, is het resultaat niet louter een computercatastrofe; het is een gecorrumpeerd stuk bewijs dat een wetenschappelijke conclusie kan ondermijnen.

Jarenlang hebben onderzoekers geprobeerd kunstmatige intelligentie te leren deze defecte programma's te repareren. Ze hebben tests ontwikkeld om te zien of een computer een foutrapport kan lezen en een patch kan schrijven om de software te herstellen. Deze tests hebben aangetoond dat machines steeds beter worden in het oplossen van eenvoudige programmeerfouten. Er bleef echter een cruciale vraag onbeantwoord: kunnen deze intelligente systemen omgaan met de complexe, risicovolle wereld van wetenschappelijke software? In dit domein moet een reparatie meer doen dan alleen een programma laten draaien; het moet de delicate wetten van de fysica, chemie of biologie bewaren die de code probeert te representeren. Een reparatie die de software sneller laat draaien maar de wetenschappelijke betekenis verandert, is een mislukking, zelfs als de computer zegt dat de test is geslaagd.

Een team van onderzoekers heeft deze vraag nu aangepakt door een nieuwe testomgeving te creëren genaamd SWE-bench Science. Ze verzamelden 119 real-world taken uit 98 verschillende softwareprojecten die door wetenschappers worden gebruikt in 20 verschillende vakgebieden, variërend van chemie en biologie tot astronomie en civiele techniek. Deze taken waren geen eenvoudige oefeningen; ze waren afkomstig van daadwerkelijke problemen waar wetenschappers tegenaan liepen, zoals een simulatie die de verkeerde energiewaarde voor een kristal produceerde of een data-analysetool die de coördinaten van een biologisch monster verkeerd interpreteerde. De onderzoekers deelden deze uitdagingen in drie typen in. Sommigen waren rechttoe rechtaandere reparaties van bekende bugs, anderen vereisten dat de AI optrad als een deskundig onderzoeker om uit te zoeken waarom een wetenschappelijk resultaat er onjuist uitzag, en de rest vereiste dat de AI begreep hoe verschillende onderdelen van een massief softwaresysteem samenwerkten om een volledig proces te voltooien.

De resultaten van dit experiment waren veelzeggend. Zelfs de meest geavanceerde programmeeragenten die vandaag de dag beschikbaar zijn, hadden het aanzienlijk moeilijk. Het best presterende systeem, een geavanceerd model uitgerust met een krachtige programmeerassistent, slaagde erin minder dan de helft van de taken correct op te lossen. Dit lage succespercentage benadrukt een diepe kloof tussen wat de huidige kunstmatige intelligentie kan en wat vereist is voor het onderhoud van wetenschappelijke software. De onderzoekers ontdekten dat wanneer deze systemen faalden, ze dat op vier voorspelbare manieren deden. Vaak ontbrak het de AI aan de specifieke wetenschappelijke kennis die nodig is om het probleem te begrijpen, wat leidde tot voorstellen voor oplossingen die logisch waren voor een computer, maar de natuurwetten schonden. Somsals de systemen slechts het oppervlakkige symptoom aanpakten dat ze konden zien, zoals een getal dat er onjuist uitzag, zonder de fout terug te traceren naar de bron. In andere gevallen werkte de reparatie wel voor één deel van het programma, maar verbrak het de verbinding met een ander deel, waardoor de reparatie niet integreerde in het grotere systeem. Ten slotte faalde de AI vaak in het toepassen van een wetenschappelijk principe op nieuwe situaties, waarbij het vastliep op het specifieke voorbeeld dat het kreeg en niet in staat was de oplossing te generaliseren.

Om de rol van wetenschappelijke kennis bij deze fouten te begrijpen, voerden de onderzoekers een specifiek experiment uit. Ze namen een subset van de taken en draaiden ze twee keer: één keer waarbij de AI extra achtergrondinformatie kreeg over de betrokken wetenschap, en één keer zonder. De resultaten toonden aan dat deze extra informatie geen wondermiddel was. Voor sommige van de sterkere AI-modellen zorgde het verstrekken van wetenschappelijke context er zelfs voor dat ze iets minder waarschijnlijk een probleem perfect oplosten, mogelijk omdat de extra tekst hen afleidde of ertoe leidde dat ze te veel vertrouwden op de verstrekte uitleg in plaats van hun eigen ideeën te testen. Voor zwakkere modellen hielp de extra informatie wel, maar vereiste het ook meer rekenkracht. Dit suggereert dat het simpelweg voeden van een AI met meer feiten niet garandeert dat er een betere reparatie plaatsvindt; het systeem moet in staat zijn die feiten te verbinden met de code en ze te verifiëren door middel van uitvoering.

De studie concludeert dat hoewel kunstmatige intelligentie stappen zet in algemene software engineering, de unieke eisen van wetenschappelijke computing een formidabele uitdaging blijven. Het repareren van wetenschappelijke code vereist een niveau van begrip dat verder gaat dan syntaxis en logica; het vereist een begrip van de fysieke en theoretische principes die de code belichaamt. Totdat deze systemen betrouwbaar het onderscheid kunnen maken tussen een programma dat draait en een programma dat wetenschappelijk valide is, zal de taak van het onderhoud van de digitale instrumenten van de wetenschap waarschijnlijk een baan voor menselijke experts blijven. De nieuwe benchmark biedt een duidelijke kaart van waar deze systemen zich vandaag de dag bevinden, en laat zien dat de weg naar volledig autonome wetenschappelijke softwarereparatie nog lang is en vol complexe obstakels zit.