SciCodePile: A 128GB Corpus and Executable Benchmark for Challenging Scientific Code Generation
Dit artikel introduceert SciCodePile, een enorme wetenschappelijke code-corpus van 128 GB en een uitvoerbare benchmark van 200 taken, om aan te tonen dat huidige grote taalmodellen aanzienlijk moeite hebben met het genereren van wetenschappelijke code, terwijl het tegelijkertijd laat zien dat training op deze dataset hun prestaties substantieel verbetert.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente robot probeert te leren hoe hij code moet schrijven. Je hebt hem de basis al geleerd: hoe je een eenvoudige website bouwt, hoe je een rekenmachine maakt of hoe je een afspeellijst organiseert. Hij is best goed in deze "algemene" taken omdat hij miljoenen boeken en websites daarover heeft gelezen. Maar nu wil je zien of deze robot de echt moeilijke dingen aan kan: code schrijven voor wetenschappers. We hebben het over code die een virusverspreiding simuleert, de vouwing van een eiwit berekent of het gedrag van atomen in een nieuw medicijn modelleert. Dit is "wetenschappelijke code". Het is anders dan gewone code omdat het niet alleen gaat over het laten doen van iets door de computer; het gaat erom dat de wiskunde en logica van de computer overeenkomen met de echte, chaotische, complexe wetten van de natuur. Als de robot de syntaxis wel goed krijgt maar de wetenschap fout, dan is het resultaat niet alleen een bug—het is een mislukt experiment of een gevaarlijke miscalculatie. De grote vraag is: kunnen onze huidige AI-robots, die geweldig zijn in het schrijven van standaardcode, ook het zware werk voor wetenschappers doen?
Maak kennis met SCICODEPILE, een enorm nieuw project dat fungeert als een gigantische, gespecialiseerde trainingsplaats en een rigoureus eindexamen voor deze AI-robots. De onderzoekers achter dit artikel besloten dat om echt te testen of AI wetenschappelijke codering aan kan, ze twee dingen nodig hadden: een enorme bibliotheek van echte wetenschappelijke code om van te leren, en een strikte test waarbij de code daadwerkelijk moet draaien en moet werken, en niet alleen op papier goed moet lijken.
Eerst bouwden ze de bibliotheek. Ze pakten niet zoma van tevoren wat code; ze gingen op zoek naar 37.737 publieke code-repositories op het internet, specifiek zoekend naar projecten gerelateerd aan chemie, biologie, natuurkunde en andere wetenschappen. Ze filterden de rommel eruit en eindigden met een enorme collectie van 128GB aan wetenschappelijke code. Zie dit als een bibliotheek die elke instructiehandleiding, elk blauwdruk en elke regel code bevat van duizenden echte wetenschappelijke laboratoria. Ze organiseerden deze bibliotheek op vier verschillende manieren: ruwe codebestanden, samenvattingen van wat de projecten doen, instructies voor specifieke functies, en probleem-en-oplossing-paren. Het is alsof je een rommelige garage vol auto-onderdelen neemt en deze organiseert in een perfect gelabeld museum waar je tegelijkertijd de motor, de handleiding en een diagram van hoe de onderdelen in elkaar passen kunt zien.
Vervolgens bouwden ze het examen. Ze creëerden een benchmark van 200 taken. Maar hier komt de crux: ze vroegen de AI niet alleen om code te schrijven en controleerden of het leek op het antwoord van een mens. Ze plaatsten de code van de AI in een "sandbox"—een veilige, geïsoleerde digitale speeltuin—en voerden het uit. Als de code crashte, een foutief getal gaf of een test niet doorstond, was het een onvoldoende. Het was een pass/fail-test gebaseerd op de vraag of de code daadwerkelijk werkte.
En hoe deden de robots het? De resultaten waren een flinke reality check. Zelfs de slimste AI-modellen, de modellen die normaal gesproken alle coderingstests halen, worstelden zwaar met het wetenschappelijke gedeelte. Bij de taken in de stijl van "invul-op-de-blanco" haalden de beste modellen slechts ongeveer 38% van een perfecte score. Maar op het examen "maak het werkend" waren de cijfers nog schrijnder. Het allerbeste model slaagde slechts in 12,30% van de gevallen. Dat betekent dat voor elke 100 wetenschappelijke programmeerproblemen, de AI er 88 fout had. Het suggereert dat hoewel AI steeds beter wordt in het schrijven van code die er goed uitziet, het nog lang weg is van het schrijven van code die wetenschappelijk betrouwbaar is.
De onderzoekers lieten ook zien dat deze nieuwe bibliotheek daadwerkelijk nuttig is om de robots te onderwijzen. Toen ze een kleiner AI-model lieten studeren met hun 128GB bibliotheek, sprong de prestatie van dat model aanzienlijk omhoog. Het is also kind dat een stapel tekstboeken krijgt in plaats van slechts een paar flashcards; plotseling begrijpen ze de stof veel beter.
Kortom, SCICODEPILE is een machtig nieuw instrument dat zegt: "Hé, AI, je bent goed in coderen, maar je bent nog niet klaar om een wetenschapper te zijn." Het biedt de middelen om hen beter te trainen en de strikte tests om te zien of ze het daadwerkelijk hebben geleerd. Het is een wake-up call dat, hoewel we geweldige vooruitgang boeken, er nog steeds een enorme kloof bestaat tussen een robot die code kan schrijven en een robot die echte wetenschap kan bedrijven.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.