SciCodePile: A 128GB Corpus and Executable Benchmark for Challenging Scientific Code Generation
Dieses Paper führt SciCodePile ein, ein massives 128 GB großes wissenschaftliches Code-Korpus sowie einen ausführbaren Benchmark aus 200 Aufgaben, um zu demonstrieren, dass aktuelle große Sprachmodelle erheblich mit der Generierung von wissenschaftlichem Code kämpfen, während gleichzeitig gezeigt wird, dass das Training auf diesem Datensatz ihre Leistung substanziell verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter das Programmieren beizubringen. Sie haben ihm bereits die Grundlagen beigebracht: wie man eine einfache Website baut, einen Taschenrechner erstellt oder eine Playlist organisiert. Er ist ziemlich gut darin, diese „allgemeinen“ Aufgaben zu bewältigen, weil er Millionen von Büchern und Websites darüber gelesen hat. Aber jetzt wollen Sie sehen, ob dieser Roboter auch die wirklich schweren Aufgaben meistern kann: Code für Wissenschaftler zu schreiben. Wir sprechen hier von „wissenschaftlichem Code“, der simuliert, wie sich ein Virus ausbreitet, die Faltung eines Proteins berechnet oder das Verhalten von Atomen in einem neuen Medikament modelliert. Dies ist „wissenschaftlicher Code“. Er unterscheidet sich von regulärem Code, weil es nicht nur darum geht, den Computer etwas tun zu lassen; es geht darum, sicherzustellen, dass die Mathematik und Logik des Computers auch tatsächlich den realen, chaotischen und komplexen Naturgesetzen entsprechen. Wenn der Roboter die Syntax richtig schreibt, aber die Wissenschaft dahinter falsch ist, ist das Ergebnis nicht nur ein Bug – es ist ein gescheitertes Experiment oder eine gefährliche Fehlkalkulation. Die große Frage ist: Können unsere aktuellen KI-Roboter, die sehr gut darin sind, Standard-Code zu schreiben, die schwere Arbeit für Wissenschaftler leisten?
Hier kommt SCICODEPILE ins Spiel, ein massives neues Projekt, das als riesiger, spezialisierter Trainingsplatz und als strenge Abschlussprüfung für diese KI-Roboter fungiert. Die Forscher hinter dieser Arbeit entschieden, dass sie, um wirklich zu testen, ob eine KI mit wissenschaftlicher Programmierung umgehen kann, zwei Dinge brauchten: eine riesige Bibliothek mit echtem wissenschaftlichem Code zum Studieren und einen strengen Test, bei dem der Code tatsächlich laufen und funktionieren muss, anstatt nur auf dem Papier gut auszusehen.
Zuerst bauten sie die Bibliothek. Sie haben nicht einfach wahllos Code gesammelt; sie sind auf der Jagd nach 37.737 öffentlichen Code-Repositories im Internet gewesen und haben gezielt nach Projekten gesucht, die mit Chemie, Biologie, Physik und anderen Wissenschaften zu tun haben. Sie filterten den Müll heraus und endeten mit einer gewaltigen Sammlung von 128 GB wissenschaftlichem Code. Betrachten Sie dies als eine Bibliothek, die jede Bedienungsanleitung, jeden Bauplan und jeden Code aus tausenden echten wissenschaftlichen Laboren enthält. Sie organisierten diese Bibliothek auf vier verschiedene Arten: rohe Codedateien, Zusammenfassungen dessen, was die Projekte tun, Anweisungen für spezifische Funktionen und Problem-Lösungs-Paare. Es ist so, als würde man eine unordentliche Garage voller Autoteile in ein perfekt beschriftetes Museum verwandlich, in dem man gleichzeitig den Motor, das Handbuch und ein Diagramm, wie die Teile zusammenpassen, sehen kann.
Als Nächstes bauten sie die Prüfung. Sie erstellten einen Benchmark mit 200 Aufgaben. Aber der Clou dabei war: Sie baten die KI nicht einfach nur, Code zu schreiben und zu prüfen, ob er einer menschlichen Antwort ähnlich sieht. Sie platzierten den Code der KI in eine „Sandbox“ – einen sicheren, isolierten digitalen Spielplatz – und ließen ihn laufen. Wenn der Code abstürzte, eine falsche Zahl lieferte oder einen Test nicht bestand, war es ein Durchfall. Es war ein Bestanden/Nicht-Bestanden-Test, basierend darauf, ob der Code tatsächlich funktionierte.
Wie haben die Roboter abgeschnitten? Die Ergebnisse waren ein wenig wie ein Realitätscheck. Selbst die klügsten KI-Modelle, die normalerweise Coding-Tests bestehen, hatten mit dem wissenschaftlichen Stoff massiv zu kämpfen. Bei den Aufgaben im Stil von „Lückentexten“ erreichten die besten Modelle nur etwa 38 % des Weges zu einer perfekten Punktzahl. Aber bei der „Lass-es-funktionieren“-Prüfung waren die Zahlen noch drastischer. Das allerbeste Modell schaffte es nur in 12,30 % der Fälle. Das bedeutet, dass die KI bei 100 wissenschaftlichen Programmierproblemen 88 von ihnen falsch gelöst hat. Es deutet darauf an, dass KI zwar gut darin wird, Code zu schreiben, der richtig aussieht, aber noch weit davon entfernt ist, wissenschaftlich zuverlässigen Code zu schreiben.
Die Forscher zeigten auch, dass diese neue Bibliothek tatsächlich nützlich ist, um die Roboter zu lehren. Als sie ein kleineres KI-Modell nehmen und es mit ihrer 128 GB großen Bibliothek studieren ließen, sprang seine Leistung signifikant an. Es ist, als würde man einem Schüler einen Stapel Lehrbücher statt nur ein paar Karteikarten geben; plötzlich versteht er das Material viel besser.
Kurz gesagt: SCICODEPILE ist ein massives neues Werkzeug, das sagt: „Hey, KI, du bist gut im Programmieren, aber du bist noch nicht bereit, ein Wissenschaftler zu sein.“ Es bietet die Ressourcen, um sie besser zu trainieren, und die strengen Tests, um zu sehen, ob sie tatsächlich etwas gelernt haben. Es ist ein Weckruf, dass wir zwar große Fortschritte machen, aber immer noch eine riesige Lücke zwischen einem Roboter, der Code schreiben kann, und einem Roboter, der echte Wissenschaft betreiben kann, besteht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.