SWE-rebench V2: Language-Agnostic SWE Task Collection at Scale
Die Arbeit stellt SWE-rebench V2 vor, eine sprachunabhängige Pipeline zur automatisierten Generierung eines skalierbaren Datensatzes mit über 32.000 ausführbaren Software-Engineering-Aufgaben aus 3.600+ Repositories in 20 Sprachen, um das Training von RL-basierten Agenten zu ermöglichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, du möchtest einen jungen, sehr klugen Roboter (einen „KI-Agenten") dazu bringen, Programmierarbeiten zu erledigen. Dieser Roboter soll Fehler in echten Softwareprojekten finden und beheben, genau wie ein menschlicher Entwickler.
Das Problem ist: Um diesen Roboter zu trainieren, brauchst du ihm eine riesige Menge an Übungsaufgaben. Und diese Aufgaben müssen perfekt sein: Der Roboter muss sie in einer simulierten Umgebung lösen können, und am Ende muss ein automatischer Test zeigen, ob er die Aufgabe wirklich gemeistert hat.
Bisher war das wie der Versuch, einen Koch zu trainieren, indem man ihm nur Rezepte in einer einzigen Sprache gibt (z. B. nur Deutsch) und ihm sagt: „Hier ist ein Topf, aber ich habe dir keine Anleitung gegeben, wie man ihn auf den Herd stellt." Es gab zu wenige Aufgaben, sie waren oft nur für eine Programmiersprache geeignet, und das Aufsetzen der Trainingsumgebung war extrem mühsam.
SWE-rebench V2 ist nun wie ein riesiger, vollautomatischer „Übungsgenerator", der diese Probleme löst. Hier ist die einfache Erklärung, wie er funktioniert:
1. Der Alleskönner-Übersetzer (Sprachunabhängigkeit)
Früher mussten Trainer für jede Programmiersprache (Python, Java, C++, Rust etc.) separate, manuelle Trainingsräume bauen. Das war wie ein Bauarbeiter, der für jedes Haus ein anderes Werkzeug braucht.
SWE-rebench V2 ist wie ein universeller Baumeister. Er kann sich in jede Art von Software-Projekt „hineinversetzen", egal ob es in Python, Go oder einer seltenen Sprache geschrieben ist. Er baut für jedes Projekt automatisch eine kleine, abgeschottete Welt (einen „Container"), in der der Roboter sicher üben kann, ohne das echte Internet zu berühren.
2. Der Detektiv für Anleitungen (Automatisches Setup)
Wenn du einem Roboter eine Aufgabe gibst, muss er wissen: „Wie installiere ich die benötigten Werkzeuge? Wie starte ich den Test?"
In der Vergangenheit mussten Menschen diese Anleitungen mühsam schreiben.
SWE-rebench V2 nutzt einen intelligenten Assistenten, der wie ein Detektiv agiert:
- Er schaut sich den Code an.
- Er versucht, die Installation zu starten.
- Wenn es klappt, merkt er sich den Weg.
- Wenn es fehlschlägt (z. B. weil eine Bibliothek fehlt), probiert er einen anderen Weg, bis er eine funktionierende Anleitung gefunden hat.
Er macht das für Tausende von Projekten gleichzeitig, ohne dass ein Mensch einen Finger rühren muss.
3. Der Qualitäts-Filter (Die „Schmutzige Wäsche" aussortieren)
Nicht jede Aufgabe, die man aus dem Internet holt, ist gut. Manche sind unklar („Mach mal was Besseres"), andere haben Tests, die kaputt sind.
Der Generator nutzt eine Panel aus KI-Richtern, die jede Aufgabe prüfen:
- „Ist die Aufgabe klar formuliert?"
- „Kann man sie überhaupt lösen?"
- „Sind die Tests fair?"
Wenn eine Aufgabe zu verworren ist, wird sie aussortiert. Was übrig bleibt, sind 32.000+ saubere, lösbare Aufgaben aus 3.600 verschiedenen Projekten in 20 Sprachen.
4. Der riesige Vorratsschrank (Skalierung)
Das Team hat nicht nur die 32.000 perfekten Aufgaben gesammelt. Sie haben auch noch 120.000 weitere Aufgaben erstellt, die zwar noch nicht alle in einer perfekten Umgebung sind, aber die Anleitungen und Tests enthalten.
Stell dir das vor wie einen riesigen Supermarkt:
- Die 32.000 Aufgaben sind die fertigen, verpackten Gerichte, die du sofort essen (trainieren) kannst.
- Die 120.000 Aufgaben sind die Zutaten und Rezepte, die du nutzen kannst, um noch mehr Gerichte zu kochen, wenn du mehr Übung brauchst.
Warum ist das wichtig?
Früher konnten KI-Modelle nur in wenigen Sprachen (hauptsächlich Englisch und Python) gut Programmieren lernen. Mit SWE-rebench V2 können KIs jetzt in 20 verschiedenen Sprachen lernen.
Es ist wie der Unterschied zwischen einem Schüler, der nur Mathe in einer einzigen Schule lernt, und einem Schüler, der an einer internationalen Universität in 20 verschiedenen Ländern studieren darf. Die KI wird dadurch viel robuster, vielseitiger und besser darin, echte Probleme in der echten Welt zu lösen.
Zusammengefasst:
Die Forscher haben eine Maschine gebaut, die automatisch Tausende von Programmier-Übungsaufgaben aus der ganzen Welt sammelt, sie in eine sichere Trainingsumgebung verpackt, auf Qualität prüft und sie KI-Modellen zur Verfügung stellt. Damit wird das Training von Software-KIs schneller, günstiger und für fast jede Programmiersprache möglich.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.