daVinci-Env: Open SWE Environment Synthesis at Scale

Das Paper stellt OpenSWE vor, ein vollständig quelloffenes Framework, das mithilfe einer Multi-Agenten-Pipeline über 45.000 ausführbare Docker-Umgebungen synthetisiert und durch eine qualitätszentrierte Filterung hochwertige Trainingsdaten für Software-Engineering-Agenten bereitstellt, was zu neuen State-of-the-Art-Ergebnissen auf SWE-bench Verified und signifikanten Verbesserungen in anderen Domänen führt.

Das Wesentliche

Stell dir vor, du möchtest einen Roboter-Azubi trainieren, der Programmierfehler in riesigen Software-Projekten finden und reparieren soll. Das ist die Aufgabe von sogenannten „SWE-Agents" (Software Engineering Agents).

Das Problem bisher war: Um diesen Azubi zu trainieren, braucht man eine perfekte Übungsumgebung. Stell dir das wie einen Flugsimulator für Piloten vor. Bisher gab es nur sehr wenige, oft kaputte oder zu einfache Simulatoren. Die großen Firmen hatten zwar super Simulatoren, aber niemand durfte sie sehen oder nutzen (sie waren „geheim"). Das machte es für Forscher und Universitäten fast unmöglich, gute Azubis auszubilden.

Hier kommt OpenSWE ins Spiel – das ist das neue Projekt aus dem Paper, das alles verändert.

1. Der riesige Baukasten (Die Umgebung)

Stell dir OpenSWE wie einen riesigen, offenen Werkzeugkasten vor, der von einem Team aus SII, SJTU und GAIR gebaut wurde.

• Die Größe: Sie haben nicht nur ein paar Werkzeuge gebaut, sondern 45.320 komplette Übungsumgebungen (Docker-Container). Das ist wie ein ganzer Flughafen voller Flugsimulatoren, die alle funktionieren.
• Die Transparenz: Im Gegensatz zu den geheimen Firmen-Lösungen haben sie alles offen gelegt. Jeder kann die Baupläne (Dockerfiles), die Prüfungsfragen (Tests) und die Maschinen sehen, mit denen sie gebaut wurden. Es ist, als würden sie nicht nur den Simulator verkaufen, sondern auch die Fabrik, in der er gebaut wurde, für alle zugänglich machen.

2. Der intelligente Baumeister (Das Multi-Agent-System)

Wie baut man so etwas riesiges? Nicht mit einer Hand, sondern mit einem Team aus digitalen Handwerksmeistern (Multi-Agenten), die auf einem riesigen Computer-Cluster (64 Server) arbeiten.

• Der Entdecker: Ein Agent sucht im Internet nach echten Software-Projekten auf GitHub.
• Der Architekt: Ein zweiter Agent baut die Umgebung (den Container) so, dass sie genau wie das Original funktioniert.
• Der Prüfer: Ein dritter Agent schreibt den Test, um zu sehen, ob die Reparatur wirklich klappt.
• Der Qualitätskontrolleur: Ein vierter Agent schaut sich das Ergebnis an. Wenn die Aufgabe zu leicht ist (wie „Ändere ein Komma") oder gar nicht lösbar ist (weil die Aufgabe falsch formuliert wurde), wird sie aussortiert.

3. Die Qualitätssicherung (Das Filter-System)

Das ist der wichtigste Teil: Nicht jede Übung ist gut.

• Das Problem: Manchmal sagt ein Fehlerbericht: „Das Licht geht nicht an", aber die Lösung ist nur, eine Glühbirne zu kaufen, was der Code nicht kann. Oder die Lösung ist so offensichtlich, dass es keine echte Übung ist.
• Die Lösung: OpenSWE hat einen intelligenten Filter. Er wirft alle zu leichten oder unlösbaren Aufgaben weg. Er behält nur die „Goldstücke" – Aufgaben, die herausfordernd genug sind, um den Azubi zu fordern, aber lösbar genug, um ihn nicht frustriert aufzugeben.
• Die Investition: Für diesen Bau und die Qualitätsprüfung haben sie etwa 1,47 Millionen Dollar ausgegeben. Das ist wie der Bau einer ganzen Flugschule, nur für Software.

4. Das Ergebnis: Der Super-Azubi

Was passiert, wenn man einen KI-Modell (den Azubi) mit diesem riesigen, hochwertigen Trainingsmaterial füttert?

• Die Leistung: Die Modelle, die mit OpenSWE trainiert wurden (OpenSWE-32B und OpenSWE-72B), sind aktuell die Besten ihrer Klasse. Sie lösen etwa 66 % der schwierigen Aufgaben, während andere Modelle nur bei ca. 50–60 % liegen.
• Der Skalierungseffekt: Je mehr Daten sie bekommen, desto besser werden sie. Es gibt keine „Grenze", an der sie aufhören zu lernen. Es ist wie beim Sporttraining: Je mehr qualitativ hochwertige Übungen man macht, desto stärker wird man.
• Der Nebeneffekt: Interessanterweise werden diese Modelle durch das Programmierenlernen auch in anderen Bereichen besser! Sie können Matheaufgaben und Wissenschaftsfragen besser lösen, ohne dabei Faktenwissen zu verlieren. Es ist, als würde ein Schüler durch das Lösen von komplexen Physikproblemen plötzlich auch besser im Aufsatzschreiben werden, weil er gelernt hat, logisch zu denken.

Zusammenfassung in einem Satz

OpenSWE ist wie der Bau einer riesigen, offenen und perfekt organisierten Flugschule für KI-Programmierer, die es jedem erlaubt, die besten Azubis der Welt auszubilden, indem sie echte, schwierige und gut geprüfte Aufgaben nutzen, statt nur theoretische Beispiele.

Das Paper zeigt also: Wenn man die Infrastruktur (die Übungsumgebungen) in großem Maßstab und mit hoher Qualität bereitstellt, dann steigen die Fähigkeiten der KI-Modelle drastisch – und das Wissen gehört nun allen, nicht nur den großen Tech-Konzernen.

Technische Zusammenfassung

Problemstellung

Die Entwicklung leistungsfähiger Software-Engineering-Agenten (SWE-Agents) erfordert groß angelegte, ausführbare und verifizierbare Umgebungen, die dynamische Feedback-Schleifen für iterative Code-Bearbeitung, Testausführung und Lösungsverfeinerung bieten. Bisherige offene Datensätze sind jedoch in ihrer Skalierbarkeit und der Vielfalt der Repositories begrenzt. Industrielle Lösungen erreichen zwar Skalierbarkeit, bleiben aber intransparent und nutzen geschlossene Infrastrukturen, was den Zugang für die akademische Forschung erschwert.

Zusätzlich zur reinen Skalierung stellt die Qualität und Schwierigkeitsverteilung der Umgebungen ein kritisches Hindernis dar. Viele synthetisierte Umgebungen leiden unter zwei Hauptproblemen:

1. PR-Issue-Fehlausrichtung: Der eingereichte Patch löst das beschriebene Problem nicht tatsächlich (z. B. durch unvollständige Hash-Prüfungen).
2. Trivialität: Die Problemstellung enthüllt die Lösung direkt, sodass keine echte Lernleistung erforderlich ist.
   Solche Umgebungen bieten entweder keine Lernsignale oder sind zu einfach, um die Effizienz des Agententrainings zu maximieren.

Methodik: OpenSWE Framework

Das Paper stellt OpenSWE vor, das derzeit größte vollständig transparente Framework für das Training von SWE-Agenten in Python. Es umfasst 45.320 ausführbare Docker-Umgebungen aus über 12.800 Repositories.

Die Methodik basiert auf einer Multi-Agenten-Synthesepipeline, die auf einem verteilten Cluster mit 64 Knoten läuft und folgende Schritte automatisiert:

1. Datenerfassung und Filterung:
   • Sammlung von GitHub-PRs (Pull Requests) aus Python-Repos (min. 5 Sterne).
   • Filterung nach Sprache (Python), Vorhandensein von Issue-Beschreibungen und substanziellen Code-Änderungen (keine reinen Test-Datei-Änderungen).
2. Multi-Agenten-Synthese:
   • Repository-Exploration-Agent: Analysiert das Repository, um Setup- und Testinformationen (z. B. aus README.md, CONTRIBUTING.md) zu extrahieren.
   • Dockerfile-Bau-Agent: Erstellt containerisierte Umgebungen. Es werden optimierte Basis-Images (mit vorinstalliertem Python und Conda) verwendet, um Build-Zeiten zu verkürzen und Netzwerkfehler zu minimieren.
   • Eval-Skript-Agent: Generiert Bash-Skripte, die spezifische Tests ausführen und den Erfolg der Reparatur verifizieren.
   • Test-Analyse-Agent: Untersucht die Testergebnisse, um zwischen echten Fehlern, Konfigurationsproblemen und unlösbaren Umgebungen zu unterscheiden.
3. Qualitätszentrierte Filterung (Difficulty-Aware Curation):
   • Ein entscheidender Schritt ist das Filtern von Umgebungen, die unlösbar oder trivial sind.
   • Durch zusätzliche Investitionen in Trajektorien-Sampling und kuratierte Auswahl werden nur Umgebungen behalten, die eine angemessene Schwierigkeit aufweisen und maximale Lerneffizienz bieten.
   • Das Endergebnis sind ca. 13.000 kuratierte Trajektorien aus ca. 9.000 hochwertigen Umgebungen.
4. Infrastruktur:
   • Einsatz eines 64-Knoten-Clusters (ECS) mit paralleler Verarbeitung und fehlertolerantem Management (systemd, Message Queues, automatisches Bereinigen von „Zombie"-Containern).
   • Gesamtkosten für die Konstruktion: ca. 891.000 $; zusätzliche Kosten für Kuratierung: ca. 576.000 $.

Wichtige Beiträge

1. Ungeahnte Skalierung mit voller Transparenz: Bereitstellung von 45.320 ausführbaren Umgebungen mit vollständig offengelegter Infrastruktur (Dockerfiles, Evaluierungsskripte, Synthesepipeline), was Reproduzierbarkeit und community-getriebene Verbesserungen ermöglicht.
2. Qualitätszentrierte Filterung: Einführung einer Pipeline zur Charakterisierung der Umgebungs-Schwierigkeit, die unlösbare und triviale Instanzen entfernt und so die Lernsignale optimiert.
3. Starke empirische Validierung: Nachweis, dass sowohl Skalierung als auch kuratierte Auswahl entscheidend für die Leistung sind. Die Modelle erreichen neue State-of-the-Art (SOTA) Ergebnisse im Bereich des Supervised Fine-Tuning (SFT).

Ergebnisse

Die Modelle, die auf OpenSWE trainiert wurden (basierend auf dem Qwen2.5-Modell), erzielten folgende Ergebnisse auf dem SWE-Bench Verified-Benchmark:

• Leistung:
  • OpenSWE-32B: 62,4 % (Pass@1).
  • OpenSWE-72B: 66,0 % (Pass@1).
  • Dies stellt einen neuen SOTA unter SFT-Methoden innerhalb der Qwen2.5-Serie dar und übertrifft bestehende Ansätze wie SWE-rebench und daVinci-Dev deutlich.
• Skalierungsgesetz:
  • Die Leistungsverbesserung folgt einem log-linearen Trend mit der Datenmenge, ohne dass eine Sättigung (Saturation) beobachtet wurde. Dies deutet darauf hin, dass weitere hochwertige Umgebungen weiterhin signifikante Gewinne bringen.
  • Größere Modelle (72B) profitieren stärker von der Skalierung als kleinere (32B).
• Robustheit:
  • Die Überlegenheit von OpenSWE gegenüber SWE-rebench zeigt sich konsistent über verschiedene Agenten-Scaffolds (OpenHands, SWE-Agent) hinweg.
  • Das Mischen von Datenquellen (OpenSWE + SWE-rebench) bringt für 72B-Modelle zusätzliche Vorteile, während 32B-Modelle empfindlicher auf Verteilungsverschiebungen reagieren.
• Generalisierung (Out-of-Domain):
  • Training auf SWE-Daten führte zu signifikanten Verbesserungen in anderen Domänen, ohne faktisches Wissen zu verschlechtern:
    • Mathematisches Reasoning: Bis zu +12 Punkte (MATH-500).
    • Wissenschaftliche Benchmarks: Bis zu +5 Punkte (SuperGPQA, SciBench).
    • Code-Generierung: Massive Verbesserungen auf HumanEval (+29 Punkte für 32B).

Bedeutung

OpenSWE adressiert die fundamentale Lücke zwischen industrieller Skalierbarkeit und akademischer Transparenz im Bereich SWE-Agenten. Es demonstriert, dass die Qualität und Schwierigkeitsanpassung der Trainingsdaten ebenso wichtig ist wie die reine Menge. Durch die vollständige Offenlegung der Infrastruktur und der kuratierten Daten ermöglicht OpenSWE der Forschungscommunity, leistungsfähigere Agenten zu entwickeln und die Grenzen des maschinellen Lernens in der Softwareentwicklung weiter zu verschieben. Die Ergebnisse belegen zudem, dass spezialisiertes Training in Software-Engineering-Fähigkeiten positive Transfer-Effekte auf logisches Denken und mathematische Fähigkeiten hat.