daVinci-Env: Open SWE Environment Synthesis at Scale

Deze paper introduceert OpenSWE, een open-source framework dat via een geschaalde multi-agent pipeline 45.320 uitvoerbare Docker-omgevingen en 13.000 hoogwaardige trainingscurves genereert, wat leidt tot state-of-the-art prestaties in software-engineering en aanzienlijke verbeteringen in domeinoverstijgende redeneervermogens.

De kern

De "OpenSWE": Een Grootse Keuken voor AI-Programmeurs

Stel je voor dat je wilt leren koken, maar je hebt alleen een theorieboek. Je kunt lezen wat een pannenkoek is, maar zolang je niet zelf de pan op het vuur zet, de eieren breekt en ziet of het niet aanbrandt, leer je het nooit echt.

Voor kunstmatige intelligentie (AI) die software moet schrijven, is het precies hetzelfde. Tot nu toe kregen deze AI's vaak alleen maar "theorieboeken" (oude code en beschrijvingen van problemen) te lezen. Ze moesten raden hoe ze een probleem oplossen, zonder dat ze de code daadwerkelijk konden testen.

Het Probleem: De "Droge" Oefening
De auteurs van dit paper zeggen: "Dat werkt niet goed." AI's hebben een proefkeuken nodig. Een plek waar ze code kunnen schrijven, een test kunnen draaien, zien of het werkt, en als het mislukt, het kunnen proberen te repareren.

Het probleem is dat het bouwen van zo'n proefkeuken voor duizenden verschillende softwareprojecten extreem moeilijk en duur is. Het is alsof je voor elke leerling een volledig uitgeruste keuken moet bouwen met alle juiste ingrediënten, en dat moet je doen voor 45.000 verschillende recepten. De meeste onderzoekers hebben daar niet het geld of de machines voor.

De Oplossing: OpenSWE (De Grote Keukenfabriek)
De onderzoekers van SII en GAIR hebben OpenSWE gebouwd. Dit is een gigantisch, volledig transparant project dat een "proefkeuken" creëert voor AI's.

Hier is hoe ze het gedaan hebben, vertaald naar alledaagse termen:

1. De Fabriek (De Multi-Agent Systeem):
   In plaats van dat één mens 45.000 keukens bouwt, hebben ze een team van digitale "robots" (AI-agenten) ingezet. Deze robots werken samen in een enorme fabriek met 64 supercomputers.

   • De Verkenner: Zoekt naar oude recepten (GitHub-repositories) en kijkt of ze bruikbaar zijn.
   • De Bouwer: Zorgt dat de keuken (de Docker-container) perfect is ingericht met de juiste potten, pannen en ingrediënten (software-bibliotheken).
   • De Keurmeester: Test of het recept werkt. Als de AI een fout maakt, helpt deze robot om de instructies te verbeteren.

2. De Kwaliteitscontrole (Het Filteren):
   Niet elk recept is goed. Sommige zijn te makkelijk (de oplossing staat al in de vraag) en andere zijn onoplosbaar (de vraag is onduidelijk).

   • De onderzoekers hebben een slim filter ontwikkeld. Ze gooien de "te makkelijke" en "onoplosbare" recepten weg.
   • Ze houden alleen de "gouden middenweg" over: problemen die uitdagend genoeg zijn om te leren, maar oplosbaar genoeg om succesvol te zijn. Dit is als het selecteren van de perfecte sportwedstrijden voor een atleet: niet te makkelijk, niet onmogelijk, maar net goed genoeg om sterker te worden.

3. Het Resultaat:
   Ze hebben 45.320 werkende, testbare omgevingen gebouwd. Dat is een enorme stap vooruit. Ze hebben zelfs de blauwdrukken (de code voor de fabriek) gratis beschikbaar gesteld, zodat iedereen het kan nabouwen.

Wat levert dit op? (De Proef)
Ze hebben AI-modellen getraind in deze nieuwe "keuken" en getest op een beroemde test (SWE-bench).

• De Uitslag: De modellen die in deze nieuwe omgevingen hebben geoefend, werden veel beter dan modellen die op de oude, beperkte methoden waren getraind.
• De Groei: Hoe meer ze oefenden, hoe beter ze werden. Er was geen punt waarop ze "vol" zaten; ze bleven maar verbeteren.
• Bijeffecten: Interessant genoeg werden deze AI's niet alleen beter in programmeren, maar ook in wiskunde en wetenschappelijke redenering. Het lijkt erop dat het leren om complexe softwareproblemen stap voor stap op te lossen, hun brein scherper maakt voor alle soorten logische puzzels.

Conclusie
Kortom: OpenSWE is de eerste keer dat iemand een enorme, openbare "trainingshal" heeft gebouwd waar AI's software kunnen leren schrijven door echt te doen, te falen en te verbeteren. Het is alsof we AI's niet meer alleen theorie laten studeren, maar ze echt de handen uit de mouwen hebben laten steken in een veilige, gecontroleerde omgeving. Hierdoor zijn ze nu de beste software-engineers ter wereld geworden die we tot nu toe hebben gezien.

Technische samenvatting

Titel: OpenSWE: Schaalbare Open Synthese van SWE-omgevingen

Auteurs: Dayuan Fu et al. (SII, SJTU, GAIR)

---

1. Het Probleem

Het trainen van capabele Software Engineering (SWE) agents vereist grote hoeveelheden uitvoerbare en verifieerbare omgevingen die dynamische feedbackloops bieden voor iteratieve code-editing, testuitvoering en oplossingverfijning. De huidige staat van de techniek kampt met twee fundamentele beperkingen:

• Schalingsbarrière en Transparantie: Bestaande open-source datasets (zoals SWE-rebench) zijn beperkt in schaal en repository-diversiteit. Industriële oplossingen zijn weliswaar grootschalig, maar "opaak" met niet-vrijgegeven infrastructuur, wat een onoverkomelijke barrière vormt voor academische onderzoeksgroepen.
• Kwaliteit en Moeilijkheidsgraad: Het simpelweg verhogen van het aantal omgevingen is niet voldoende. Synthetische omgevingen uit echte repositories lijden vaak aan:
  • PR-Issue Misalignement: De ingediende patch lost het beschreven probleem niet daadwerkelijk op.
  • Trivialiteit: Het probleem is te eenvoudig of de oplossing is direct af te leiden uit de beschrijving.
  • Deze "slechte" data levert geen leerbaar signaal op en kan zelfs schadelijk zijn voor de training.

2. Methodologie: Het OpenSWE Framework

OpenSWE is het grootste volledig transparante framework voor SWE-agent training tot nu toe. Het project omvat 45.320 uitvoerbare Docker-omgevingen verspreid over 12.800 repositories, met een totale investering van ongeveer $1,47 miljoen (waarvan $891k voor constructie en $576k voor curatie).

Het framework maakt gebruik van een multi-agent synthese-pijplijn die draait op een gedistribueerd cluster van 64 knooppunten. De workflow omvat de volgende stappen:

1. Data Collectie & Filtering:
   • Verzameling van GitHub PRs via REST/GraphQL APIs.
   • Vier-staps filtering: Behoud alleen repositories met minimaal 5 stars, Python als hoofdtaal, gekoppelde issues met beschrijvingen, en substantiële code-wijzigingen (niet alleen testbestanden).
2. Multi-Agent Synthese:
   • Repository Exploration Agent: Een agent die de lokale repository inspecteert om setup- en testinstructies te vinden (README, CI-workflows, afhankelijkheden) zonder de hele codebase te traverseren.
   • Dockerfile Construction Agent: Genereert containeromgevingen. Gebruikt een strategie met vooraf gebouwde basisimages (voor Python 2.7-3.14) en een lokale cache van repositories om netwerkfouten en rate limits te vermijden.
   • Evaluation Script Construction Agent: Genereert bash-scripts die specifiek de tests uitvoeren die relevant zijn voor het issue. Dit script bevat een unieke exit-code marker (OPENSWE EXIT CODE) om de correctheid te bepalen.
   • Test Analysis Agent: Analyseert de resultaten van de tests. Als een test faalt, diagnoseert deze de oorzaak (Docker-fout, script-fout, of onoplosbaar probleem) en geeft feedback aan de andere agents voor iteratieve verbetering.
3. Gedistribueerde Infrastructuur:
   • Het systeem gebruikt een losgekoppelde, fouttolerante architectuur met een gedeeld bestandssysteem voor message queuing. Dit voorkomt dat het falen van één knooppunt het hele proces stillegt.
   • Automatische resource-pruning en monitoring (Prometheus/Grafana) zorgen voor stabiliteit.
4. Kwaliteitsgerichte Curatie (Difficulty-Aware Filtering):
   • Een cruciale stap is het filteren op moeilijkheidsgraad. Omgevingen die onoplosbaar zijn of triviaal, worden verwijderd.
   • Er wordt een traject-sampling uitgevoerd (met GLM-4.7) om alleen de hoogste kwaliteit trajecten te selecteren, wat resulteert in ongeveer 13.000 gecureerde trajecten uit ongeveer 9.000 hoogwaardige omgevingen.

3. Belangrijkste Bijdragen

• Ongekende Schaal met Volledige Transparantie: Publicatie van 45.320 Docker-omgevingen met volledige open-source infrastructuur (Dockerfiles, evaluatiescripts, synthese-pijplijn), wat reproduceerbaarheid en community-improvement mogelijk maakt.
• Kwaliteitsgerichte Filtering: Een nieuw filteringsproces dat de inherente moeilijkheid van omgevingen karakteriseert en alleen de meest leerzame data behoudt, weg van onoplosbare of triviale gevallen.
• Empirische Validatie: Uitgebreide experimenten die aantonen dat data-schaal en bewuste curatie complementair zijn en leiden tot state-of-the-art (SOTA) resultaten.

4. Resultaten

De modellen getraind op OpenSWE tonen aanzienlijke verbeteringen:

• SOTA op SWE-Bench Verified:
  • OpenSWE-32B: 62,4% (SOTA voor 32B modellen in de Qwen2.5-serie).
  • OpenSWE-72B: 66,0% (SOTA voor 72B modellen).
  • Dit presteert consistent beter dan modellen getraind op SWE-rebench, ongeacht de agent-scaffold (OpenHands of SWE-Agent).
• Data Scaling Trend: De prestaties tonen een log-lineaire verbetering met toenemende trainingsstappen, zonder tekenen van verzadiging. Dit suggereert dat verdere schaling van de dataset nog steeds winst oplevert.
• Generalisatie (Out-of-Domain): Training op SWE-taken leidt tot significante verbeteringen in andere domeinen zonder dat feitelijke recall verslechtert:
  • Wiskundig redeneren: Tot +12 punten op MATH-500.
  • Wetenschappelijke benchmarks: Tot +5 punten op SciBench/SuperGPQA.
  • Code-generatie: Tot +29 punten op HumanEval (voor het 32B model).

5. Betekenis en Impact

OpenSWE overbrugt de kloof tussen industriële schaal en academische transparantie. Het bewijst dat:

1. Kwaliteit boven kwantiteit: Het selecteren van omgevingen op basis van moeilijkheidsgraad en oplosbaarheid effectiever is dan het willekeurig vergroten van datasets.
2. Infrastructuur is cruciaal: De kosten en complexiteit van het bouwen van uitvoerbare omgevingen zijn hoog, maar noodzakelijk voor echte SWE-agent training.
3. Transfereerbaarheid: SWE-specifieke training verbetert niet alleen codevaardigheden, maar versterkt ook het vermogen tot meervoudig stappenplanning en logisch redeneren in wiskunde en wetenschap.

Het project is volledig open-source beschikbaar via GitHub, waardoor onderzoeksgroepen wereldwijd toegang krijgen tot een industriële kwaliteit dataset en infrastructuur voor SWE-agent onderzoek.