From SWE-ZERO to SWE-HERO: Execution-free to Execution-based Fine-tuning for Software Engineering Agents

Titel: Van SWE-ZERO naar SWE-HERO: Van uitvoeringsvrij naar uitvoeringsgebaseerd fine-tunen voor Software Engineering Agents

Auteurs: Nikolai Ludwig, Wasi Uddin Ahmad, Somshubra Majumdar, Boris Ginsburg (NVIDIA)

---

1. Het Probleem: Schaalbaarheid en Infrastructuur-瓶颈

Traditionele methoden voor het trainen van LLM-agents voor software-engineering (SWE) zijn sterk afhankelijk van fysieke uitvoering (execution-based). Agents moeten code schrijven, deze uitvoeren in geïsoleerde Docker-containers, en op basis van de resultaten (bijv. unit tests) iteratief hun oplossingen verfijnen.

De auteurs identificeren drie kritieke beperkingen in deze huidige paradigma's:

1. Data-schaalbaarheid: Veel real-world repositories en pull requests (PR's) worden verworpen omdat complexe of verouderde configuraties het bouwen van betrouwbare container-omgevingen onmogelijk maken.
2. Trainings-schaalbaarheid: Het orkestreren van duizenden taak-specifieke Docker-images creëert enorme infrastructuurkosten en maakt grootschalige optimalisatie en Reinforcement Learning (RL) zeer duur.
3. Inferentie-schaalbaarheid: De hoge kosten van code-uitvoering en het resetten van omgevingen belemmeren agents bij het efficiënt verkennen van oplossingsroutes tijdens de inferentie.

De kernvraag is: Hoe kunnen we agents trainen die de semantische logica van code begrijpen zonder de zware overhead van fysieke uitvoering in elke trainingsfase?

---

2. Methodologie: Het Twee-Stappen SFT-Recipe

Het paper introduceert SWE-ZERO to SWE-HERO, een twee-fasen Supervised Fine-Tuning (SFT) strategie die semantisch redeneren ontkoppelt van fysieke verificatie.

Fase 1: SWE-ZERO (Execution-Free / Fundamenteel Redeneren)

• Doel: De agent leren om repository-level redenering en code-semantiek te beheersen zonder runtime-feedback.
• Data: Een dataset van 300.000 trajecten gegenereerd uit 150.000 real-world GitHub PR's.
• Proces:
  • Een "Teacher Agent" (Qwen3-Coder-480B) lost problemen op in een sandbox-omgeving zonder specifieke repository-configuratie.
  • De agent mag geen Python-code uitvoeren en geen tests draaien. Het moet de oplossing vinden puur op basis van statische analyse en contextueel redeneren.
  • Filtering: Een strikt filteringsproces verwijdert trajecten waarbij de agent probeerde verboden commando's uit te voeren of in een oneindige loop belandde.
• Resultaat: De agent leert een "world model" van code te internaliseren, wat leidt tot beknoptere trajecten (40% minder tokens dan uitvoeringsgebaseerde methoden).

Fase 2: SWE-HERO (Grounded Refinement / Gebaseerde Verfijning)

• Doel: De semantische intuïtie van SWE-ZERO omzetten in een rigoureuze, geverifieerde engineering-workflow.
• Data: Een kleiner, hoogwaardig dataset van 13.000 trajecten met volledige Docker-omgevingen.
• Proces:
  • De model dat is voorgeïnitieerd met SWE-ZERO wordt verder getraind op deze execution-backed data.
  • De agent mag nu code uitvoeren, tests draaien en feedback gebruiken om fouten te corrigeren.
• Synergie: Deze sequentiële aanpak zorgt ervoor dat de agent eerst de "grote lijn" begrijpt (SWE-ZERO) voordat hij de "kostbare" uitvoeringsstappen onderneemt (SWE-HERO).

---

3. Belangrijkste Bijdragen

1. Nieuw Trainingsparadigma: Een bewezen methode om SWE-agents te trainen die de schaalbaarheidsproblemen van Docker-afhankelijkheid omzeilt door eerst execution-free data te gebruiken.
2. Open Data en Modellen: Publicatie van de SWE-ZERO (300k trajecten) en SWE-HERO (13k trajecten) datasets, gedistilleerd van Qwen3-Coder-480B.
3. State-of-the-Art Agents: Een reeks agents gebaseerd op de Qwen2.5-Coder serie (7B, 14B, 32B parameters) die nieuwe prestatie-niveaus bereiken.
4. Cross-taal Generalisatie: Bewijs dat training puur op Python-data (via SWE-ZERO) leidt tot robuuste zero-shot transfer naar andere programmeertalen.

---

4. Resultaten

De prestaties zijn getest op SWE-bench Verified (500 real-world Python issues) en SWE-bench Multilingual.

• Prestaties op SWE-bench Verified:

  • SWE-HERO-32B bereikt een oplossingspercentage van 62,2%. Dit is een nieuw record voor open-source modellen van vergelijkbare grootte en concurreert met gespecialiseerde modellen die veel zwaardere trainingsprocessen hebben doorlopen.
  • Vergelijking met concurrenten: SWE-HERO-32B presteert significant beter dan OpenSWE-32B (62,4% maar met veel zwaardere infrastructuur), SERA-32B (54,2%) en daVinci-32B (56,1%).
  • Schaalbaarheid: Zelfs de kleinere modellen (7B en 14B) tonen enorme verbeteringen. SWE-HERO-7B (52,7%) en SWE-HERO-14B (60,8%) overtreffen alle vergelijkbare open-source agents.

• Effectiviteit van de Twee-Fasen Methode:

  • Een ablatiestudie toont aan dat het overslaan van de SWE-ZERO-fase en direct trainen op SWE-HERO-data resulteert in een daling van 62,2% naar 55,7% op SWE-bench Verified. Dit bewijst dat de execution-free fase cruciaal is voor het opbouwen van een sterke inductieve bias.

• Cross-taal Generalisatie:

  • Ondanks training alleen op Python, bereikt SWE-HERO-32B 44,1% op SWE-bench Multilingual. Dit bevestigt dat de fundamentele redeneerpatronen uit de SWE-ZERO-fase overdraagbaar zijn naar andere talen.

• Efficiëntie:

  • SWE-ZERO-modellen gebruiken 40% minder tokens omdat ze de iteratieve test-fases overslaan.
  • SWE-HERO-modellen wisselen deze efficiëntie in voor hogere nauwkeurigheid op complexe taken door fysieke verificatie.

---

5. Betekenis en Conclusie

Dit paper markeert een verschuiving in hoe we software-engineering agents trainen. Het bewijst dat execution-free fine-tuning geen compromis is, maar een noodzakelijke stap om de schaalbaarheid van data te maximaliseren voordat de dure uitvoeringskosten worden gemaakt.

• Infrastructuur: Het elimineert de noodzaak om duizenden complexe Docker-omgevingen te onderhouden voor het grootste deel van het trainingsproces.
• Toekomst: De methode biedt een schaalbaar blauwdruk voor het bouwen van effectieve agents zonder de "infrastructure bottlenecks" van het verleden.
• Open Science: Door de datasets en modellen open-source te maken, stelt de gemeenschap in staat om verder te bouwen op deze "SWE-ZERO to SWE-HERO" pipeline, wat de drempel voor hoogwaardige SWE-agent onderzoek verlaagt.

Kortom, de auteurs tonen aan dat je eerst moet leren denken als een ingenieur (SWE-ZERO) voordat je leert bouwen en testen (SWE-HERO) om de beste resultaten te behalen.