Technische Samenvatting: OPEN-SWE-TRACES

Probleemstelling

De vooruitgang van autonome software engineering (SWE) agenten wordt momenteel belemmerd door een ernstig tekort aan diverse, grootschalige trajectgegevens. Hoewel evaluatiebenchmarks zoals SWE-bench en hun meertalige varianten zijn uitgebreid om de resolutie van repository-niveau problemen over verschillende programmeertalen te beoordelen, ontbreekt het de ontwikkelgemeenschap aan de noodzakelijke vooraf gebouwde omgevingen en hoogwaardige interactietrajecten die vereist zijn voor robuuste modeltraining. Bestaande bronnen slagen er vaak niet in om de "dual-mode" redeneerframeworks te ondersteunen die opkomen in vlaggenschip foundation models, welke onderscheidende data vereisen voor zowel complex, meerstaps plannen ("denken") als snelle, executie-georiënteerde reacties ("niet-denken").

Methodologie

De auteurs introduceren OPEN-SWE-TRACES, een uitgebreide dataset-constructie-pipeline ontworpen om de kloof tussen statische evaluatie en grootschalige agent-training te overbruggen.

1. Databron en Selectie

De dataset is gesynthetiseerd uit 20.000 real-world Pull Requests (PR's) afkomstig van SWE-rebench-V2, een gecontaineriseerde taakomgeving die 20 programmeertalen beslaat. Om de juridische integriteit en naleving van herdistributie te waarborgen, pasten de auteurs strikte heuristieken toe:

• Taalbereik: Beperkt tot negen talen: Python, Go, TypeScript, JavaScript, Rust, Java, PHP, C en C++.
• Licentiëring: Alleen repositories onder permissieve licenties (MIT, Apache-2.0, BSD 2/3-Clause) werden opgenomen.

2. Dual-Mode Synthese

Om het volledige spectrum van agentisch gedrag te vangen, gebruikten de auteurs een hybride redeneersynthese-strategie met behulp van een ensemble van state-of-the-art modellen:

• Thinking Mode: gegenereerd met Minimax-M2.5, wat trajecten produceert met expliciete interne "Chain-of-Thought" (CoT) redenering.
• Non-Thinking Mode: gegenereerd met Qwen3.5-122B, wat hoogwaardige, directe tool-use trajecten biedt zonder expliciete redeneringsstappen.
• Frameworks: De synthese werd uitgevoerd binnen de OpenHands en SWE-agent harnesses (specifiek hun meertalige extensies, MOpenHands en MSWE-agent).

3. Kwaliteitsfiltering en Beveiliging

Een rigoureuze meerfasige filtering-pipeline werd geïmplementeerd om technische degelijkheid te garanderen:

• Runtime Validatie: Verwijderde gecorrumpeerde trajecten die het gevolg waren van omgevingsfouten of incomplete interactiesequenties.
• Gedragspruning: Verwijderde instanties van taakonvolledigheid (het bereiken van iteratielimieten), structurele ongeldigheid (lege patches of "test suite hacking") en tool-use anomalieën.
• Git Hacking Detectie: Een aangepast framework, TrajectoryScanner, maakte gebruik van Abstract Syntax Tree (AST) parsing om Bash-commando's te auditeren. Het verwijderde systematisch trajecten die vertoonden dat er sprake was van "git hacking"—pogingen om problemen te omzeilen door oplossingen te extraheren uit repository-metadata (bijv. git log, git blame, reflog).

4. Model Distillatie

De dataset werd gebruikt om de Qwen3-30B-A3B serie (inclusief Thinking, Coder, en Instruct varianten) te finetunen. Het resulterende model, OPEN-SWE-AGENT, ondersteunt dual-mode operaties via /think en /no_think triggers. De training maakte gebruik van een learning rate van 1e-5, een batch size van 32, en een context window van tot 131.072 tokens (uitgebreid naar 262.144 tijdens inferentie).

Belangrijkste Bijdragen

1. OPEN-SWE-TRACES Dataset: De grootste meertalige traject-corpus tot nu toe, bevattende 207.489 hoogwaardige agent-trajecten. Het is uniek gestructureerd om dual-mode agent-ontwikkeling te ondersteunen, waarbij ongeveer 51,7% van de trajecten interne redenering bevat.
2. OPEN-SWE-AGENT: Een gefinetuned open-source agent die de effectiviteit van dual-mode distillatie demonstreert. Het bereikt state-of-the-art prestaties onder open-source modellen van vergelijkbare grootte.
3. Systematische Analyse: Een empirische studie die prestatie-drivers isoleert, waaronder de impact van base model selectie, data filtering (resolved-only vs. full corpus), en de schalingseffecten van meertalige versus Python-only training.

Experimentele Resultaten

De auteurs evalueerden OPEN-SWE-AGENT over drie benchmarks:

• SWE-bench Verified (500 Python issues): Het best presterende model bereikte een 61,7% resolutiepercentage (gebruikmakend van de /no_think trigger met MSWE-agent), wat een significante absolute winst is ten opzichte van het base model (51,6%) en concurrerende open-source baselines.
• SWE-bench Multilingual (300 taken over 8 talen): Het model bereikte een 57,1% resolutiepercentage, wat sterke cross-linguale transfercapaciteiten demonstreert.
• SWE-beta Pro (731 complexe taken): Het model bereikte een 36,8% resolutiepercentage, een opmerkelijke prestatie op rigoureuze, real-world engineering taken.

Ablatiebevindingen:

• Meertalige Data: Training op de volledige meertalige dataset zorgde voor een substantiële boost ten opzichte van Python-only training, met name voor niet-Python taken (+14% absolute winst in sommige configuraties).
• Data Filtering: Het opnemen van "unresolved" trajecten (full corpus) bleek superieur aan uitsluitend trainen op "resolved-only" data, wat helpt bij het navigeren door complexe staten zelfs zonder succesvolle fixes.
• Cross-Harness Generalisatie: Hoewel generalisatie tussen harnesses (OpenHands vs. SWE-agent) mogelijk is, bestaat er een prestatieverlies. Modellen getraind op MSWE-agent transferden effectiever naar MOpenHands dan andersom.

Betekenis en Claims

Het paper positioneert OPEN-SWE-TRACES als een premier bron voor het distilleren van menselijke software engineering capaciteiten naar efficiënte, open-source agentic Large Language Models. De auteurs beweren dat de dataset succesvol de schaarste aan middelen aanpakt die het veld belemmert, waardoor de training van de volgende generatie dual-mode autonome agenten mogelijk wordt.

De resultaten stellen vast dat het combineren van expliciete denkmodaliteiten met hoogwaardige gedraftstrajecten een zeer effectieve weg is voor het ontwikkelen van gespecialiseerde agenten. Door een dataset te bieden die zowel het "denkproces" als de "doen"-executie vastlegt, faciliteert het werk de creatie van modellen die in staat zijn tot langdurige redenering (long-horizon reasoning) terwijl ze de executiesnelheid voor standaard operaties behouden. De auteurs concluderen dat hun aanpak een nieuwe baseline zet voor open-source autonome software engineering, en de noodzaak van grootschalige, diverse en rigoureus gefilterde trajectgegevens valideert.