💻 computer science

SWE-Manager: Selecting and Synthesizing Golden Proposals Before Coding

Dit artikel introduceert SWE-Manager, een 8B reinforcement learning-model dat technische managers nabootst door de beste kandidaat-voorstel te selecteren en een "golden" oplossing voor softwareproblemen te synthetiseren zonder code uit te voeren, waarmee het een state-of-the-art prestatie bereikt op de SWE-Lancer Manager benchmark.

Oorspronkelijke auteurs: Boyin Tan, Haoning Deng, Junyuan Zhang, Junjielong Xu, Pinjia He, Youcheng Sun

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Boyin Tan, Haoning Deng, Junyuan Zhang, Junjielong Xu, Pinjia He, Youcheng Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de kapitein bent van een schip (een softwareproject) en er heeft een storm uitgebroken (een bug of een nieuwe feature-aanvraag). Voordat je het schip kunt besturen, moet je beslissen welk pad je neemt.

In de echte wereld raadt je bemanning niet zomaar wat. Ze kunnen drie verschillende zeelieden horen roepen met drie verschillende routes:

Zeilman A zegt: "Neem de kortere route door het rif! Het is snel, maar riskant."
Zeilman B zegt: "Ga om het eiland heen. Het is veilig, maar het duurt drie dagen."
Zeilman C zegt: "Laten we eerst de motor repareren, en dan pas gaan. Dat is het meest grondig, maar het is duur."

Meestal moet een menselijke manager naar alle drie luisteren, de risico's afwegen, het weer controleren (de specifieke context van het probleem) en het beste plan kiezen. Dit artikel, SWE-Manager, vraagt zich af: Kan een AI leren om die manager te zijn?

Hier is het verhaal van hoe ze het gebouwd hebben, eenvoudig uitgelegd:

1. Het Probleem: AI is goed in schrijven, maar slecht in kiezen

Huidige AI-modellen (zoals de modellen die code schrijven) zijn geweldig in het genereren van één oplossing. Maar in echte softwareteams schrijven mensen vaak meerdere oplossingen en discussiëren ze vervolgens over welke het beste is.

De Kloof: AI is niet echt geleerd om in de "directiestoel" te gaan zitten, naar alle opties te luisteren, ze te vergelijken en te zeggen: "Oké, we gaan voor Zeilman B, maar laten we het zo aanpassen dat het sneller gaat."
De Vraag: Is deze vaardigheid van "de winnaar kiezen" gewoon een willekeurige menselijke voorkeur, of is er een logisch patroon dat een AI kan leren?

2. Het Detectivewerk: Wat doen echte managers?

De onderzoekers traden op als detectives. Ze bekeken duizenden echte discussies op GitHub (een plek waar programmeurs hun code delen) waar mensen discussieerden over hoe ze bugs moesten oplossen. Ze ontdekten drie grote geheimen over hoe menselijke managers kiezen:

Geheim #1: Het is niet willekeurig. Managers kiezen niet zomaar hun favoriet. Ze gebruiken altijd een paar "hoogwaardige regels", zoals: "Is dit veilig?" "Zal dit andere dingen breken?" "Is het makkelijk om later aan te passen?"
Geheim #2: Het is een vergelijking, geen test. Je kunt een voorstel niet in isolatie beoordelen. Je moet ze met elkaar vergelijken binnen de specifieke context van het probleem. (bijv. "Zeilman A is snel, maar aangezien we in een storm zitten, is veiligheid belangrijker dan snelheid.")
Geheim #3: Het beste plan is een mix. Vaak is het uiteindelijke plan niet zomaar het idee van één zeilman. Het is een "Gouden Voorstel" dat de beste delen van Zeilman A, de veiligheid van Zeilman B en de grondigheid van Zeilman C neemt en deze combineert tot één perfect plan.

3. De Oplossing: SWE-Manager (De AI-Manager)

Gebaseerd op deze geheimen bouwde het team SWE-Manager. Denk aan dit als een nieuw soort AI die niet alleen code schrij bent, maar ook het gesprek beheert.

In plaats van alleen te zeggen "Hier is de code", doet SWE-Manager drie dingen:

Leest de Issue: Het begrijpt het probleem.
Beoordeelt de Kandidaten: Het kij je naar de verschillende voorstellen (zoals de routes van de zeelieden).
De "Gouden" Synthese: Het kiest de beste richting, legt uit waarom het die koos, en schrijft vervolgens een nieuw, "Gouden Voorstel" dat de beste ideeën van alle kandidaten combineert tot één duidelijke instructie.

Ze trainden een specifieke versie genaamd SWE-Manager-8B (een model met 8 miljard parameters) met een speciaal tweestaps-proces:

Stap 1 (School): Ze leerden het de format van het vergelijken en uitleggen (Supervised Fine-Tuning).
Stap 2 (Oefening): Ze lieten het oefenen met het maken van keuzes en beloonden het wanneer het de juiste keuze maakte, waardoor het leerde om te "denken" als een manager (Reinforcement Learning).

4. De Resultaten: Werkt de AI-manager?

Ze stelden de AI op twee manieren op de proef:

Test A: De "Wie is de baas?" Test (Selectie)
Ze gaven de AI een probleem en drie verschillende oplossingen, en vroegen het om de optie te kiezen die een menselijke manager gekozen zou hebben.

Het Resultaat: SWE-Manager-8B had het in 53% van de gevallen bij het rechte eind.
De Vergelijking: Een zeer krachtige, beroemde AI (GPT-5) had het in slechts 44% van de gevallen bij het rechte eind. Ondanks dat SWE-Manager een kleiner, goedkoper model is, was het beter in het kiezen van het juiste pad.

Test B: De "Helpt het bij het bouwen?" Test (Implementatie)
Ze zetten een workflow op (genaamd P2A) waarbij:

Eén AI de voorstellen schrijft.
SWE-Manager het beste voorstel kiest en het "Gouden Voorstel" schrijft.
Een derde AI probeert de fix te bouwen op basis van dat Gouden Voorstel.

Het Resultaat: Wanneer SWE-Manager de manager was, slaagde het team erin om 55,6% van de problemen op te lossen.
De Vergelijking: Dit was beter dan wanneer er helemaal geen manager was (wat 48,5% oploste) en kwam overeen met de prestaties van het gebruiken van de gigantische GPT-5 als manager.

De Belangrijkste Conclusie

Het artikel bewijst dat het kiezen van het juiste plan een vaardigheid is die een AI kan leren.

Het gaat er niet alleen om slim genoeg te zijn om code te schrijven; het gaat erom slim genoeg te zijn om opties te vergelijken, de risico's te begrijpen en de beste ideeën te combineren tot één duidelijke instructie. Door een AI te leren te handelen als een "Technisch Manager", kunnen we softwareontwikkeling betrouwbaarder en efficiënter maken, zelfs met kleinere, goedkopere AI-modellen.

Kortom: Het artikel laat zien dat als je een AI leert om een goede rechter en een goede redacteur te zijn, het veel beter wordt in het helpen bouwen van software door mensen.

Technische Samenvatting: SWE-Manager

Probleemstelling

In realistische software engineering-workflows is een cruciale stap voorafgaand aan codegeneratie: voorstelselectie. Teams stellen vaak meerdere kandidaat-voorstellen op voor een enkel issue (bijv. bugfixes, feature-implementaties), en een maintainer moet de meest geschikte optie selecteren om de implementatie te sturen. Deze beslissing is zelden gebaseerd op louter technische haalbaarheid; het vereist een balans tussen correctheid, regressierisico, diepgang van de fix, onderhoudbaarheid en organisatorische beperkingen.

Hoewel Large Language Models (LLM's) geavanceerd zijn geworden in codegeneratie en bugherstel, blijft de voorstelselectiefase onderbelicht. Het is onduidelijk of de selectiebeslissingen van maintainers berusten op herbruikbare, leerbare redeneerpatronen of dat ze slechts gebaseerd zijn op instantie-specifieke voorkeuren. Bovendien verkennen bestaande benchmarks zoals SWE-Lancer de "Manager"-taak weliswaar, maar onderzoeken ze niet de onderliggende rationale of het potentieel om een verfijnd "golden proposal" te synthetiseren uit concurrerende kandidaten.

Methodologie

1. Handmatige studie van GitHub-discussies

De auteurs hebben eerst een handmatige studie uitgevoerd naar 2.852 publieke GitHub-issues met bounty-ondersteunde uitkomsten om realistische voorstelselectie te karakteriseren. Ze analyseerden 339 gesamplede issues waar meerdere volledige voorstellen aanwezig waren. De studie onthulde drie belangrijke eigenschappen:

Terugkerende hoogwaardige rationales: Keuzes van maintainers worden geleid door consistente engineering-overwegingen, primair Risico en Veiligheid (42,8%), Diepgang van de Fix (29,2%) en Onderhoudbaarheid (16,2%).
Context-geconditioneerde vergelijking: Selectie is geen geïsoleerde evaluatie van een enkel voorstel, maar een comparatieve beoordeling van kandidaten tegen specifieke issue-beperkingen (bijv. de voorkeur voor een minimale fix bij een hoog regressierisico versus een diepe fix bij systemische fragiliteit).
Synthese via discussie: De uiteindelijke richting van de implementatie wordt vaak verfijnd door discussie, waarbij aannames worden verhelderd, de scope wordt vernauwd en nuttige observaties uit concurrerende voorstellen worden geïntegreerd.

2. SWE-Manager Framework

Op basis van deze bevindingen stellen de auteurs SWE-Manager voor, een gezamenlijke selectie-en-synthese-aanpak. Het model krijgt de taak om:

Gezamenlijke Vergelijking: De issue-context en alle kandidaat-voorstellen simultaan te analyseren.
Selectie: Het beste voorstel te identificeren.
Verklaring: De keuze te rechtvaardigen op basis van de issue-beperkingen.
Synthese: Een "golden proposal" te genereren die de sterktes van de geselecteerde richting en nuttige observaties uit verschillende voorstellen consolideert tot een verfijnd implementatieplan.

3. Modeltraining (SWE-Manager-8B)

De auteurs hebben deze aanpak geïnstantieerd als SWE-Manager-8B, een model met 8 miljard parameters afgeleid van Qwen3-8B.

Datapreparatie: Een corpus van 2.852 issues werd geconstrueerd. GPT-5 werd gebruikt om gestructureerde trainingsdoelen (comparatieve redeneersporen en golden proposals) te reconstrueren uit gefragmenteerde GitHub-threads, terwijl de grondwaarheid-selectielabels geworteld bleven in de werkelijke ontvangers van de bounties.
Trainingsstrategie: Een tweestaps-proces werd toegepast:
1. Supervised Fine-Tuning (SFT): Om het model het gestructureerde outputformaat aan te leren (redeneerspoor, selectie-ID, rechtvaardiging, golden proposal).
2. Reinforcement Learning (RL): Gebruikmakend van DAPO (Decoupled Clip and Dynamic sAmpling Policy Optimization) met een gewogen beloningsfunctie ( $r = 0.4r_{sel} + 0.2r_{think} + 0.2r_{justi} + 0.2r_{gold}$ ) om beslissingsbeleid te optimaliseren in plaats van enkel rationales te imiteren.

4. Evaluatieframework (P2A)

Om de downstream bruikbaarheid van het gesynthetiseerde golden proposal te evalueren, introduceerden de auteurs P2A (Proposal-to-Action), een workflow die een echte ontwikkelingscyclus nabootst:

Proposal Agent: Genereert meerdere kandidaat-voorstellen.
Technical Manager (SWE-Manager): Selecteert en synthetiseert het golden proposal.
Implementation Agent: Gebruikt het golden proposal om een code-patch te genereren.
Deze workflow werd getest op de SWE-Lancer IC benchmark om de issue-resolutiecijfers te meten.

Belangrijkste Resultaten

Voorstelselectie Prestaties (SWE-Lancer Manager Benchmark)

SWE-Manager-8B behaalde een selectienauwkeurigheid van 53,21% en een earned rate van 57,75% ($152.750).
Dit presteerde beter dan GPT-5 (44,15% nauwkeurigheid, $99.875 earned) en de basis Qwen3-8B (34,72% nauwkeurigheid).
SWE-Manager-8B overtrof GPT-5 zelfs wanneer GPT-5 toegang had tot de code (Agent setting) voor de meeste aantallen voorstellen, hoewel GPT-5 met code-toegang iets beter presteerde op de hoogste waarde ($2K+) en meest complexe (6+ voorstellen) instanties.

Downstream Implementatie Prestaties (SWE-Lancer IC Benchmark)

Bij gebruik van de P2A workflow behaalde SWE-Manager-8B een issue-resolutiecijfer van 55,6%.
Dit kwam overeen met de prestaties van P2A met GPT-5 als manager en verbeterde de baseline mini-SWE-agent (directe implementatie zonder voorstelselectie) met 7,1%.
Ablatie op Synthese: Het vervangen van het gesynthetiseerde "golden proposal" door het ruwe "geselecteerde voorstel" degradeerde de prestaties van SWE-Manager-8B aanzienlijk (een daling van 55,6% naar 46,5% pass rate), wat aantoont dat de synthesecapaciteit tastbare waarde biedt bovenop eenvoudige selectie.

Trainings-Ablaties

Synthese-doelstelling: Het trainen van het model om enkel het voorstel-ID te voorspellen (zonder een golden proposal te synthetiseren) resulteerde in een lagere nauwkeurigheid, wat suggereert dat de synthesetaak het model dwingt tot diepere comparatieve redenering.
Trainingsfasering: Een tweestaps-aanpak (SFT gevolgd door RL) leverde betere stabiliteit en prestaties op dan het direct toepassen van RL op het basismodel.

Betekenis en Claims

Het artikel claimt dat voorstelselectie een leerbare capaciteit is voor LLM's, gedreven door terugkerende hoogwaardige engineering-rationales in plaats van willekeurige voorkeuren.

Leerbaarheid: Een klein 8B-model kan, wanneer getraind op grootschalige selectiedata met een synthese-doelstelling, veel grotere modellen (GPT-5) overtreffen in het selecteren van het beste technische voorstel.
Praktisch Nut: Het vermogen om een "golden proposal" te synthetiseren is niet louter een bijproduct; het biedt actiegerichte begeleiding die downstream codegeneratie en issue-resolutie aanzienlijk verbetert.
Workflow Integratie: Het P2A-framework demonstreert dat het integreren van een "Technical Manager"-rol vóór de codering leidt tot betere end-to-end software engineering-resultaten vergeleken met directe implementatie-agents.

De auteurs concluderen dat hoewel huidige modellen robuustheidslimieten vertonen bij zeer grote voorstellenpools (door verschuivingen in de trainingsdatadistributie), de kerncapaciteit van context-geconditioneerde vergelijking en synthese een levensvatbare en effectieve strategie is voor LLM-gebaseerde software engineering-systemen.