💬 NLP

SEW: Self-Evolving Agentic Workflows for Automated Code Generation

Dit paper introduceert SEW, een zelfevoluerend framework dat automatisch multi-agent workflows voor codegeneratie ontwerpt en optimaliseert, wat leidt tot een tot 12% verbetering op benchmarks zoals LiveCodeBench vergeleken met alleen de basis LLM.

Oorspronkelijke auteurs: Siwei Liu, Jinyuan Fang, Han Zhou, Yingxu Wang, Zaiqiao Meng

Gepubliceerd 2026-04-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Siwei Liu, Jinyuan Fang, Han Zhou, Yingxu Wang, Zaiqiao Meng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, ingewikkelde taak moet uitvoeren, zoals het bouwen van een auto of het schrijven van een roman. Als je dit alleen doet met één brein (in dit geval één kunstmatige intelligentie of 'LLM'), loop je snel vast. Je vergeet details, maakt fouten in de logica of weet niet waar je moet beginnen.

Dit artikel introduceert SEW (Self-Evolving Workflow), een slimme manier om deze AI's te laten samenwerken als een perfect georganiseerd team, zonder dat een mens hoeft te zeggen hoe dat team eruit moet zien.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Vaste Blauwdruk"

Tot nu toe hebben onderzoekers teams van AI's gemaakt door handmatig te bepalen wie wat doet.

Vergelijking: Stel je voor dat je een restaurant runt. Je hebt een chef-kok, een serveerder en een ober. Maar je hebt een vaste, handgeschreven instructie voor iedereen gemaakt. Als je plotseling Italiaanse pizza's wilt gaan serveren in plaats van Franse soep, werkt je oude instructie niet meer. Je moet alles opnieuw schrijven.
Het probleem: Als de taak verandert (bijvoorbeeld van "schrijf een simpele rekenmachine" naar "schrijf een complexe beveiligingssoftware"), moeten mensen hun hele workflow opnieuw ontwerpen. Dat is traag en niet flexibel.

2. De Oplossing: SEW (De Zelf-Verbeterende Chef)

SEW is een systeem dat zelf ontdekt hoe het beste team eruit moet zien. Het hoeft niet te wachten op een menselijke chef-kok die de regels herschrijft.

Hoe werkt het?
SEW begint met een ruw idee van een team. Dan gaat het aan de slag met een proces dat lijkt op natuurlijke evolutie (zoals Darwin, maar dan voor computerprogramma's).
1. Proberen: Het systeem probeert verschillende manieren om het team in te delen. Misschien heeft het team nu een extra "controleur" nodig, of misschien moet de "ontwerper" eerst een schets maken voordat de "bouwer" begint.
2. Mutatie (Veranderen): Het systeem verandert de instructies (de "prompts") van de AI's. Het vraagt de AI: "Hoe zou jij dit beter doen als je een creatieve genie was?" of "Wat als we deze stap overslaan?"
3. Selectie: Het test de nieuwe versies. Als een nieuwe indeling beter werkt, wordt die bewaard. Als het slechter werkt, wordt het weggegooid.
Vergelijking: Stel je voor dat je een band hebt die een nummer speelt. In plaats van dat de dirigent de partituur herschrijft, laat je de bandleden zelf experimenteren. De drummer zegt: "Laten we de maat iets sneller spelen." De gitarist zegt: "Ik voeg een solo toe." Ze spelen het, luisteren of het klinkt, en als het goed klinkt, houden ze het zo. Ze evolueren hun eigen muziek.

3. De "Taal" van het Team (Workflow Representaties)

Een belangrijk deel van het onderzoek was: Hoe vertel je dit aan de AI? Hoe beschrijf je het teamplan?
De auteurs probeerden vijf verschillende manieren om dit plan op te schrijven, zoals:

BPMN: Een soort officieel diagram met blokken en pijlen (zoals een stroomdiagram).
Python/YAML: Programmeertaal of configuratiebestanden.
Pseudo-code: Een soort "halve taal" die tussen mens en machine in zit.
CoRE: Een nieuwe, slimme mix van natuurlijke taal en code.

De verrassende ontdekking:
Het bleek dat CoRE de beste taal was.

Vergelijking: Stel je voor dat je een bouwplan moet geven aan een robot.
- Als je een heel technisch diagram (BPMN) geeft, begrijpt de robot de details, maar mist hij de "sfeer" of de nuance.
- Als je een lang verhaal schrijft, mist de robot de structuur.
- CoRE is als een architect die praat in een mix van tekeningen en spreektaal. Het is precies goed: de robot begrijpt de structuur én de bedoeling. Dit bleek de meest effectieve manier om het team te laten evolueren.

4. De Resultaten: Van Amateur naar Pro

Het team heeft dit getest op drie moeilijke tests voor het schrijven van computercode (zoals LiveCodeBench).

Resultaat: Een AI die alleen maar "alleen" werkt, haalt een bepaalde score.
Een AI met een vast, handgemaakt team doet het iets beter.
Maar SEW (het zelf-evoluerende team) deed het tot 12% beter dan de beste basis-AI.

Waarom? Omdat SEW niet vastzit aan oude regels. Als een taak moeilijk is, past het team zich aan. Misschien voegt het een extra "controleur" toe die elke regel code checkt, of misschien laat het de "ontwerper" de code eerst in het Engels uitleggen voordat hij hem schrijft. Het systeem vindt deze trucjes zelf.

Samenvatting in één zin

SEW is als een slimme, zelflerende chef-kok die niet wacht op een recept, maar zelf experimenteert met ingrediënten en kooktechnieken totdat hij het perfecte team heeft gevonden om elke culinaire uitdaging (of codeertaak) te bedwingen.

Het maakt de toekomst van AI-ontwikkeling minder afhankelijk van menselijke ingenieurs die alles handmatig moeten regelen, en meer afhankelijk van systemen die zichzelf verbeteren.

Titel: SEW: Zelf-evoluerende Agentische Workflows voor Geautomatiseerde Codegeneratie

1. Het Probleem

Grote Taalmodellen (LLMs) hebben bewezen effectief te zijn in het genereren van code uit natuurlijke taal. Echter, voor complexere programmeertaken is een enkel LLM (single-agent) vaak ontoereikend. Bestaande oplossingen maken gebruik van multi-agent systemen waarbij taken worden opgesplitst in sub-taken voor gespecialiseerde agents.

De belangrijkste beperking van huidige methoden is dat de agentic workflows (de structuur van de interactie tussen agents en hun prompts) handmatig worden ontworpen door mensen. Dit leidt tot de volgende problemen:

Gebrek aan aanpassingsvermogen: Handmatig ontworpen workflows zijn vaak specifiek voor een bepaald type taak (bijv. machine learning vs. softwareontwikkeling) en kunnen niet automatisch adapteren aan nieuwe of complexe problemen.
Inefficiëntie: Het handmatig ontwerpen van workflows voor elke nieuwe taak is tijdrovend en benut het potentieel van LLMs voor autonome adaptatie niet.
Suboptimale prompts: De prompts voor individuele agents worden vaak niet geoptimaliseerd voor de specifieke context van de workflow.

2. Methodologie: Het SEW Framework

De auteurs stellen SEW (Self-Evolving Workflow) voor, een raamwerk dat automatisch multi-agent workflows genereert en optimaliseert door middel van zelf-evolutie. SEW gebruikt LLMs niet alleen als uitvoerders, maar ook als "mutatie-operatoren" om de workflow en de prompts te verbeteren.

Het framework bestaat uit drie hoofdmodules:

Workflow Generatie:
- Op basis van een taakbeschrijving en een sjabloon genereert een LLM een initiële workflow.
- De workflow wordt weergegeven in tekstuele formaten. Het paper onderzoekt vijf representatieschema's: BPMN, CoRE (Code Representation and Execution), Python-code, YAML en Pseudocode.
Workflow Evolutie:
- De initiële workflow wordt gereconstrueerd en geoptimaliseerd met behulp van een evolutionair schema.
- Er wordt gebruikgemaakt van een Mutatie-prompt ( $T_{mut}$ ) die aan de LLM wordt gegeven om de structuur van de workflow te veranderen (bijv. agents toevoegen, verwijderen of de volgorde wijzigen).
- De validiteit van de gegenereerde workflows wordt gemeten via twee metrics:
  - LSR (Logical Successful Rate): De kans dat de gegenereerde workflow een geldige structuur heeft.
  - GSR (Generation Successful Rate): De kans dat de output van de workflow uitvoerbare Python-code is.
Agent Evolutie:
- Nadat de workflowstructuur is vastgesteld, worden de prompts van de individuele agents geoptimaliseerd.
- Er worden twee evolutiestrategieën toegepast:
  - Directe Evolutie (DE): De mutatie-prompt wordt direct toegepast op de agent-prompt om deze te verbeteren. Dit kan in eerste orde (één stap) of tweede orde (iteratief) gebeuren.
  - Hyper Evolutie (HE): Eerst wordt de mutatie-prompt zelf geoptimaliseerd (met behulp van denk-stijl prompts of hyper-mutatie prompts), en vervolgens wordt deze verbeterde prompt toegepast op de agent-prompt. Dit resulteert in robuustere en creatievere prompts.

3. Belangrijkste Bijdragen

Vergelijking van Representatieschema's: Het paper biedt inzicht in welke tekstuele representatie (BPMN, CoRE, Python, YAML, Pseudocode) het beste werkt voor LLMs om workflows te interpreteren en te optimaliseren.
Automatische Constructie: In tegenstelling tot eerdere werken die vooraf gedefinieerde operators assembleren, bouwt SEW workflows volledig vanaf nul, uitsluitend gebaseerd op de taakbeschrijving.
Zelf-evoluerend Ontwerp: SEW introduceert een mechanisme waarbij LLMs zowel de workflow-structuur als de agent-prompts gezamenlijk verbeteren.
Uitgebreide Experimenten: Validatie op drie benchmarks (MBPP, HumanEval+, LiveCodeBench) met verschillende backbone-modellen.

4. Resultaten

De experimenten tonen aan dat SEW significant beter presteert dan bestaande methoden:

Prestatieverbetering: SEW bereikt tot 12% verbetering op de uitdagende LiveCodeBench-dataset in vergelijking met het gebruik van alleen de backbone LLM.
Vergelijking met Baselines: SEW overtreft state-of-the-art methoden zoals Chain-of-Thought (CoT), PromptBreeder, ADAS en AFlow op alle drie de datasets (HumanEval+, MBPP, LiveCodeBench).
Beste Representatie: Uit de analyse blijkt dat CoRE de meest effectieve representatie is voor agentic workflows. Hoewel BPMN een hoge logica-succesrate (LSR) heeft, presteert CoRE het beste op het genereren van uitvoerbare code (GSR) omdat het natuurlijke taal, pseudocode en flow-based programmering integreert.
Impact van Modules:
- De Workflow Evolution module creëert effectievere topologieën dan alleen de LLM.
- De Agent Evolution module (vooral Hyper Evolution) verhoogt de prestaties aanzienlijk door hoogwaardige prompts te genereren. Op LiveCodeBench leidde de combinatie van workflow- en agent-evolutie tot een verbetering van 9,5% ten opzichte van de basisworkflow.
Robuustheid vs. Prestatie: Directe Evolutie (DE) neigt naar hogere piekprestaties (bijv. pass@10), terwijl Hyper Evolutie (HE) robuuster is met minder variatie in resultaten, wat ideaal is voor consistente prestaties in de praktijk.

5. Betekenis en Conclusie

SEW markeert een verschuiving van handmatig ontworpen multi-agent systemen naar volledig geautomatiseerde, zelf-evoluerende systemen. De belangrijkste inzichten zijn:

Autonomie: LLMs kunnen niet alleen code schrijven, maar ook hun eigen werkprocessen en instructies optimaliseren.
Representatie is cruciaal: De keuze van het formaat waarin de workflow wordt beschreven (CoRE in dit geval) is bepalend voor het succes van de evolutie.
Toekomstperspectief: Hoewel SEW momenteel gericht is op codegeneratie, biedt het een veelbelovende richting voor het optimaliseren van agentic workflows in andere domeinen zoals redeneren en planning, hoewel generalisatie en validatie van gegenereerde workflows nog uitdagingen vormen.

Kortom, SEW demonstreert dat door zelf-evolutie van zowel de structuur als de instructies van agents, de kwaliteit en aanpassingsvermogen van geautomatiseerde codegeneratie aanzienlijk kunnen worden verbeterd zonder menselijke tussenkomst in het ontwerpproces.