🤖 AI

CODESKILL: Learning Self-Evolving Skills for Coding Agents

CODESKILL is een op versterkingslering gebaseerd raamwerk dat leert om een compacte bank van procedurale vaardigheden met meerdere granulariteiten te extraheren, te evolueren en te onderhouden uit trajecten van codeeragenten, waardoor de prestaties op downstream-taken op benchmarks zoals SWE-Bench Verified aanzienlijk worden verbeterd in vergelijking met bestaande prompt-gebaseerde of geheugengerichte benaderingen.

Oorspronkelijke auteurs: Yanzhou Li, Yiran Zhang, Xiaoyu Zhang, Xiaoxia Liu, Yang Liu

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yanzhou Li, Yiran Zhang, Xiaoyu Zhang, Xiaoxia Liu, Yang Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme robotassistent leert softwarebugs op te lossen. Elke keer als de robot probeert een probleem op te lossen, doorloopt het een lang proces: het bekijkt de code, probeert een commando, ziet een fout, probeert opnieuw en lost het uiteindelijk (hopelijk) op. Deze hele reis wordt een "traject" genoemd.

Het probleem is dat als je de robot gewoon een dagboek laat bijhouden van elke enkele handeling die het ooit heeft gedaan, dat dagboek een rommelige, overweldigende berg papier zou worden. Het grootste deel bestaat uit specifieke details over één bepaalde bug die niet helpen bij de volgende.

CODESKILL is een nieuw systeem dat is ontworpen om die rommelige berg papier om te zetten in een strakke, georganiseerde handleiding die de robot daadwerkelijk kan gebruiken.

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. Het Probleem: Te Veel Ruis, Te Weinig Signaal

Op dit moment vertrouwen robots die proberen te leren van hun eerdere fouten vaak op starre regels of vaste prompts (zoals een leraar die zegt: "Doe altijd X als je Y ziet"). Maar software-engineering is complex. Soms slaagt de robot per ongeluk, en soms faalt het om een rare reden. Het is moeilijk te zeggen wat een herbruikbare vaardigheid is (zoals "hoe je een gebroken internetverbinding oplost") versus slechts een eenmalig toeval (zoals "hoe je de specifieke typefout in dit bestand oplost").

Bestaande methoden zijn als een bibliothecaris die boeken gewoon op de vloer stapelt zonder ze te ordenen. Ze weten niet welke boeken eigenlijk nuttig zijn voor de volgende lezer.

2. De Oplossing: De "Zelf-ontwikkelende Bibliothecaris"

CODESKILL fungeert als een slimme bibliothecaris die de kennisbank van de robot beheert (een Vaardigheidsbank genoemd). In plaats van alleen ruwe verhalen op te slaan, doet het het volgende:

Haalt Vaardigheden Op: Het leest de eerdere reizen van de robot en haalt de "gouden klonten" eruit – de algemene regels die op veel situaties van toepassing zijn.
Ontwikkelt Vaardigheden: Als de robot een vaardigheid probeert en het mislukt, gooit de bibliothecaris de vaardigheid niet zomaar weg. Het werkt de handleiding bij met de tekst: "Oh, deze regel werkt, tenzij je dit specifieke foutbericht ziet."
Onderhoudt de Bibliotheek: Het controleert voortdurend de bibliotheek. Als twee boeken hetzelfde zeggen, voegt het ze samen. Als een boek te specifiek of nutteloos is, gooit het het weg. Dit houdt de bibliotheek klein en efficiënt.

3. Hoe Het Leert: De "Trainer en de Atleet"

Het meest unieke deel van CODESKILL is hoe het leert om een goede bibliothecaris te zijn. Het raadt niet zomaar; het krijgt feedback van een "bevroren" atleet (de coderende robot).

De Atleet: Dit is de coderende robot die de daadwerkelijke problemen oplost. Het verandert zijn hersenen niet; het probeert gewoon taken op te lossen.
De Trainer (CODESKILL): Dit is het systeem dat de vaardigheden beheert.
De Trainingslus:
1. De Trainer creëert een nieuwe regel op basis van eerdere ervaring.
2. De Trainer geeft deze regel aan de Atleet.
3. De Test: Lost de Atleet het probleem sneller of beter op met deze nieuwe regel?
4. De Beloning: Als de Atleet slaagt, krijgt de Trainer een hoge score. Als de Atleet faalt, krijgt de Trainer een lage score.
5. De Trainer gebruikt deze score om te leren: "Oké, ik moet de volgende keer betere regels schrijven."

Het artikel noemt dit Versterkend Leren. Het is als het trainen van een hond: je vertelt de hond niet alleen wat het moet doen; je geeft het een traktatie als het het goed doet, zodat het leert het gedrag te herhalen dat de traktatie oplevert.

4. Twee Soorten Vaardigheden

CODESKILL organiseert kennis in twee soorten instructies, zoals een kookboek met twee secties:

Opdracht-niveau Vaardigheden (Het Grote Plaatje): Dit zijn hoogwaardige strategieën. Voorbeeld: "Wanneer je ziet dat een Java-build mislukt, controleer eerst je internetverbinding en daarna je afhankelijkheden."
Gebeurtenis-gestuurde Vaardigheden (De Snelle Oplossingen): Dit zijn reacties op specifieke momenten. Voorbeeld: "Als je een fout ziet met de tekst 'Bestand niet gevonden', controleer direct of het bestandspad een typefout bevat."

5. De Resultaten: Een Slimmere, Snellere Robot

De onderzoekers testten CODESKILL in drie verschillende "examenzalen" (benchmarks) waar coderende robots echte softwareproblemen uit de praktijk moeten oplossen.

De Baseline: Een robot zonder handleiding (alleen ruwe intelligentie).
De Wedstrijd: Robots die oudere methoden gebruiken om eerdere taken te onthouden (zoals gewoon een dagboek lezen of vaste prompts gebruiken).
CODESKILL: De robot die de zelf-ontwikkelende vaardigheidsbibliotheek gebruikt.

De Uitkomst:
De robot van CODESKILL loste aanzienlijk meer problemen op dan de anderen.

Het verbeterde het slagingspercentage met ongeveer 9,7% in vergelijking met het hebben van helemaal geen vaardigheden.
Het versloeg de sterkste bestaande "geheugen"-methoden met ongeveer 4%.
Het loste problemen ook sneller op, met minder stappen om de oplossing te bereiken, omdat het betere instructies had om te volgen.

De Conclusie

CODESKILL is een raamwerk dat een coderende robot leert hoe te leren. In plaats van gewoon elke gebeurtenis die plaatsvond te memoriseren, leert het die ervaringen te distilleren tot een compacte, evoluerende set regels. Het fungeert als een trainer die het spelplan voortdurend verfijnt op basis van of het team het spel daadwerkelijk wint, zodat de robot na verloop van tijd beter en efficiënter wordt zonder dat het opnieuw vanaf nul geprogrammeerd hoeft te worden.

Technische Samenvatting: CODESKILL

Probleemstelling

Coderingsagenten genereren rijke, langetermijntrajecten bij het oplossen van software-engineering (SWE)-taken, die herbruikbare ervaring bevatten die theoretisch toekomstig gedrag kan sturen. Hoewel recent werk geheugmechanismen heeft onderzocht om deze trajecten op te slaan of te samenvatten, lopen bestaande benaderingen voor het construeren en onderhouden van procedurale vaardigheden (compacte, herbruikbare kennis die specificeert wanneer en hoe moet worden opgetreden) tegen aanzienlijke beperkingen aan. Huidige methoden vertrouwen sterk op vaste prompts en heuristische update-regels om te bepalen welke kennis moet worden geëxtraheerd, hoe deze moet worden geabstraheerd en hoe de vaardighedenbank moet worden bijgewerkt. Deze statische aanpak faalt in het aanpassen aan de specifieke behoeften van downstream-agenten, met name in SWE-contexten waar trajecten dichte, heterogene feedback bevatten. Bijgevolg blijft het onduidelijk hoe vaardigheden optimaal kunnen worden geselecteerd, geabstraheerd en onderhouden om ervoor te zorgen dat ze zowel herbruikbaar zijn voor verschillende taken als uitvoerbaar voor concrete agentbeslissingen.

Methodologie

De auteurs stellen CODESKILL voor, een op LLM gebaseerd kader dat vaardigheidsextractie en het onderhoud van de vaardighedenbank herformuleert als een leerbare beheerpolitiek in plaats van een vast heuristisch proces.

Kaderarchitectuur

CODESKILL beheert een vaardighedenbank $B$ die bestaat uit procedurale vaardigheden op meerdere granulariteiten:

Op-taken gebaseerde vaardigheden: Hoogwaardige strategieën voor taakfamilies (bijv. inspectie van repositories, localisatie van problemen).
Gebeurtenisgestuurde vaardigheden: Lokale begeleiding voor terugkerende uitvoeringsgebeurtenissen (bijv. het afhandelen van specifieke foutberichten of commandofouten).

Het kader werkt via een lus van drie kerncomponenten:

Vaardigheidsextractie: Genereert nieuwe op-taken gebaseerde of gebeurtenisgestuurde vaardigheden uit trajectbewijs.
Vaardigheidsevolutie: Herziet bestaande vaardigheden op basis van nieuw of mislukt trajectbewijs om ontbrekende gevallen of faalmodi aan te pakken.
Onderhoud vaardighedenbank: Beslist of kandidaat-vaardigheden moeten worden toegevoegd, samengevoegd of verwijderd om de bank compact en van hoge kwaliteit te houden.

Trainingspijplijn

CODESKILL wordt getraind met een hybride aanpak die toezichtgeleerd leren en versterkt leren (RL) combineert:

Toezichtgeleerde warm-up: Het model ( $M_\theta$ ) wordt fijngefineerd op door docenten gegenereerde data (met gebruik van GPT-5.4-mini) om het schema te leren voor vaardigheidsextractie-, evolutie- en onderhoudsoperaties.
Versterkt leren (RL): De politiek wordt geoptimaliseerd met Group Relative Policy Optimization (GRPO). De trainingslus omvat:
- Hybride beloningontwerp: De beloningsfunctie combineert:
  - Dichte rubric-gebaseerde feedback: Een LLM als rechter evalueert de kwaliteit van de vaardigheid (gronding, herbruikbaarheid, specificiteit, uitvoerbaarheid) en gedragsuitlijning.
  - Sparce verifieerbare uitvoeringsfeedback: De impact van de vaardigheid wordt gemeten aan de hand van de prestatieverbetering van een bevroren downstream coderingsagent (bijv. Qwen3.5-35B-A3B) op specifieke taken. De beloning is het verschil tussen het succes van de agent met de vaardigheid versus een baseline zonder vaardigheid.
  - Uitlijningsfactor: Een mechanisme om ervoor te zorgen dat de agent daadwerkelijk de workflow van de vaardigheid heeft gevolgd, wat attributieproblemen in langetermijntaken aanpakt.
- Driefasig curriculum: De training vordert van alleen vaardigheidsextractie, naar extractie + evolutie, en uiteindelijk naar de volledige levenscyclus inclusief onderhoud, waardoor datathergebruik tussen fasen mogelijk is.

Belangrijkste Bijdragen

CODESKILL-kader: Een nieuw op LLM gebaseerd systeem dat leert om herbruikbare procedurale vaardigheden te extraheren, te evolueren en te onderhouden uit trajecten van coderingsagenten, en verder gaat dan statische prompt-gebaseerde vaardigheidsdistillatie.
Leerbare beheerpolitiek: De auteurs formuleren vaardigheidsbeheer opnieuw als een leerbare politiek die via RL wordt geoptimaliseerd. De beloningsfunctie balanceert uniek dichte rubric-gebaseerde kwaliteitsoordelen met sparce, verifieerbare uitvoeringsfeedback van een bevroren downstream-agent.
Empirische validatie: Uitgebreide evaluatie op EnvBench, SWE-Bench Verified en Terminal-Bench 2 toont aan dat geleerd vaardigheidsbeheer beter presteert dan zowel baselines zonder vaardigheden als sterke prompt-gebaseerde of geheugen-gebaseerde baselines.

Experimentele Resultaten

De auteurs hebben CODESKILL (geïnstantieerd met Qwen3.5-4B) geëvalueerd tegen verschillende baselines, waaronder uitvoering zonder vaardigheden, geheugen op subtaakniveau en prompt-gebaseerd vaardigheidsbeheer met zowel open-source (Qwen3.5-4B) als gesloten-source (GPT-5.4-mini) backbones.

Prestatiewinst:
- CODESKILL verbeterde het gemiddelde doorlooppercentage met 9,69% ten opzichte van de baseline zonder vaardigheden.
- Het presteerde beter dan de sterkste prompt-gebaseerde of geheugen-baseline met 4,01% (een relatieve winst van ongeveer 11%).
- Winsten waren consistent voor taken binnen het domein (EnvBench, SWE-Bench) en buiten het domein (Terminal-Bench 2).
Efficiëntie: CODESKILL verlaagde het gemiddelde aantal redeneerstappen op opgeloste instanties (van 44,12 naar 35,15 onder het Qwen3.5-35B-A3B-beleid), wat aangeeft dat opgehaalde procedurale begeleiding agenten helpt om directer tot oplossingen te komen.
Generalisatie: Het geleerde beleid generaliseerde effectief naar een andere bevroren downstream-agent (GPT-5.4-mini), wat suggereert dat het vaardigheidsbeheergedrag niet overgefit is op een specifieke solver.
Ablatiestudies:
- Zowel op-taken gebaseerde als gebeurtenisgestuurde vaardigheden leverden complementaire kennis op.
- De volledige levenscyclus (inclusief onderhoud) verkleinde de grootte van de vaardighedenbank met bijna de helft (van 1.252 naar 676 vaardigheden) terwijl de meeste downstream-gebruikswaarde behouden bleef, wat effectieve redundantiecontrole aantoont.
- Toezichtgeleerde fijnafstelling (SFT) alleen generaliseerde niet goed naar taken buiten het domein, wat de noodzaak van RL met downstream-feedback benadrukt.

Betekenis en Claims

Het artikel beweert dat geleerd procedueel geheugenbeheer een veelbelovende richting is voor coderingsagenten. In tegenstelling tot methoden die vertrouwen op vaste prompts of eenvoudige ophaalactie van episodisch geheugen, toont CODESKILL aan dat het optimaliseren van een vaardigheidsbeheerpolitiek met verifieerbare downstream-feedback agenten in staat stelt om langetermijnsoftware-engineering-ervaring effectiever op te bouwen en te hergebruiken. Het werk benadrukt dat statische vaardigheidsinjectie ontoereikend is; in plaats daarvan is een adaptieve, leerbare politiek vereist om ervoor te zorgen dat vaardigheden herbruikbaar, uitvoerbaar en van passende omvang blijven voor toekomstige taakoplossing.

Beperkingen erkend door de auteurs:

Het huidige systeem richt zich op vaardigheden voor instructies in natuurlijke taal en genereert nog geen uitvoerbare scripts, API's of tooldefinities.
De actieruimte is beperkt tot één bewerking op één kandidaat-vaardigheid per keer, wat de mogelijkheid beperkt om complexe, multi-vaardigheids onderhoudsbeslissingen uit te drukken (bijv. het splitsen van een brede vaardigheid of het coördineren van meerdere updates tegelijkertijd).