🤖 AI

EvoSkill: Automated Skill Discovery for Multi-Agent Systems

Dit paper introduceert EvoSkill, een zelfevoluerend framework dat door middel van iteratieve foutanalyse en selectie op een Pareto-front automatisch herbruikbare agentvaardigheden ontdekt en verfijnt, wat leidt tot significante prestatieverbeteringen en transferleer op gespecialiseerde taken.

Oorspronkelijke auteurs: Salaheddin Alzubi, Noah Provenzano, Jaydon Bingham, Weiyuan Chen, Tu Vu

Gepubliceerd 2026-03-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Salaheddin Alzubi, Noah Provenzano, Jaydon Bingham, Weiyuan Chen, Tu Vu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar nogal onervaren stagiair hebt. Deze stagiair (de "AI-agent") kan alles doen: code schrijven, zoeken op internet, en complexe berekeningen maken. Hij is een veelzijdige generalist. Maar als je hem vraagt om een specifiek, moeilijk probleem op te lossen – bijvoorbeeld het analyseren van jarenlang Amerikaanse staatsfinanciële data of het vinden van een heel specifiek feit op een rommelig internet – faalt hij vaak. Hij mist de specifieke expertise die nodig is voor die ene taak.

Tot nu toe moesten mensen die expertise handmatig inbouwen, alsof je de stagiair elke keer een nieuwe handleiding moest geven. Dat is tijdrovend en werkt niet goed als je veel verschillende taken hebt.

Deze paper introduceert EvoSkill: een systeem dat deze stagiair zichzelf laat leren door fouten te analyseren en zijn eigen "handboeken" te schrijven.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Slimme Dwaas"

Stel je voor dat je een robot hebt die alles kan, maar die soms domme fouten maakt omdat hij niet weet hoe hij een taak moet aanpakken.

Voorbeeld: Hij moet een getal uit een ingewikkeld financieel overzicht halen. Hij kijkt naar het verkeerde vakje in de tabel.
Huidige oplossing: Een mens moet komen en zeggen: "Hé, kijk altijd naar de tweede rij en niet de eerste."
Nadeel: Dit moet je voor elke nieuwe fout opnieuw doen.

2. De Oplossing: EvoSkill (De "Zelf-Lerende Meester")

EvoSkill is een systeem dat de robot helpt zijn eigen vaardigheden (skills) te ontdekken en te verbeteren, zonder dat de onderliggende "hersenen" (het AI-model) veranderen. Het is alsof je de robot een dagboek geeft waarin hij zijn eigen fouten opschrijft en vervolgens zelf een nieuwe handleiding schrijft om die fout nooit meer te maken.

Het proces verloopt in drie stappen, met drie verschillende "robots" die samenwerken:

De Uitvoerder (De Stagiair):
Deze robot probeert de taak. Als hij faalt, wordt zijn werk gecontroleerd.
- Analogie: De stagiair probeert een recept te maken, maar de taart lukt niet.
De Ontdekker (De Analytische Chef):
Deze robot kijkt naar de fout van de uitvoerder en vraagt zich af: "Waarom ging dit mis? Wat miste hij?"
- Analogie: De chef-kok kijkt naar de mislukte taart en zegt: "Ah, je hebt de temperatuur verkeerd gelezen. We hebben een nieuwe regel nodig: 'Check altijd de thermometer twee keer'."
- Belangrijk: De chef schrijft niet de taart zelf, maar de regel (de vaardigheid) die de fout voorkomt.
De Bouwer (De Handboek-Schrijver):
Deze robot neemt de suggestie van de chef en maakt er een echt, bruikbaar handboek van. Dit handboek is een mapje met instructies, een checklist en misschien zelfs een hulpprogramma (code).
- Analogie: De chef schrijft een nieuwe pagina in het kookboek: "Recept voor perfecte taart: Stap 1, Stap 2, Stap 3 (Check temperatuur!)."

3. De "Pareto-Frontier": Alleen de Beste Behouden

Niet elke nieuwe regel werkt. Soms maken de robots een nieuwe regel die juist voor meer verwarring zorgt.
EvoSkill houdt een selectie bij (een "Pareto-frontier").

Analogie: Stel je een wedstrijd voor. Elke keer dat de robot een nieuwe "handboek-pagina" bedenkt, wordt deze getest.
- Werkt het beter dan de vorige versie? Ja? Dan mag het handboek blijven en wordt het toegevoegd aan de collectie.
- Werkt het slechter? Nee? Dan wordt het handboek in de prullenbak gegooid.
- Alleen de handboeken die de robot echt slimmer maken, blijven over.

4. De Resultaten: Van "Nogal Slecht" naar "Expert"

De auteurs hebben dit getest op twee moeilijke taken:

OfficeQA (Financiële Data): De robot moest vragen beantwoorden over Amerikaanse staatsfinanciën.
- Resultaat: Door zijn eigen fouten te analyseren en nieuwe regels te schrijven, steeg het succes van 60% naar 68%.
- Wat leerde hij? Bijvoorbeeld: "Kijk niet alleen naar het getal, maar check ook of je de juiste eenheid (miljoen vs. miljard) gebruikt."
SealQA (Zoeken op het internet): De robot moest feiten vinden op een rommelig internet waar veel nepnieuws staat.
- Resultaat: Het succes steeg van 26% naar 38%.
- Wat leerde hij? Een nieuwe regel: "Zoek niet naar één antwoord, maar check altijd minimaal drie verschillende bronnen voordat je iets zegt."

5. Het Magische Moment: Transfereren (De "Superkracht")

Het mooiste aan EvoSkill is dat de vaardigheden overdraagbaar zijn.

Analogie: Stel je voor dat de robot een vaardigheid leert voor het vinden van feiten op het internet (SealQA). Vervolgens krijg je hem een heel andere taak: het zoeken naar feiten in een database van een krant (BrowseComp).
De robot gebruikt dezelfde zelfgeschreven regel ("Check altijd 3 bronnen") en werkt daar ook beter mee!
Dit betekent dat de robot niet alleen voor één taak is getraind, maar algemene vaardigheden heeft ontwikkeld die hij overal kan gebruiken.

Samenvatting

EvoSkill is geen systeem dat de AI "hersens" vervangt. Het is een systeem dat de AI leert hoe hij moet leren.
In plaats van dat mensen duizenden regels moeten schrijven om een AI slimmer te maken, laat EvoSkill de AI zelf zijn eigen fouten analyseren, zijn eigen "handleidingen" schrijven, en die handleidingen testen. Als de handleiding werkt, blijft hij. Zo wordt de AI langzaam een expert, niet door meer te "leren" (trainen), maar door slimmer te worden in het aanpakken van problemen.

Het is alsof je een stagiair niet alleen de taken geeft, maar hem ook de kans geeft om zijn eigen trainingsprogramma te schrijven, zodat hij op termijn de beste medewerker van het bedrijf wordt.

1. Het Probleem

Coderende agenten (zoals Claude Code, OpenHands) zijn krachtige, algemene probleemoplossers die code als flexibele tussenlaag gebruiken. Ondanks hun flexibiliteit missen ze echter vaak de domeinspecifieke expertise die nodig is voor gespecialiseerde taken.

Huidige aanpak: Bestaande "agent skills" (herbruikbare workflows en code) worden meestal handmatig gemaakt. Dit is tijdrovend, schaalbaar slecht en vereist veel domeinkennis.
Beperkingen van evolutionaire methoden: Bestaande evolutionaire benaderingen (zoals AlphaEvolve of GEPA) optimaliseren vaak lage-level artefacten (zoals prompts of specifieke codefragmenten). Deze zijn sterk gekoppeld aan een specifiek model en taak, waardoor ze moeilijk te hergebruiken of te transfereren zijn naar andere contexten.

Er is behoefte aan een systeem dat automatisch, herbruikbare en domeinonafhankelijke vaardigheden ontdekt en verfijnt zonder het onderliggende taalmodel te hoeven finetunen.

2. Methodologie: EvoSkill Framework

EvoSkill is een zelf-evoluerend framework dat werkt op een hoger abstractieniveau dan prompts of code: het ontdekt en optimaliseert agent skills. Het systeem blijft het onderliggende model "bevroren" (frozen); alleen de skills-repository en de agent-metadata evolueren.

Het framework bestaat uit drie samenwerkende agenten die een iteratieve cyclus doorlopen:

Executor Agent (A): Voert taken uit onder leiding van het huidige "agent programma" (bestaande uit system prompt en geaccumuleerde skills).
Proposer Agent (P): Analyseert de uitvoeringstraces, voorspellingen en de "ground truth" (het juiste antwoord) om fouten te diagnosticeren.
- Het identificeert capaciteitsgaten en stelt een tekstuele voorstel op voor een nieuwe skill of een aanpassing van een bestaande skill.
- Het houdt een feedbackgeschiedenis (H) bij om redundante voorstellen te voorkomen en te leren van eerdere mislukkingen.
Skill-Builder Agent (S): Zet het hoog-niveau voorstel van de Proposer om in een concrete, gestructureerde skill-folder.
- Deze folder bevat een SKILL.md (instructies en trigger-metadata) en optionele helper-scripts (Python/TypeScript).
- De Skill-Builder bootst een "meta-skill" na die best practices voor het schrijven van skills codificeert.

De Evolutionaire Lus (Algorithm 1):

Het systeem onderhoudt een Pareto-frontier (G) van de $k$ best presterende programma's.
In elke iteratie wordt een ouderprogramma geselecteerd (round-robin).
Fouten worden verzameld; als er fouten zijn, genereert de Proposer een skill-voorstel.
De Skill-Builder creëert een kandidaat-programma.
Selectie: De kandidaat wordt geëvalueerd op een vastgehouden validatieset. Alleen als de kandidaat beter scoort dan het slechtste lid van de frontier, wordt deze opgenomen (en het slechtste lid verwijderd).
Dit proces herhaalt zich totdat een maximum aantal iteraties is bereikt.

3. Belangrijkste Bijdragen

EvoSkill Framework: Een nieuw systeem voor automatische ontdekking en verfijning van herbruikbare agent skills via iteratieve foutanalyse, opererend op het niveau van "skills" in plaats van lage-level artefacten.
Significante Prestatieverbeteringen: Aantonen van substantiële verbeteringen op twee verschillende benchmarks met slechts kleine trainingssets.
Zero-Shot Transfer: Het bewijs dat skills die op de ene taak zijn geëvolueerd, zonder modificatie kunnen worden overgedragen naar een volledig andere taak (zero-shot transfer), wat aantoont dat skill-level optimalisatie generaliseerbare capaciteiten oplevert.

4. Resultaten

Het framework werd geëvalueerd op twee benchmarks:

OfficeQA (Gegrond redeneren over US Treasury-data):
- Doel: Vragen beantwoorden over complexe tabellen en documenten van het Amerikaanse Ministerie van Financiën.
- Resultaat: De exact-match nauwkeurigheid steeg van 60,6% naar 67,9% (+7,3%) met een training op slechts 5-15% van de data.
- Een "skill-merge" configuratie (het combineren van unieke skills uit onafhankelijke runs) leverde de beste resultaten op.
- Gevonden skills: Bijvoorbeeld een "data-extraction-verification" skill die fouten bij het lezen van tabelcellen en verkeerde metriekselectie corrigeert.
SealQA (Zoek-gebaseerde QA met ruis):
- Doel: Vragen beantwoorden waarbij webzoekresultaten vaak tegenstrijdig of onbetrouwbaar zijn.
- Resultaat: De nauwkeurigheid steeg van 26,6% naar 38,7% (+12,1%).
- Gevonden skills: Een "search-persistence-protocol" die agenten dwingt tot uitgebreide zoekstrategieën, multi-bron verificatie en het vermijden van voortijdige conclusies.
Zero-Shot Transfer (SealQA naar BrowseComp):
- De "search-persistence-protocol" skill, ontwikkeld voor SealQA, werd zonder enige aanpassing toegepast op BrowseComp (een benchmark voor browse-agenten).
- Resultaat: De nauwkeurigheid steeg met 5,3% (van 43,5% naar 48,8%).
- Dit bewijst dat de ontdekte skills algemene vaardigheden zijn die niet overfit zijn op de trainingsdata.

5. Betekenis en Conclusie

EvoSkill markeert een verschuiving in de optimalisatie van AI-agenten:

Van Artefact naar Abstraktie: In plaats van prompts of code direct te optimaliseren (wat vaak model- en taakspecifiek is), optimaliseert EvoSkill gestructureerde, modulaire skills.
Interpreteerbaarheid en Compositie: De ontdekte skills zijn leesbaar (via SKILL.md), interpreteerbaar en kunnen worden samengesteld.
Generalisatie: Het vermogen om skills zero-shot te transfereren naar nieuwe taken suggereert dat dit een robuustere aanpak is voor het opbouwen van domeinexpertise dan traditionele prompt-engineering of model-finetuning.

De auteurs concluderen dat EvoSkill een veelbelovende richting is voor het creëren van gedeelde, herbruikbare kennisbanken voor multi-agent systemen, met potentie voor uitbreiding naar multimodale taken en bredere domeinen.