💬 NLP

Self-Evolving Agent Harnesses via Gated Semantic Quality-Diversity

Dit artikel introduceert een zelf-evoluerend agent-framework dat de prestaties van LLM's automatisch verbetert door het voorstellen van harness-patches te scheiden van hun deterministische, statistisch gevalideerde toeschrijving, waarbij gebruik wordt gemaakt van een gated quality-diversity archief om generaliseerbare winsten over domeinen heen te waarborgen zonder de modelgewichten aan te passen.

Oorspronkelijke auteurs: Xiaotian Luo, Fengxingyu Wang, Chuanrui Hu, Dizhan Xue, Yafeng Deng

Gepubliceerd 2026-07-16

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaotian Luo, Fengxingyu Wang, Chuanrui Hu, Dizhan Xue, Yafeng Deng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljant, maar enigszins koppig, robotbrein hebt. Je kunt de hersenen niet herbedraden of veranderen hoe het denkt; dat deel staat vast. Je kunt echter wel een aangepaste werkplaats omheen bouwen. Je kunt het betere gereedschappen geven, duidelijkere instructies schrijven, veiligheidsnetten opzetten en de werkruimte organiseren. In de wereld van kunstmatige intelligentie wordt deze "werkplaats" een harness genoemd. Het is de onzichtbare steiger van prompts, regels en hulpmiddelen die een bevroren AI-model vertelt hoe het een probleem moet aanpakken. De grote vraag die onderzoekers stellen is: als we het brein niet kunnen veranderen, kunnen we dan automatisch een betere werkplaats omheen bouwen? En als de AI probeert zijn eigen werkplaats te verbeteren, hoe weten we dan of het daadwerkelijk slimmer wordt en niet alleen de antwoorden van de test uit het hoofd leert?

Dit artikel introduceert een slim systeem genaamd Self-Evolving Agent Harnesses dat precies probeert die vraag te beantwoorden. Denk aan een robot die een betere robotwerkplaats voor zichzelf bouwt, maar met een strikte regel: de robot kan wijzigingen voorstellen, maar een aparte, gevoelloze "scheidsrechter" bestaande uit code moet verifiëren dat de wijzigingen daadwerkelijk werken voordat ze mogen blijven staan. De onderzoekers ontdekten dat door het "idee" te scheiden van het "bewijs", ze de prestaties van een bevroren AI met 9 tot 15,5 procentpunt konden verbeteren over zeven verschillende soorten taken, zoals coderen, wiskunde en browsen op het web. Cruciaal was dat deze verbeteringen geen gelukkige gokjes waren; ze hielden stand, zelfs toen de AI geconfronteerd werd met volledig nieuwe, onbekende uitdagingen, wat bewees dat het systeem leerde hoe het problemen moest oplossen in plaats van alleen specifieke antwoorden te memoriseren.

Het Probleem: De "Gelukkige Gok"-valstrik

Stel je voor dat je een student traint om een toets te maken. Als je de student zijn eigen huiswerk laat nakijken, kan hij per ongeluk (of met opzet) zichzelf een hoge score geven, simpelweg omdat hij deze keer het juiste antwoord heeft geraden. In AI wordt dit overfitting genoemd. De AI kan zijn instructies zo aanpassen dat ze perfect lijken voor de oefenopdrachten, maar hopeloos falen bij het echte examen.

Eerdere pogingen om AI zijn eigen "werkplaats" te laten verbeteren, vielen vaak in deze valstrik. Ze zeiden: "Hé, deze nieuwe instructie leverde een hogere score op!" en gingen dan verder. Maar ze hadden geen strikte manier om te bewijzen dat de score niet slechts een toevalstreffer of een meetfout was. Het was alsoam de coach die zegt: "Goed gedaan!" zonder te controleren of de speler daadwerkelijk scoorde of dat de scheidsrechter net een overtreding had gemist.

De Oplossing: De Splitsing tussen "Idee versus Bewijs"

De auteurs van dit artikel bouwden een systeem met twee duidelijke rollen, zoals een creatieve architect en een strikte bouwinspecteur.

De Architect (De Evolver): Dit is een krachtig AI-model dat kijkt naar waar de hoofdrobot faalde. Het diagnosticeert het probleem (bijv. "De robot bleef te lang hangen in het nadenken" of "De robot vergat zijn antwoord te controleren") en stelt een patch voor. Het is creatief en stelt wijzigingen voor aan de harness, zoals het toevoegen van een nieuw hulpmiddel of het herschrijven van een regel.
De Inspecteur (De Code): Dit is het belangrijkste onderdeel. De Inspecteur is geen AI; het is deterministische code. Het raadt niet. Het voert de nieuwe werkplaats van de robot uit op een reeks oefentaken, telt de resultaten en gebruikt strikte wiskunde om te beslissen of de wijziging daadwerkelijk nuttig was.

Het systeem gebruikt een speciale "poort" om te beslissen of een wijziging goed genoeg is. Het kijkt niet alleen naar de hoogste score; het voert een gepaarde significantietoets uit. Dit is als het twee keer uitvoeren van dezelfde test: één keer met de oude werkplaats en één keer met de nieuwe, naast elkaar. Als de nieuwe werkplaats wint met een statistisch significante marge (specifiek, een 2-sigma drempelwaarde, wat een hoge lat is voor vertrouwen), dan wordt de wijziging geaccepteerd. Als de score slechts een gelukkige uitschieter is, wijst de code de wijziging af.

De Bibliotheek van Oplossingen: Het "Quality-Diversity" Archief

Het systeem houdt niet alleen de enkele beste fix bij. Het organiseert fixes in een bibliotheek genaamd Gated Semantic MAP-Elites (GSME).

Stel je een bibliotheek voor waar boeken niet worden gesorteerd op de titel van het verhaal, maar op het type fout dat het verhaal oplost.

Het "Waar" en "Waarom": Elke fix wordt getagd met waar het van toepassing is (bijv. "de instructies", "de hulpmiddelen", "de timing") en waarom het helpt (bijv. "lost traag denken op", "voorkomt haasten").
Anti-Overfitting: Door de fixes op deze manier te sorteren, vermijdt het systeem de valstrik van alleen maar aanpassingen vinden die voor één specifieke vraag werken. In plaats daarvan bouwt het een diverse collectie oplossingen voor verschillende soorten fouten.
Mixen en Matchen: Het systeem kan een fix voor "traag denken" uit één deel van de bibliotheek nemen en combineren met een fix voor "haasten" uit een ander deel. Deze "cross-cell recombinatie" creëert vaak een super-harness die beter is dan beide fixes alleen.

De Resultaten: Echte Winst, Geen Ruis

De onderzoekers testten dit systeem op een bevroren AI-model (wat betekent dat ze het brein van de AI niet konden veranderen) over zeven verschillende domeinen, waaronder coderen, wiskunde en app-ontwikkeling. Ze gebruikten een "afgesloten test" — een reeks problemen die de AI nog nooit had gezien en waar het systeem tijdens het trainingsproces nooit naar mocht kijken.

De resultaten waren indrukwekkend:

De geëvolueerde harnesses verbeterden het succespercentage van de AI met +9 tot +15,5 procentpunt op de afgesloten tests.
Deze winsten waren echt. Het systeem behield 86% tot 147% van de verbetering die het zag tijdens de training wanneer het werd getest op de nieuwe, afgesloten problemen. Dit bewijst dat de AI niet alleen de oefenantwoorden uit het hoofd leerde, maar een betere manier van werken leerde.
Het systeem identificeerde en wees schadelijke wijzigingen succesvol af. Zo herkende het in één test een kandidaat die de prestaties met -6,4 punten zou hebben verlaagd en blokkeerde deze.

De Kernboodschap: Het Gaat om het Proces, Niet de Patch

Een van de meest interessante bevindingen is dat de "perfecte" fix volledig afhangt van het specifieke AI-model dat wordt gebruikt. Een fix die werkt voor het ene model, werkt misschien niet voor een ander, omdat ze op verschillende manieren falen. Echter, het proces van het diagnosticeren van de fout en het rigoureus testen van de fix werkt overal.

Het artikel laat zien dat je geen gigantisch AI-brein hoeft te hertrainen om het beter te maken. Je hebt alleen een slim, geautomatiseerd systeem nodig dat een betere werkplaats om het heen kan bouwen, mits dat systeem een strikte, onverstoorbare scheidsrechter heeft om te garanderen dat elke verbetering echt is. Het is een herinnering aan het feit dat, in de wereld van AI, de beste manier om een brein te upgraden soms is door de handen te upgraden die het aansturen.

Technische Samenvatting: Zelf-evoluerende Agent-harnesses via Gated Semantic Quality-Diversity

1. Probleemstelling

De prestaties van een Large Language Model (LLM) agent in real-world taken worden niet alleen bepaald door de modelgewichten, maar aanzienlijk door de "harness"—de omliggende runtime-scaffolding inclusief systeemprompts, geïnjecteerde kennis, controlelussen, tool-definities en configuratie. Bij implementatie zijn modelgewichten vaak bevroren (vanwege kosten, licenties of huur), waardoor de harness de enige aanpasbare hendel overblijft.

Huidige benaderingen voor het auto-evolueren van agent-harnesses staan voor twee primaire uitdagingen:

Onbetrouwbare Feedback: Zelf gegenereerde feedback is ruisachtig. Schijnbare winst kan een meetartefact zijn (bijv. instabiele sandboxes, verifier-timeouts) of statistische fluctuaties in plaats van genuuine verbeteringen.
Overfitting en Collaps: Zonder gestructureerde zoektocht neigen optimalisatielussen naar overfitting op specifieke trainingstaken of collaps naar een smalle set van "veilige" wijzigingen (meestal kleine prompt-tweakjes), waarbij diepere foutmodi niet worden geadresseerd.

Bestaande methoden missen vaak statistische strengheid, omdat ze vertrouwen op pieken in pass-rates over ruisachtige rondes zonder held-out validatie, wat gerapporteerde winsten oncontroleerbaar en gevoelig voor overfitting maakt.

2. Methodologie

Het paper stelt een framework voor dat de voorstelvorming van wijzigingen scheidt van de toerekening (crediting) van die wijzigingen, gebruikmakend van een bevroren taakagent en een aparte, sterkere "evolver" model.

2.1 Systeemarchitectuur

Frozen Task Agent: Het model dat wordt geoptimaliseerd ( $M$ ) blijft bevroren. Het voert taken uit binnen een mutabele harness ( $H$ ).
Evolver Agent: Een apart, sterker model ( $D \neq M$ ) diagnosticeert fouten in de trajecten van de taakagent en stelt semantische patches voor.
Deterministische Meetlaag: Alle sampling, scoring en significantietoetsing wordt afgehandeld door deterministische code, niet door het LLM, wat reproduceerbaarheid garandeert.

2.2 De Zelf-evolutie Lus

Het proces volgt een trechterstructuur (Figuur 1):

Diagnose: De evolver leest fout-trajecten en wijst een (waar $\times$ waarom) coördinaat toe aan elke fout.
- Waar: Het aangetaste mutabele oppervlak (Prompt, Kennis, Runtime, Config).
- Waarom: De specifieke pathologie van de fout (bijv. "thinking-runaway," "premature finalization").
Voorstel: De evolver ontwerpt patches (git commits) gericht op specifieke pathologieën.
Preflight Pruning: Zero-inference checks verwijderen kandidaten die geen activatie verklaren of waarvan de triggers nooit zijn afgevuurd.
Screening & Validatie:
- Anchor Screen: Een goedkope subset ( $K=1$ ) filtert de meest evidente verliezers eruit.
- Volledige Evaluatie: Overlevers worden gedraaid op de volledige trainingsset ( $K=3$ ).
Drie-Poort Toerekening (Three-Gate Crediting): Een patch wordt alleen toegerekend als deze voldoet aan:
- Validiteitspoort: Garandeert dat de omgeving gezond is (geen sandbox crashes/timeouts). Infrastructuurfouten worden opnieuw gedraaid, niet geteld als agent-fouten.
- Activatiepoort: De patch moet daadwerkelijk tijdens de trial is afgevuurd.
- Significantiepoort: Vereist een gepaarde 2 $\sigma$ test ( $z \ge 1.96$ ) op dezelfde taakset om echte winst te onderscheiden van ruis.

2.3 Gated Semantic MAP-Elites (GSME)

Om overfitting en zoek-collaps te voorkomen, worden edits georganiseerd in een categorische Quality-Diversity (QD) archief:

Indexering: Cellen worden gekoppeld aan de (waar $\times$ waarom) pathologie, niet aan de specifieke taak. Dit fungeert als een anti-overfitting inductieve bias.
Structuur: Eén "gated elite" (beste patch) wordt per cel bewaard.
Selectie & Variatie: Het systeem gebruikt kwaliteits-gebiaste selectie (uitbreiding van de globale beste) gecombineerd met cross-cell recombinatie (het stapelen van elites uit verschillende pathologie-cellen). Dit stelt het systeem in staat om synergetische combinaties te ontdekken (bijv. een runtime fix + een prompt fix) zonder de kosten van uniforme exploratie.

2.4 Evaluatieprotocol

Sealed Test: Een held-out testset wordt tijdens het gehele proces volledig onthouden van de evolver. Deze wordt één keer gescoord nadat de evolutie is voltooid.
Terminatie: De lus stopt als geen enkele kandidaat de vanilla baseline verslaat op de trainingsset voor $P$ rondes of als een ronde-limiet $R$ wordt bereikt.
Metriek: Prestaties worden gemeten via Retention (sealed lift / training lift) en Credited Gain (sealed lift die de 2 $\sigma$ drempel passeert).

3. Belangrijkste Bijdragen

Auditbare Zelf-evolutie Lus: Een reproduceerbaar systeem waarbij de LLM de semantiek bezit (diagnose/patches) en deterministische code het kwantitatieve oordeel voert (sampling/significantie). Dit zorgt ervoor dat elke toegerekende verbetering traceerbaar en reproduceerbaar is.
Gated Semantic MAP-Elites (GSME): Een nieuw archiefstructuur gekoppeld aan foutpathologieën in plaats van taken. Het paper levert bewijs dat deze structuur cross-cell recombinatie mogelijk maakt, waardoor het systeem diverse edits (runtime, config, kennis) kan accepteren in plaats van te vervallen in prompt-only tweaks.
Bewijs van Generalisatie: Het framework toont aan dat winsten generaliseren in plaats van te overfitten. Over zes domeinen heen behield de sealed-test de 86–147% van de trainingswinsten, waarbij alle winsten de gepaard 2 $\sigma$ significantiebar passeerden.
Model-Specifieke Pathologie Matching: De research laat zien dat de "winnende patch" de specifieke dominante foutmodus van het model volgt (bijv. "careless $\to$ submit-verify" voor sommige modellen, "engagement $\to$ verify-finalize" voor anderen), in plaats van een universele oplossing te zijn. De overdraagbare bijdrage is de diagnose-en-toerekeningslus, niet een specifieke harness configuratie.

4. Experimentele Resultaten

Het framework werd geëvalueerd over zeven domeinen afkomstig van drie bronnen (Terminal-Bench-2, EvoAgentBench suite, AppWorld) met behulp van een bevroren open-weight model (Qwen3.6-27B).

Prestatiewinsten: De door training geselecteerde harness behaalde gecrediteerde winsten van +9 tot +15,5 procentpunten (pp) op de sealed test.
Generalisatie:
- TB2: +9,3 pp (Retention: 147%)
- LiveCode: +13,7 pp (Retention: 86%)
- Omni-MATH: +11,7 pp (Retention: 115%)
- BrowseComp+: +13,9 pp (Retention: 88%)
- GDPval: +9,2 pp (Retention: 109%)
- AppWorld: +15,5 pp (Retention: 87%)
- SWE-bench: +5,1 pp (Niet gecrediteerd vanwege lage steekproefgrootte $n=26$ die de 2 $\sigma$ bar niet haalde, hoewel richtinggevend positief).
Diversiteit van Edits: Geaccepteerde edits besloegen alle vier de hendels (Prompt, Kennis, Runtime, Config), waardoor de collaps naar enkel prompt-only edits die in eerder werk werd waargenomen, werd vermeden.
Cross-Model Validatie: Experimenten op AppWorld met Qwen3.5 en Gemini 3 Flash bevestigden dat de lus zich aanpast aan verschillende modelfamilies door hun specifieke dominante pathologieën te identificeren.

5. Significantie en Claims

Het paper claimt dat de primaire bottleneck bij het verbeteren van bevroren LLM agents niet het genereren van wijzigingen is, maar weten welke wijzigingen echt hebben geholpen. Door voorstel te scheiden van toerekening en strikte statistische significantie op een sealed test af te dwingen, demonstreren de auteurs dat:

Zelf-evolutie bij constructie betrouwbaar kan worden gemaakt, waarbij de overfitting en ruisinflatie die gebruikelijk zijn in eerdere auto-optimalisatie literatuur worden vermeden.
Generalisatie haalbaar is in een regime met bevroren gewichten, waarbij geëvolueerde harnesses het merendeel van hun trainingswinsten op onbekende data behouden.
De diagnose-en-toerekeningslus de overdraagbare mechanisme is. De specifieke patches die worden gevonden zijn model-specifiek, maar de methodologie voor het vinden ervan is toepasbaar op verschillende modelfamilies en taakdomeinen.

Het werk herkadert harness zelf-evolutie niet als het ontdekken van een "universeel goede" scaffold, maar als het fitten van corrigerende patches aan de specifieke foutdistributie van een model, waarbij de lus zelf dient als de robuuste, generaliseerbare motor voor deze adaptatie.