Technische Samenvatting: OPENSKILL: Open-World Self-Evolution voor LLM Agents

1. Probleemdefinitie: Open-World Self-Evolution

Huidige zelf-evoluerende LLM-agents vertrouwen doorgaans op een "bruikbare leerlus" die een vooronderstelling heeft van toegang tot gecureerde vaardigheden, succesvolle executie-trajecten of expliciete verifier-signalen (bijv. beloningen, grondwaarheid-antwoorden) tijdens de leerfase. Echter, real-world open-world implementaties bieden vaak slechts een seed-taakprompt en toegang tot externe bronnen, zonder initiële vaardigheden of supervisie-signalen.

Dit papier definieert Open-World Self-Evolution als een setting waarin een agent moet:

1. Starten met enkel een taakinstructie ($I_i$) en een executie-omgeving ($E_i$).
2. Toegang hebben tot open-world bronnen (documentatie, repositories, webpagina's) maar exclusief verboden te zijn voor verborgen doel-antwoorden, beloningen of verifier-outputs.
3. Zowel zijn vaardigheden (herbruikbare gedragsobjecten) als zijn eigen verificatie-signalen vanaf nul op te bouwen.
4. Prestaties te verbeteren zonder target-taak supervisie tijdens het evolutieproces, waarbij de grondwaarheid-evaluatie uitsluitend wordt gereserveerd voor de finale beoordeling.

De kernuitdaging is dat feiten alleen onvoldoende zijn; de agent moet afleiden wat er geleerd moet worden en een gekoppelde leerlus bouwen waarbij dezelfde open-world bewijslast zowel de kennis om te leren als de supervisie voor het verfijnen van die kennis levert.

2. Methodologie: Het OpenSkill Framework

OpenSkill is een driestaps-pipeline ontworpen om deze zelf-evolutie-lus te bootstrappen zonder lekkage van target-taak supervisie. Het opereert onder een strikte "lekkage-barrière" die voorkomt dat de grondwaarheid ($T^{GT}_i$) de vaardigheidsconstructiefase binnentreedt.

Fase 1: Open-World Kennisverwerving

De agent bevraagt open-world bronnen om twee verschillende soorten kennis te verwerven:

• Skill Construction Knowledge ($k_i$): Haalt achtergrondconcepten, best practices, API-documentatie en citaties op die relevant zijn voor de taak.
• Verification Knowledge ($k^v_i$): Haalt onafhankelijk verifieerbare ankers op, zoals referentiewaarden uit officiële documentatie, statistische invarianten van bekende datasets, cross-validatie procedures en domeinstandaarden.
• Skill Planning: Een gestructureerd plan ($p_i$) wordt gesynthetiseerd, wat de vaardigheidsarchitectuur, kernprocedures en domeinregels definieert.
• Lekkagepreventie: Alle queries worden gefilterd om benchmarknamen en identifiers uit te sluiten die tot de target-antwoorden zouden kunnen leiden.

Fase 2: Lekkage-vrije Vaardigheidsevolutie

De agent genereert en verfijnt iteratief vaardigheden met behulp van een Virtual Verifier:

• Virtual Test Generatie: In plaats van grondwaarheid-tests gebruikt het systeem een virtuele testsuite ($\tilde{T}_i$) die gebaseerd is op de verificatiekennis ($k^v_i$). Deze tests bestaan uit deterministische asserties (bijv. het controleren van rij-aantallen, metriek-bereiken of output-formaten) die geen kennis vereisen van het doelantwoord.
• Iteratieve Verfijning: De agent voert de taak uit met de huidige set vaardigheden. Als de virtuele pass-rate ($\tilde{r}$) minder dan 1 is, analyseert een Diagnostic Retriever de fouten om onderscheid te maken tussen:
  • Implementatiefouten: Opgelost via zelfcorrectie.
  • Kennisgebreken: Dit triggert gerichte retrieval van nieuwe open-world kennis.
• Terminatie: De lus gaat door totdat de virtuele pass-rate 1.0 bereikt of een maximaal iteratiebudget ($J=3$) is uitgeput. De uiteindelijke vaardigheidset ($\hat{S}^*_i$) is de staat van de vaardigheid bij het einde van de lus.

Fase 3: Zero-Shot Target Evaluatie

Het verfijnde vaardigheidsobject wordt ingezet bij een target agent (die kan verschillen van de constructie-agent) in een zero-shot setting. Prestaties worden gemeten tegen de verborgen grondwaarheid-testsuite ($T^{GT}_i$), die nooit werd geraadpleegd tijdens het evolutieproces.

3. Belangrijkste Bijdragen

1. Definitie van Open-World Self-Evolution: Het papier formaliseert een setting waarin agents volledig vaardigheden en verificatie-signalen moeten opbouwen vanuit open-world bronnen zonder target-taak supervisie.
2. Het OpenSkill Framework: Een innovatieve pipeline die zelf-evolutie bootstrapt door gestructureerde, overdraagbare vaardigheden en een zelf-gebouwde virtuele verifier te synthetiseren, gegrond in open-world feiten in plaats van verborgen antwoorden.
3. Empirische Validatie: Demonstratie dat OpenSkill superieure geautomatiseerde pass-rates bereikt over meerdere benchmarks en modelfamilies, terwijl het aan de no-supervision restrictie voldoet.

4. Experimentele Resultaten

Het framework werd geëvalueerd op drie benchmarks (SkillsBench, SocialMaze, ScienceWorld) met behulp van twee target agents (Opus 4.6 en GPT 5.2).

• Prestaties: OpenSkill behaalde de beste geautomatiseerde algemene pass-rate op alle benchmarks. Op SkillsBench bereikte het 43,6% (Opus 4.6) en 42,1% (GPT 5.2), waarmee het de sterkste closed-world baselines (Skill-Creator en CoT) respectievelijk met +8,9 en +8,8 procentpunten versloeg. Het naderde consistent de door mensen gecureerde bovengrens.
• Cross-Model Transferability: Vaardigheden gegenereerd door OpenSkill met gebruik van Opus 4.6 werden direct ingezet op zwakkere modellen (Haiku 4.5, Qwen 3 Coder, DeepSeek V3, Mistral Large 3) zonder hertraining. OpenSkill-gegenereerde vaardigheden leverden consistent de hoogste beloningen op voor alle target modellen, met een verbetering van 5,5%–14,8% ten opzichte van de no-skill baseline.
• Verifier Kwaliteit: De zelf-gebouwde virtuele verifier bereikte, ondanks het nooit te hebben geraadpleegd van de grondwaarheid-tests, een recall van 80,5% en een overeenkomst van 60,7% met de grondwaarheid-uitkomsten. Het dekte 88,9% van de grondwaarheid-test-intents over de gesamplede taken.
• Ablatie Studies:
  • Iteratie-aantal: Prestaties piekten bij 3 verfijningsiteraties; excessieve iteraties leidden tot overfitting op virtuele feedback.
  • Component Bijdrage: Zowel de open-world query module als de virtuele verifier boden significante, complementaire winst ten opzichte van een louter parametrische baseline.

5. Betekenis en Claims

Het papier claimt dat OpenSkill een levensvatbaar pad aantoont naar agents die kunnen blijven verbeteren na implementatie in omgevingen waar gecureerde vaardigheden en betrouwbare feedback niet beschikbaar zijn. Door de acquisitie van vaardigheden te ontkoppelen van target-taak supervisie en de verificatie te verankeren in onafhankelijk verifieerbare open-world feiten, maakt OpenSkill het volgende mogelijk:

• Schaalbaarheid: Vaardigheden zijn expliciete objecten, geen modelgewichten, waardoor ze kunnen worden overgedragen aan verschillende modelfamilies.
• Groundedness: Vaardigheden zijn afgeleid van externe documentatie en repositories, wat de afhankelijkheid van (mogelijk verouderde of onvoldoende) parametrische kennis in niche-domeinen vermindert.
• Supervisie-vrij Leren: Het framework bewijst dat een zelf-verbeteringslus kan worden geconstrueerd met enkel een taakprompt en open-world bronnen, zonder dat een "gouden antwoord" nodig is tijdens de trainingsfase.

De auteurs erkennen beperkingen, waaronder potentiële ruis in open-world bronnen, het risico dat virtuele taken te makkelijk zijn (overschatting van de kwaliteit van de vaardigheid) en de computationele kosten van open-world onderzoek vergeleken met closed-world generatie. De resultaten suggereren echter dat open-world acquisitie gecombineerd met lekkage-vrije verificatie een robuust mechanisme is voor autonome agent-evolutie.