AutoSkill: Experience-Driven Lifelong Learning via Skill Self-Evolution

AutoSkill is een model-onafhankelijk framework dat LLM-agenten in staat stelt om via zelfevolutie en dynamische injectie vaardigheden te leren, onderhouden en hergebruiken op basis van eerdere interacties, waardoor tijdelijke ervaringen worden omgezet in blijvende, personaliseerbare capaciteiten zonder het onderliggende model opnieuw te hoeven trainen.

De kern

Stel je voor dat je een zeer slimme, maar soms wat vergeetachtige assistent hebt. Elke keer als je met hem praat, moet je hem opnieuw vertellen hoe je je e-mails wilt laten klinken, welke technische termen je niet mag gebruiken, of dat je liever geen "hallucinaties" (verzonnen feiten) wilt. Het is alsof je elke ochtend opnieuw moet uitleggen aan je klerk hoe je koffie wilt, terwijl hij het de vorige dag al perfect had begrepen.

Dit is het probleem dat AutoSkill probeert op te lossen.

Hier is een simpele uitleg van wat dit onderzoek doet, vertaald naar alledaagse taal:

🧠 Het Probleem: De "Gouden Vissen" van AI

Grote taalmodellen (zoals de AI die je nu gebruikt) zijn als gouden vissen: ze hebben een kort geheugen. Zodra je een gesprek afsluit, is de ervaring weg. Als je morgen terugkomt, moet je alles opnieuw uitleggen. Bestaande systemen proberen dit op te lossen door een "notitieblok" te gebruiken (een database met je eerdere gesprekken), maar dat is vaak rommelig. De AI leest dan alleen maar je oude teksten terug, in plaats van te leren hoe je wilt dat hij handelt.

🛠️ De Oplossing: AutoSkill als een "Persoonlijke Handboek-Generator"

AutoSkill is een slimme laag die bovenop de AI wordt geplakt. In plaats van alleen maar oude gesprekken op te slaan, doet AutoSkill iets veel slimmers: het schrijft je gewoontes om in een officieel "handboek" of "vaardigheidskaart" (een Skill).

Stel je dit voor:

• Zonder AutoSkill: Je zegt elke keer: "Schrijf dit als een formele e-mail, maar niet te saai, en gebruik geen woorden als 'geavanceerd'."
• Met AutoSkill: De AI ziet dat je dit vaak doet. Hij pakt die herhaling, schrijft het op in een netjes document genaamd Formele_Email_Skill.md, en slaat dit op in een kastje. De volgende keer dat je iets vraagt, kijkt de AI niet naar je hele oude chatgeschiedenis, maar pakt hij direct dat handboekje uit de kast en zegt: "Ah, ik weet wat je wilt!"

🔄 Hoe werkt het? (De 3 Stappen)

1. Het Opsporen (De Detectie):
   De AI kijkt naar wat jij zegt. Als hij ziet dat je vaak vraagt om iets op een specifieke manier te doen (bijvoorbeeld: "Maak dit korter" of "Gebruik altijd een vrolijke toon"), denkt hij: "Wacht, dit is een patroon! Dit is een vaardigheid die we kunnen opslaan."

2. Het Schrijven (De Creatie):
   De AI schrijft dit patroon op in een gestructureerd bestand (zoals een recept). Dit bestand bevat precies:

   • Wat moet er gebeuren?
   • Hoe moet het klinken?
   • Wat mag er absoluut niet?
     Dit bestand is leesbaar voor mensen. Je kunt het openen, lezen en zelfs zelf aanpassen als je vindt dat de AI het verkeerd heeft begrepen.

3. Het Gebruiken (De Toepassing):
   Wanneer je de volgende keer iets vraagt, zoekt de AI in zijn kastje naar het juiste recept. Hij plakt dit recept in zijn hoofd voordat hij antwoordt. Zo geeft hij precies het antwoord dat bij jou past, zonder dat de onderliggende AI ooit is "herleerd" of aangepast.

🚀 Waarom is dit zo cool?

• Het groeit met je mee: Als je morgen zegt: "Eigenlijk wil ik nu wel dat de e-mails iets formeler zijn", dan pakt de AI zijn oude recept, past het aan, en slaat het op als versie 2.0. Het is een levend handboek dat nooit veroudert.
• Het is transparant: Omdat de vaardigheden in leesbare bestanden staan, kun je zien waarom de AI iets doet. Je kunt zeggen: "Nee, die regel in je handboek is fout, pas hem aan." Geen magische zwarte doos meer.
• Het werkt met elke AI: Je hoeft geen nieuwe, dure computer te bouwen. AutoSkill is als een plug-in die je op elke bestaande AI kunt klikken.

🎯 Een concreet voorbeeld uit het papier

In het onderzoek zien we een voorbeeld van een "Psycholoog Skill".

• Geen AutoSkill: Elke keer als je een probleem deelt, moet je de AI herinneren: "Wees empathisch, oordeel niet, en geef geen medisch advies."
• Met AutoSkill: De AI heeft een kaartje genaamd Top_Psycholoog.md gemaakt. Dit kaartje zegt: "Speel altijd de rol van een warme, professionele psycholoog. Gebruik geen medische termen. Luister eerst."
  Zodra je begint over je gevoelens, haalt de AI dit kaartje erbij en gedraagt zich perfect, alsof hij je al jaren kent.

Samenvattend

AutoSkill is als een persoonlijke assistent die niet alleen luistert, maar ook leert. Hij neemt je dagelijkse gewoontes en voorkeuren, schrijft ze op in een duidelijk handboek, en gebruikt dat handboek om je elke dag beter van dienst te zijn. Het maakt van een tijdelijk gesprek een blijvende, persoonlijke relatie met je AI.

Technische samenvatting

Probleemstelling

In praktische toepassingen van Large Language Models (LLM's) herhalen gebruikers vaak stabiele voorkeuren en operationele eisen (bijvoorbeeld: "vermijd hallucinaties", "volg een officiële schrijfstijl", of "vermijd te technisch jargon"). Huidige systemen slaan deze interactie-ervaringen echter zelden om in herbruikbare kennis.

• Huidige beperkingen: Bestaande methoden zoals memory-based retrieval (RAG) slaan vaak alleen tekstfragmenten op die moeten worden opgehaald, in plaats van operationeel gedrag. Methoden voor parameter-updates of self-evolution zijn vaak kostbaar, moeilijk te controleren, of vereisen hertraining van het model.
• Het gevolg: Gebruikers moeten hun voorkeuren en werkwijzen bij elke nieuwe sessie opnieuw instellen. Er ontbreekt een mechanisme om terugkerende interactie-ervaring om te zetten in expliciete, herbruikbare en onderhoudbare vaardigheden (skills).

Methodologie: AutoSkill Framework

AutoSkill is een training-vrij (training-free) raamwerk voor levenslang leren dat LLM-agenten in staat stelt vaardigheden automatisch af te leiden, te onderhouden en opnieuw te gebruiken zonder de onderliggende modelparameters aan te passen. Het systeem fungeert als een model-agnostische plug-in-laag.

De kernarchitectuur bestaat uit twee gekoppelde lussen:

1. Skill-Enhanced Response Generation (Online Loop):

   • Query Rewriting: De huidige gebruikersvraag wordt herschreven tot een zelfstandige zoekopdracht om contextafhankelijkheid op te lossen.
   • Hybride Skill Retrieval: Het systeem zoekt in de SkillBank naar relevante vaardigheden. Dit gebruikt een combinatie van dichte semantische zoekopdrachten (vector embeddings) en lexische zoekopdrachten (BM25).
   • Conditioned Generation: De gevonden vaardigheden worden als context ingevoegd in de prompt van het LLM, waardoor het antwoord wordt aangepast aan de specifieke voorkeuren van de gebruiker.

2. Skill Evolution (Achtergrond Loop):

   • Skill Extraction: Na een interactie analyseert het systeem uitsluitend de gebruikersvragen (niet de modelantwoorden) om stabiele patronen te identificeren. Het extraheert alleen duurzame, herbruikbare beperkingen, workflows of voorkeuren.
   • Skill Management: Een "judge"-module beslist of een nieuwe kandidaat-vaardigheid moet worden:
     • Toegevoegd (als het een nieuwe capaciteit is).
     • Samengevoegd (als het een verfijning is van een bestaande vaardigheid).
     • Verworpen (als het een eenmalig verzoek of ruis is).
   • Versiebeheer: Bij samenvoeging wordt de bestaande vaardigheid niet overschreven, maar geüpdatet met een nieuwe versie (bijv. v0.1.0 -> v0.1.1). Dit zorgt voor continue evolutie zonder duplicatie.

Representatie:
Vaardigheden worden opgeslagen als gestructureerde bestanden (SKILL.md) die een naam, beschrijving, uitvoerbare instructie-prompt, triggers, tags en voorbeelden bevatten. Dit maakt vaardigheden menselijk leesbaar, bewerkbaar en versiebeheerd.

Belangrijkste Bijdragen

1. Formulering van het probleem: Het introduceren van het concept om interactie-ervaring om te zetten in expliciete, herbruikbare vaardigheden voor gepersonaliseerde agenten.
2. Levenscyclus van Vaardigheden: Een volledig proces dat extractie, gestructureerde representatie, iteratieve verfijning, ophalen en hergebruik omvat, zonder het basismodel te finetunen.
3. Transparantie en Controle: Vaardigheden worden opgeslagen als bewerkbare artefacten. Dit biedt een veel hogere mate van transparantie en controle dan impliciete geheugen- of beleidsbenaderingen.
4. Implementatie: Een open-source, deployable systeem dat integreert met bestaande LLM-pipelines via een Python SDK, Web UI en een OpenAI-compatible reverse proxy.

Resultaten en Analyse

Het team heeft AutoSkill getest op de WildChat-1M dataset (realistische chatgesprekken met ChatGPT), gefilterd op gesprekken met meer dan 8 wisselingen.

• Dataset Statistieken: Er zijn vier subsets geanalyseerd (Chinees/Engels x GPT-3.5/GPT-4). Bijvoorbeeld, het Engelse GPT-3.5 subset leverde 631 unieke vaardigheden op uit 10.243 gesprekken.
• Vaardigheidsverdeling: De geëxtraheerde vaardigheden dekken een breed spectrum, met een sterke nadruk op programmering (Python, JavaScript, Pandas) en contentcreatie (schrijven, formatteren). Ook zijn er specifieke vaardigheden voor platformen (X/Twitter, Instagram) en rollenspellen.
• Versie-evolutie: Een belangrijk bewijs van succes is de versiegeschiedenis. Een vaardigheid zoals professional_text_rewrite bereikte versie 0.1.34, wat aantoont dat het systeem 34 iteraties van verfijning heeft ondergaan op basis van nieuwe feedback, in plaats van dat er 34 aparte prompts werden aangemaakt.
• Case Studies: Het paper toont voorbeelden van complexe vaardigheden, zoals een "Top Psycholoog" (met specifieke empathische richtlijnen en anti-patronen) en een "Selenium Automation Generator" (met strikte code-richtlijnen), die beide succesvol zijn geëvolueerd.

Betekenis en Impact

AutoSkill biedt een praktische en schaalbare route naar levenslang gepersonaliseerde agenten.

• Van Geheugen naar Vaardigheid: Het verschuift de eenheid van accumulatie van ruwe tekst-herinneringen naar expliciete gedragskennis.
• Geen Hertraining: Het lost het probleem op van "catastrophic forgetting" en hoge kosten van hertraining door vaardigheden extern te beheren.
• Menselijke Inbreng: Omdat vaardigheden in leesbare bestanden staan, kunnen ontwikkelaars en gebruikers deze direct inspecteren, bewerken en beheren. Dit maakt het systeem geschikt voor gebruik als een "persoonlijke digitale vervanger" die stabiele gebruikersgewoonten en voorkeuren weerspiegelt.

Kortom, AutoSkill transformeert vluchtige interactie-ervaringen in blijvende, samenstellbare en onderhoudbare capaciteiten, waardoor LLM-agenten effectiever kunnen leren van hun eigen geschiedenis.