Reinforcement Learning for Self-Improving Agent with Skill Library

Dit artikel introduceert SAGE, een versterkingsleerframework dat agents via een geautomatiseerde vaardigheidsbibliotheek en sequentiële rollouts in staat stelt om zichzelf te verbeteren, wat resulteert in aanzienlijk betere prestaties, minder interactiestappen en een lagere token-gebruik in vergelijking met bestaande methoden.

De kern

Stel je voor dat je een zeer slimme, maar nogal onervaren assistent hebt. Deze assistent (een AI-agent) is geweldig in het lezen van instructies en het uitvoeren van complexe taken, zoals het boeken van een vlucht of het regelen van een bankoverschrijving. Maar er is een groot probleem: elke keer als deze assistent een nieuwe taak krijgt, begint hij vanaf nul. Hij vergeet wat hij eerder heeft geleerd en moet alles opnieuw uitvinden. Het is alsof je elke dag opnieuw moet leren hoe je een fiets moet rijden, zelfs als je gisteren al een perfecte rit hebt gemaakt.

De onderzoekers van dit paper (van AWS en de Universiteit van Wisconsin) wilden deze assistent leren om niet alleen taken te doen, maar ook om slimme trucs te onthouden. Ze noemen dit een "vaardigheidsbibliotheek" (skill library).

Hier is hoe hun oplossing, genaamd SAGE, werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Vergetelheid"

Vroeger probeerden mensen AI-agenten te helpen door ze lange lijsten met instructies te geven (prompting). Maar dat werkt niet goed genoeg. Het is alsof je iemand een recept geeft, maar vergeet te zeggen: "Oh, en onthoud dat je de pan eerst moet verwarmen." De AI moet het telkens opnieuw raden.

2. De Oplossing: Een Digitale Werkbank met Gereedschappen

De onderzoekers hebben een systeem bedacht waarbij de AI zijn eigen gereedschapskist bouwt.

• De Vaardigheid: Als de AI een taak succesvol afrondt (bijvoorbeeld: "Vind de goedkoopste pizza in Amsterdam"), maakt hij niet alleen de taak af, maar schrijft hij ook een eigen mini-programma (een "vaardigheid") op.
• De Bibliotheek: Deze mini-programma's worden opgeslagen in een bibliotheek.
• De Toekomst: Als de AI later weer een soortgelijke taak krijgt (bijvoorbeeld: "Vind de goedkoopste pasta in Amsterdam"), hoeft hij niet meer alles opnieuw te bedenken. Hij pakt zijn "pizza-truc" uit de bibliotheek, past hem even aan, en is klaar.

3. De Magie: Hoe leer je de AI dit? (SAGE)

Het moeilijkste deel is: hoe leer je een computer om zomaar slimme trucjes te bedenken en op te slaan? Gewoon zeggen "onthoud dit" werkt niet. Daarom gebruiken ze een methode die lijkt op trainen voor een olympische sport, maar dan met een slimme twist.

Ze noemen hun methode SAGE (Skill Augmented GRPO for self-Evolution). Hier is de analogie:

A. De "Opeenvolgende Oefeningen" (Sequential Rollout)

Stel je voor dat je een atleet traint. Je geeft hem niet één enkele sprint, maar een hele reeks van drie vergelijkbare races achter elkaar.

1. Race 1: De atleet rent en bedenkt een nieuwe starttechniek.
2. Race 2: De atleet gebruikt die starttechniek die hij in Race 1 bedacht heeft.
3. Race 3: Hij gebruikt de techniek weer, maar nu nog sneller.

In het systeem van SAGE doet de AI dit ook. Hij krijgt een keten van vergelijkbare taken. Als hij in de eerste taak een goede "truc" bedenkt, wordt die truc direct beschikbaar gesteld voor de tweede en derde taak. Als de truc in de latere taken helpt om sneller te finishen, krijgt de AI een beloning voor het bedenken van die truc in de eerste taak. Zo leert hij: "Ah, het bedenken van een truc is nuttig!"

B. De "Slimme Beloning" (Skill-integrated Reward)

Normaal gesproken krijgt een AI alleen een beloning als hij de taak helemaal goed heeft gedaan. SAGE is slimmer. Het geeft een bonus als:

1. De AI een goede, bruikbare truc bedenkt.
2. De AI die truc later ook daadwerkelijk gebruikt.

Het is alsof een trainer niet alleen kijkt of de atleet de finish haalt, maar ook beloont als de atleet een nieuwe, efficiënte loopstijl bedenkt en die vervolgens toepast.

4. Wat was het resultaat?

Toen ze dit systeem testten op een complexe omgeving (AppWorld, waar AI moet werken met apps zoals Spotify, Gmail en Amazon), gebeurde er iets wonderlijks:

• Sneller: De AI had 59% minder "woorden" nodig om zijn werk te doen. Hij was niet meer aan het praten en denken, maar gebruikte zijn gereedschappen.
• Efficiënter: Hij deed 26% minder stappen. In plaats van 16 klikken en commando's, deed hij het in 12 stappen door slimme trucjes te gebruiken.
• Slimmer: De AI slaagde in 8,9% meer scenario's dan eerdere methoden.

Conclusie

Kortom: SAGE is een manier om een AI-agent niet alleen te laten doen, maar ook te laten leren. Het is alsof je een leerling niet alleen laat werken, maar hem ook een dagboek geeft waarin hij zijn eigen slimme oplossingen opschrijft. De volgende keer dat hij een probleem tegenkomt, kijkt hij in zijn dagboek, pakt hij zijn eigen oplossing en is hij veel sneller en slimmer dan ooit tevoren.

Dit maakt AI-agenten niet alleen slimmer, maar ook goedkoper en sneller in gebruik, omdat ze minder "rekenkracht" nodig hebben om hetzelfde werk te doen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Reinforcement Learning for Self-Improving Agent with Skill Library" in het Nederlands.

Titel: Versterkende Leer voor Zelfverbeterende Agenten met een Vaardigheidsbibliotheek (Skill Library)

1. Het Probleem

Grootte Taalmodellen (LLM)-gebaseerde agenten tonen indrukwekkende vaardigheden in complex redeneren en multi-turn interacties, maar worstelen met continue verbetering en adaptatie wanneer ze worden ingezet in nieuwe omgevingen.

• Beperkingen van huidige RL: Bestaande Reinforcement Learning (RL) methoden zijn vaak beperkt tot specifieke trainingscenario's en missen het vermogen om waardevolle lopende ervaringen effectief te benutten voor toekomstige taken.
• Beperkingen van huidige Vaardigheidsbibliotheken: Bestaande benaderingen voor het opbouwen van een "vaardigheidsbibliotheek" (skill library) vertrouwen voornamelijk op prompting (instructies via tekst). Dit is beperkt door de instructievolgende capaciteiten van het basismodel, wat leidt tot inconsistente kwaliteit en beperkte aanpasbaarheid van de gegenereerde vaardigheden.
• Efficiëntie: Agenten voeren vaak complexe actie-sequenties uit via directe API-aanroepen, wat inefficiënt is in termen van interactiestappen en token-gebruik.

2. Methodologie: SAGE Framework

De auteurs stellen SAGE (Skill Augmented GRPO for self-Evolution) voor, een nieuw RL-framework dat systematisch vaardigheden integreert in het leerproces. Het framework bestaat uit drie kerncomponenten:

• Vaardigheidsbibliotheek Agent (Unified Format):
  In tegenstelling tot eerdere werken die vaardigheden pas na voltooiing van een taak definiëren, gebruikt SAGE een unified format. De agent genereert direct programmeerbare functies (skills) tijdens de interactie met de omgeving. In plaats van meerdere API-aanroepen te doen, definieert de agent een functie die deze aanroepen bundelt en roept deze direct aan. Dit verkleint de contextlengte en verbetert de consistentie.

• Sequential Rollout (Sequentiële Uitrol):
  In plaats van RL toe te passen op individuele taken, worden agenten getraind op ketens van vergelijkbare taken (bijv. twee taken binnen hetzelfde scenario).

  • De agent voert de eerste taak uit en genereert vaardigheden die in de bibliotheek worden opgeslagen.
  • Bij de tweede taak in dezelfde keten worden deze gegenereerde vaardigheden direct gebruikt.
  • Dit zorgt ervoor dat beloningen voor succesvol gebruik van vaardigheden in latere taken kunnen worden teruggepropageerd naar het generatieproces in eerdere taken.

• Skill-integrated Reward (Geïntegreerde Vaardigheidsbeloning):
  Het beloningssysteem gaat verder dan alleen het succes van de taakuitkomst. Het bestaat uit twee componenten:

  1. Outcome-based reward: De verifieerbare succesgraad van de taak.
  2. Vaardigheidsbeloning: Extra beloningen voor het genereren van hoogwaardige vaardigheden in de eerste taak en het succesvolle gebruik van deze vaardigheden in de tweede taak.
     Dit motiveert de agent niet alleen om de taak te voltooien, maar ook om herbruikbare vaardigheden te creëren en te gebruiken.

• Training Pipeline:

  1. Supervised Fine-Tuning (SFT): Omdat open-source modellen moeite hebben met het volgen van complexe instructies voor vaardigheidsbibliotheken, wordt eerst een SFT uitgevoerd op een dataset van hoogwaardige trajecten gegenereerd door een expert-model (Claude 3.5 Sonnet).
  2. RL met SAGE: Op basis van het SFT-model wordt het GRPO-algoritme (Group Relative Policy Optimization) aangepast met de bovenstaande Sequential Rollout en Skill-integrated Reward.

3. Belangrijkste Bijdragen

• SAGE Framework: Een innovatieve RL-architectuur die vaardigheidsbibliotheken naadloos integreert in het trainingsproces via sequentiële uitrol en gespecialiseerde beloningen.
• Unified Format voor Skills: Een aanpak waarbij taakoplossing en vaardigheidsgeneratie in één format plaatsvinden, wat de contextlengte beperkt en de leerstabiliteit verbetert.
• Efficiëntie en Prestaties: Het bewijzen dat RL met een vaardigheidsbibliotheek agenten in staat stelt om niet alleen accurater te zijn, maar ook aanzienlijk efficiënter (minder stappen en tokens) dan traditionele methoden.

4. Resultaten

Experimenten werden uitgevoerd op het AppWorld-dataset, waar agenten complexe taken moeten uitvoeren via API-aanroepen en code-generatie. De resultaten tonen een significante verbetering ten opzichte van baselines (zoals GRPO zonder skills en prompting-benaderingen):

• Prestaties (Scenario Goal Completion - SGC): SAGE bereikte een 8,9% hogere SGC op de Test Normal dataset vergeleken met de GRPO-baseline.
• Efficiëntie:
  • 26% minder interactiestappen.
  • 59% minder gegenereerde tokens.
• Vergelijking met Expert: Hoewel de training begon met een SFT-model dat gebruikmaakte van expert-data (Claude), overtrof de uiteindelijke RL-geoptimaliseerde agent de expert-prestaties.
• Ablatie Studies:
  • Zonder vaardigheidsbibliotheek daalden de prestaties aanzienlijk, wat het belang van de bibliotheek bevestigt.
  • Verschillende zoekmethoden (retrieval) voor vaardigheden werden getest; "Same Scenario" (ideale situatie) gaf de beste resultaten, maar N-gram en Embedding-methoden benaderden deze prestaties.
  • De "Skill-integrated Reward" bleek superieur aan alleen outcome-based of chain-based rewards.

5. Betekenis en Conclusie

Dit paper markeert een belangrijke stap in de ontwikkeling van zelfverbeterende agenten. Het toont aan dat het combineren van versterkende leer met een dynamische vaardigheidsbibliotheek agenten in staat stelt om:

1. Continu te leren in nieuwe omgevingen door ervaringen om te zetten in herbruikbare code.
2. Efficiënter te werken door complexe taken te comprimeren tot herbruikbare functies.
3. Robuuster te presteren dan modellen die alleen op prompting of standaard RL vertrouwen.

De SAGE-methode biedt een schaalbare oplossing voor het overbruggen van de kloof tussen statische LLM-capaciteiten en de dynamische eisen van real-world tool-using agenten. De code is open-source beschikbaar gesteld, wat verdere research in dit domein faciliteert.