Technische Samenvatting: SKILLMASTER

Probleemstelling

Huidige Large Language Model (LLM)-agenten worstelen met autonome vaardigheidsmeesterschap. Hoewel vaardigheden effectieve mechanismen zijn om de prestaties op complexe taken te verbeteren, behandelen bestaande kaders vaardigheden als externe bronnen die worden beheerd door externe leraren, handontworpen regels of auxiliaire modules. In deze opstellingen is het beleid van de agent beperkt tot het ophalen en aanroepen van vooraf gedefinieerde vaardigheden; het kan deze niet actief ontwikkelen, verfijnen of internaliseren op basis van eigen ervaring.

Deze afhankelijkheid van extern beheer creëert drie primaire uitdagingen:

1. Gebrek aan Internalisatie: Vaardigheidsbeheer is een onderhoudsprocedure die extern aan de agent ligt, in plaats van een leerbare capaciteit binnen het beleid van de agent.
2. Schaarse Feedback voor Vaardigheidskwaliteit: Beloningen voor taakuitkomsten (succes/mislukking) zijn te grof om te bepalen of een specifieke vaardigheidsbewerking (voorstel of update) voordelig was. Een taak kan lukken door geluk of mislukken door ongerelateerde factoren, waardoor er geen expliciet signaal is over de kwaliteit van de vaardigheid zelf.
3. Optimalisatie-interferentie: Het gezamenlijk optimaliseren van taakuitvoering en vaardigheidsbeheer in één beleid is moeilijk omdat ze verschillende beloningsstructuren hebben (binaire omgevingsbeloningen versus continue vaardigheidskwaliteitsbeloningen), wat vaak leidt tot instabiele training.

Methodologie: SKILLMASTER

De auteurs stellen SKILLMASTER voor, een trainingskader dat vaardigheidsbeheer direct integreert in de leerlus van de agent, waardoor de agent autonoom vaardigheden kan creëren, verfijnen en selecteren. Het kader bestaat uit drie kerncomponenten:

1. Traject-geïnformeerde Vaardigheidsreview

SKILLMASTER breidt standaard versterkingsleer (RL) training uit met een expliciete Vaardigheidsmeesterschapsfase die na elke episode wordt toegevoegd.

• Actiefase: De agent interacteert met de omgeving, haalt relevante vaardigheden op uit een vaardigheidsbank ($B$) om acties te sturen.
• Vaardigheidsmeesterschapsfase: Bij beëindiging van de episode bekijkt de agent de taakbeschrijving, opgehaalde vaardigheden, het traject en de uitkomst. De agent krijgt de opdracht om precies één tool-aanroep te genereren: propose_skill (nieuwe toevoegen), update_skill (bestaande herzien) of keep_skill (huidige behouden).
• Mechanisme: Deze fase maakt gebruik van Tool-geïntegreerd Redeneren (TIR), waardoor de agent de vaardigheidsbank kan behandelen als een veranderbaar object dat via gestructureerde functiediensten kan worden bewerkt, in plaats van als een statische database.

2. Counterfactuele Vaardigheidsnutbeloning

Om het probleem van schaarse feedback op te lossen, introduceren de auteurs een Downstream Nutbeloning gebaseerd op counterfactuele evaluatie.

• Proeftaken: Wanneer een vaardigheidsbewerking wordt voorgesteld, selecteert het systeem $K$ semantisch gerelateerde "proeftaken" (bijvoorbeeld uit dezelfde taakfamilie).
• Counterfactuele Vergelijking: Het systeem evalueert de proeftaken tweemaal: eenmaal met de originele vaardigheidsbank ($B$) en eenmaal met de gewijzigde bank ($B'$).
• Beloningssignaal: De beloning wordt berekend op basis van twee metrieken:
  1. Succespercentage: Helpt de wijziging eerder mislukte taken om te slagen?
  2. Efficiëntie: Vermindert de wijziging het aantal stappen voor taken die al oplosbaar waren?
• Formule: De nutbeloning ($R_{utility}$) combineert de gemiddelde prestatiedelta ($\bar{\delta}$) over de proeven met een directionele consistentieterm, zodat bewerkingen alleen worden beloond als ze consequent de downstream-prestaties verbeteren.

3. DualAdv-GRPO (Ontkoppelde Optimalisatie)

Om de instabiliteit van het gezamenlijk optimaliseren van heterogene doelen (taakuitvoering versus vaardigheidsbewerking) aan te pakken, stellen de auteurs DualAdv-GRPO voor.

• Dual-Stream Voordeelraming: Standaard Group Relative Policy Optimization (GRPO) normaliseert beloningen over een groep trajecten. SKILLMASTER splitst dit op in twee streams:
  • Actie-voordelen ($A_{act}$): Genormaliseerd met alleen omgevingsbeloningen ($r_{env}$).
  • Vaardigheidsvoordelen ($A_{skill}$): Genormaliseerd met alleen vaardigheidsmeesterschapsbeloningen ($R_{skill}$).
• Samenvoegen: Deze genormaliseerde voordelen worden op token-niveau samengevoegd met een instelbaar gewicht $\gamma$. Actietokens ontvangen $A_{act}$, terwijl vaardigheidsbeheertokens $\gamma \cdot A_{skill}$ ontvangen. Dit voorkomt dat de schaarse, continue vaardigheidsbeloningen het leersignaal voor directe taakacties vervormen, waardoor stabiele gezamenlijke training mogelijk wordt.

Belangrijkste Bijdragen

1. SKILLMASTER Kader: Een unificerend beleid dat zowel taakuitvoering als vaardigheidsbeheer end-to-end leert, waardoor de behoefte aan externe leraren wordt weggenomen.
2. Downstream Nutbeloning: Een nieuw beloningsmechanisme dat vaardigheidsbewerkingen evalueert via counterfactuele vergelijkingen op proeftaken, waardoor expliciete, dichte signalen voor vaardigheidskwaliteit worden geboden.
3. DualAdv-GRPO: Een optimalisatiealgoritme dat de voordeelnormalisatie ontkoppelt voor taakacties en vaardigheidsbeslissingen, waardoor de gezamenlijke training van heterogene doelen wordt gestabiliseerd.
4. Empirische Prestaties: Toonde state-of-the-art resultaten op ALFWorld en WebShop, waarbij bleek dat agenten hun eigen procedurele kennis autonoom kunnen verbeteren.

Experimentele Resultaten

Het kader werd geëvalueerd op twee benchmarks: ALFWorld (geëmbodide huishoudelijke manipulatie) en WebShop (online winkelen).

• ALFWorld: SKILLMASTER behaalde een algeheel succespercentage van 98,7%, wat 8,8 procentpunten beter is dan de sterkste baseline (SkillRL, die een externe leraar gebruikt). Het behaalde perfect succes (100%) op vier van de zes taakfamilies.
• WebShop: Het succespercentage steeg van 72,7% (SkillRL) naar 82,0%, met een algehele score die steeg van 85,2 naar 95,0.
• Vaardigheidsinternalisatie: Een cruciale bevinding is dat SKILLMASTER-agenten geleerde vaardigheden kunnen internaliseren. Bij evaluatie zonder vaardigheidsophaling tijdens de test behielden de agenten prestaties die bijna identiek waren aan wanneer ophaling was ingeschakeld (slechts een daling van 0,7% in totaal), wat suggereert dat de procedurele kennis werd opgenomen in de beleidsparameters in plaats van uitsluitend te vertrouwen op externe opzoeking.
• Ablatiestudies: Het verwijderen van de nutbeloning of de ontkoppelde voordeelnormalisatie degradeerde de prestaties aanzienlijk, wat de noodzaak bevestigt van zowel het counterfactuele signaal als de stabiele optimalisatiestrategie.

Betekenis en Beweringen

Het artikel beweert dat SKILLMASTER een verschuiving vertegenwoordigt van extern beheerde vaardigheidssystemen naar autonome vaardigheidsmeesterschap. Door vaardigheidsbeheer te behandelen als een leerbare doelstelling binnen het beleid van de agent, stelt het kader agenten in staat om:

• Gaten in hun procedurele kennis te identificeren (bijvoorbeeld het besef dat een zoekstrategie inefficiënt is).
• Bestaande vaardigheden te verfijnen op basis van trajectbewijs (bijvoorbeeld het corrigeren van een "verwarmen"-instructie die faalt wanneer een object in een magnetron wordt geplaatst).
• Verbeteringen over te dragen naar toekomstige taken met minimale wijzigingen in de vaardigheidsbank.

De auteurs positioneren dit werk als een stap richting zelfverbeterende agenten die hun eigen vaardigheidsrepertoires kunnen ontwikkelen en aanpassen, in plaats van slechts statische tools aan te roepen die door externe systemen worden geboden. Het werk erkent beperkingen, zoals de rekenkundige overhead van proefevaluaties en de afhankelijkheid van vooraf gedefinieerde taakgroeperingen voor proefselectie, maar stelt dat het kernmechanisme domein-agnostisch is en toepasbaar op elke omgeving met gerelateerde taken.