Technische Samenvatting: Co-Evolving Skill Generation en Policy Optimization (SAPO)

1. Probleemstelling

Het artikel behandelt een kritieke beperking in bestaande skill-augmented reinforcement learning (RL) methoden voor taalagenten. Hoewel eerdere benaderingen (bijv. SkillRL, Skill0, D2Skill) gebruikmaken van herbruikbare procedurele kennis (skills) om de prestaties van agenten te verbeteren, lijden ze aan drie primaire problemen:

1. Ongevalideerde Skill-injectie: Bestaande methoden voegen nieuw gegenereerde skills vaak direct toe aan een herbruikbare skill-bank, uitgaande van de impliciete veronderstelling dat skills geproduceerd door sterke propriëtaire Large Language Models (LLMs) betrouwbaar zijn. Voorlopige experimenten in het artikel laten zien dat deze aanname onjuist is: zelfs skills gegenereerd door frontier-modellen (bijv. GPT-5.4) vertonen een zeer gemengde bruikbaarheid, waarbij velen weinig voordeel bieden of de prestaties actief verslechteren.
2. Vertraagde en Niet-Contextuele Feedback: Huidige methoden volgen de bruikbaarheid van skills pas na opslag, gebruikmakend van vertraagde rollout-feedback. Bovendien reflecteren deze feedbacksignalen doorgaans het geaggregeerde effect van meerdere opgehaalde skills, in plaats van de marginale bijdrage van een enkele skill. Dit maakt het moeilijk om te onderscheiden of een skill op zichzelf nuttig is of slechts redundant is binnen de huidige retrieval-context.
3. Hoge Kosten en Afhankelijkheid: Het vertrouwen op propriëtaire frontier LLMs voor continue skill-generatie tijdens online training brengt aanzienlijke API-kosten met zich mee. Daarnaast ontbreken bij bestaande methoden mechanismen om verouderde skills efficiënt te verwijderen of kandidaten te herrangschikken zonder dure counterfactual rollouts.

2. Methodologie: Skill-Augmented Policy Optimization (SAPO)

De auteurs stellen SAPO voor, een online RL-framework dat skill-inductie, validatie en onderhoud integreert in een verenigde loop. De kerninnovatie is pre-storage skill-validatie met behulp van het standaard rollout-budget, waardoor de noodzaak voor extra counterfactual rollouts wordt geëlimineerd.

2.1 Online Rollouts en Matched Group Validatie

SAPO werkt op inductie-eenheden (queries of groepen semantisch gelijkaardige queries). Voor elke eenheid splitst het de rollout-budget ($G$) in twee gematchte groepen onder dezelfde taak en de momenteel opgehaalde skill-context:

• Base Rollouts ($Y_{base}$): Gegenereerd met de huidige policy $\pi_\theta$, geconditioneerd op enkel de taak en de set van momenteel opgehaalde bestaande skills ($S_{i,j}$).
• Skill-Augmented Rollouts ($Y_{skill}$): Gegenereerd met dezelfde policy en context, maar met één kandidaat-skill ($\hat{s}_i$) die geïnduceerd is uit de base-trajecten en toegevoegd is aan de context.

De kandidaat-skill wordt door de policy zelf geïnduceerd op basis van de geobserveerde falingspatronen in de base-rollouts.

2.2 Schatting van Marginale Bruikbaarheid

Het framework schat de context-afhankelijke marginale bruikbaarheid van de kandidaat-skill door het beloningsverschil tussen de twee gematchte groepen te berekenen:
$$u(x_{i,j}, \hat{s}_i) = \text{AvgReward}(Y_{skill}) - \text{AvgReward}(Y_{base})$$
Deze metriek isolek de specifieke waarde die de kandidaat-skill toevoegt bovenop de reeds opgehaalde bestaande skills. Als de bruikbaarheid positief is en de skill afwijkt van de bestaande langetermijn-skills, wordt deze gepromoveerd naar de langetermijn-bank ($B_{long}$); anders wordt deze weggegooid.

2.3 Policy als Skill Generator en Scorer

SAPO gebruikt het bruikbaarheidssignaal om de policy $\pi_\theta$ te trainen in twee capaciteiten, wat de afhankelijkheid van propriëtaire modellen vermindert:

1. Skill Generator: De policy wordt getraind met een asymmetrische, bruikbaarheid-gewogen objectief (geïnspireerd door W-REINFORCE). Het wordt versterkt om skills te genereren met een positieve marginale bruikbaarheid en onderdrukt voor negatieve bruikbaarheid. Dit stelt de open-weight policy in staat om in de loop van de tijd hoogwaardige skills te leren genereren.
2. Skill Scorer: De waarschijnlijkheid dat de policy een specifieke skill-sequentie genereert, dient als een geleerde kwaliteitsscore.
   • Training: De policy wordt gedestilleerd om de bruikbaarheid van een skill te voorspellen op basis van de taak en context alleen (zonder rollout-bewijs), om efficiënte inferentie mogelijk te maken.
   • Onderhoud & Retrieval: Deze waarschijnlijkheidsscore wordt gebruikt om verouderde skills uit de langetermijn-bank te verwijderen en om kandidaat-skills te herrangschikken tijdens de selectie tijdens retrieval-tijd, om er zeker van te zijn dat alleen de meest relevante en niet-redundante skills worden gebruikt.

3. Belangrijkste Bijdragen

1. Identificatie van Gemengde Bruikbaarheid: Het artikel toont empirisch aan dat skills gegenereerd door frontier LLMs niet inherent betrouwbaar zijn, waarbij de gemiddelde marginale bruikbaarheid vaak nabij nul ligt, en dat ongevalideerde injectie het leren schaadt.
2. SAPO Framework: Een nieuw online RL-framework dat skills valideert voordat ze worden opgeslagen via een matched-group rollout strategie, waarbij de marginale bruikbaarheid wordt geschat zonder extra rollout-overhead.
3. Zelfgesuperviseerde Skill-generatie: De methode traint de agent-policy zelf om als skill-generator en scorer te fungeren, waardoor de kostbare propriëtaire API-calls voor skill-inductie effectief worden vervangen en context-bewuste skill-maintenance mogelijk wordt.

4. Experimentele Resultaten

De auteurs evalueerden SAPO op ALFWorld (embodied household tasks), WebShop (web navigatie), en een reeks Search-Augmented Question Answering benchmarks (single-hop en multi-hop).

• Prestaties: SAPO presteerde consequent beter dan eerdere skill-augmented RL-methoden (SkillRL, Skill0, D2Skill) en sterke baselines (ReAct, Reflexion, RLOO, GRPO). Op ALFWorld behaalde SAPO een succespercentage van 92,2% (All) en 78,1% (Success), waarmee het de vorige beste (SkillRL met respectievelijk 85,2% en 72,7%) overtrof.
• Trainingsdynamiek: SAPO vertoonde snellere convergentie en een hogere uiteindelijke validatieprestatie vergeleken met SkillRL, vooral in de vroege stadia waar bruikbaarheid-gebaseerde filtering betrouwbare sturing biedt.
• Skill Kwaliteit: Analyse toonde aan dat hoewel de SAPO-policy (gebruikmakend van een kleiner open-weight model) begon met minder bruikbare skills dan GPT-5.4, deze snel leerde om skills met een vergelijkbare of superieure bruikbaarheid te genereren, wat de effectiviteit van de bruikbaarheid-gewogen training bewijst.
• Ablatie-studies: Het verwijderen van een van de drie kerncomponenten (Validatie, Generator Training, of Scoring) resulteerde in prestatievermindering, wat bevestigt dat skill-validatie, policy-gebaseerde generatie en likelihood-gebaseerd onderhoud allemaal essentieel zijn.

5. Betekenis en Claims

Het artikel claimt dat SAPO de "black box"-aard van skill-generatie in huidige RL-agenten aanpakt. Door expliciet de marginale bruikbaarheid van een skill binnen zijn specifieke retrieval-context te valideren, voorkomt het framework dat kwalitatief slechte of redundante skills het geheugen van de agent vervuilen.

Cruciaal is dat de auteurs benadrukken dat SAPO deze winsten behaalt zonder extra rollout-kosten (door het standaard budget te hergebruiken voor validatie) en zonder herhaalde oproepen aan propriëtaire LLMs (door de policy te trainen om skills te genereren en te scoren). Dit maakt de aanpak schaalbaar en kosteneffectief voor langdurige agent-evolutie, waarbij het paradigma verschuift van "genereren en hopen" naar "valideren en evolueren".