Technische Samenvatting: LifeSkill – Skill-Enhanced Test-Time Co-Evolution voor Online Lifelong Learning Agents

1. Probleemstelling

Large Language Model (LLM) agents die opereren in dynamische, interactieve omgevingen vereisen lifelong learning-mogelijkheden om te kunnen adapteren aan evoluerende taakdistributies en kennis te accumuleren uit ervaring. De huidige benaderingen lijden echter onder drie kritieke beperkingen:

1. Statische Parameters: De meeste agents houden hun modelparameters vast tijdens de implementatie, waarbij ze uitsluitend vertrouwen op externe geheugenretrieval (bijv. Synapse, AWM) om de prestaties te verbeteren. Dit voorkomt werkelijk leren tijdens de interactiefase.
2. Onvoldoende Skill-supervisie: Hoewel agents trajecten kunnen samenvatten of reflecteren op fouten, ontbreekt het bij het extraheren van herbruikbare skills uit interactie-feedback aan betrouwbare, op uitvoering gebaseerde supervisie. Huidige methoden vertrouwen vaak op subjectieve LLM-beoordelaars of heuristische samenvattingen in plaats van op taaksucces.
3. Externe Kennisrepresentatie: Verworven kennis wordt doorgaans opgeslagen als discrete externe tekst. Dit voorkomt dat het model deze skills kan internaliseren, componeren en generaliseren als onderdeel van zijn parametrische kennis, wat leidt tot context-bloat en een onvermogen om ervaring te transformeren naar blijvende capaciteit.

De kernuitdaging is om agents in staat te stellen om continu te verbeteren terwijl ze handelen in de omgeving, door test-time feedback om te zetten in persistente parametrische groei zonder enkel te vertrouwen op statische inferentie of externe geheugenretrieval.

2. Methodologie: LifeSkill Framework

De auteurs stellen LifeSkill voor, een tweestaps reinforcement learning-framework ontworpen voor Online Lifelong Learning Agents. Het framework werkt op een stroom van taken ($D_{stream}$) en onderhoudt twee modellen met dezelfde backbone maar verschillende parameters:

• Policy Model ($\pi_\theta$): Voert taken uit.
• Skill Extraction Model ($\pi_\phi$): Distilleert herbruikbare skills uit mislukte interacties.

Deze modellen nemen deel aan een test-time co-evolution loop bestaande uit twee belangrijke mechanismen:

A. Verifier-Guided Skill Learning (VGSL)

Deze fase adresseert het gebrek aan directe supervisie voor skill-extractie.

• Proces: Wanneer het Policy Model een taak faalt ($r=0$), genereert het Skill Extraction Model kandidaat-skills ($s$) op basis van het falende traject.
• Evaluatie: In plaats van een subjectieve LLM-beoordelaar te gebruiken, wordt elke kandidaat-skill geëvalueerd door de gemiddelde verifier success van meerdere skill-geconditioneerde policy-rollouts ($K_\tau$ trajecten per skill).
• Optimalisatie: Het Skill Extraction Model wordt getraind met de DAPO (Direct Preference Optimization) doelstelling. De bruikbaarheid van een skill wordt gedefinieerd door de empirische succesratio ($R_i$). Skills die leiden tot hogere verificatiesuccesratio's worden beloond, waardoor de extractor wordt getraind om skills te genereren die execution-grounded zijn in plaats van louter tekstueel plausibel.

B. Online Skill Internalization (OSI)

Deze fase adresseert de mismatch tussen skill-gestuurde exploratie en de noodzaak voor parametrische adaptatie.

• Procees: Voor succesvolle trajecten waarbij een skill de agent naar een oplossing heeft geleid ($r=1$), wordt de expliciete skill-tekst verwijderd uit de inputcontext.
• Optimalisatie: Het Policy Model wordt bijgewerkt met de verifier-beloning geassocieerd met het traject, geconditioneerd alleen op de oorspronkelijke taakinput ($q$), en niet op de skill ($s$).
• Doel: Dit dwingt het model om de redeneercapaciteiten en gedragingen die tijdens de skill-gestuurde exploratie zijn ontdekt, direct te internaliseren in zijn parameters. Het transformeert succesvolle "scaffolded" gedragingen naar "unscaffolded" parametrische kennis, waardoor de noodzaak om de skill-tekst te regenereren of te extraheren in toekomstige interacties wordt geëlimineerd.

3. Belangrijkste Bijdragen

1. LifeSkill Framework: Een nieuw tweestaps reinforcement learning-framework dat online lifelong LLM-agents in staat stelt om te verbeteren tijdens implementatie, waarmee zij verder gaan dan statische-parameter inferentie met extern geheugen.
2. Verifier-Guided Skill Learning: Een methode om een skill-extractor te trainen met behulp van execution-grounded feedback (verifier success rates) in plaats van subjectieve scoring, wat zorgt voor praktisch bruikbare skills voor taakoplossing.
   en
3. Online Skill Internalization: Een mechanisme om succesvolle skill-gestuurde trajecten om te zetten in unscaffolded policy-verbeteringen, waardoor de agent redeneercapaciteiten kan absorberen in zijn parameters en de afhankelijkheid van geëxtraheerde tekst vermindert.
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat het koppelen van execution-grounded skill-extractie aan online parametrische adaptatie superieure prestaties oplevert vergeleken met bestaande baselines.

4. Experimentele Resultaten

Het framework werd geëvalueerd op LifelongAgentBench, een benchmark voor continue adaptatie in langdurige interactieve taken over drie omgevingen: Database (DB), Operating System (OS) en Knowledge Graph (KG).

• Prestaties: LifeSkill behaalde een gemiddelde nauwkeurigheid van 0,59, waarmee het de sterkste training-vrije baseline (Group Self-Consistency) met 10 absolute punten en de sterkste training-gebaseerde baseline (RFT) met 7 absolute punten versloeg.
• Omgevingsspecifieke resultaten:
  • DB: LifeSkill bereikte 0,82 (tegenover 0,63 voor de beste baseline).
  • OS: LifeSkill bereikte 0,64 (tegenover 0,56 voor de beste baseline).
  • KG: LifeSkill scoorde 0,32, iets lager dan de beste training-vrije baseline (0,36). De auteurs schrijven dit toe aan de schaarste van binaire beloningssignalen in langdurige KG-taken, wat het leer-signaal voor zowel skill-extractie als internalisatie verzwakt.
• Ablatie-studies:
  • Het vervangen van VGSL door LLM-Judge supervisie verminderde de prestaties, wat de noodzaak van execution-grounded beloningen bevestigt.
  • Het verwijderen van het Skill Extraction Model veroorzaakte de grootste prestatiedaling, wat de waarde van dual-model co-evolutie benadrukt.
  • Het uitschakelen van OSI verminderde de prestaties, wat bewijst dat skill-extractie alleen onvoldoende is zonder internalisatie in de parameters.
• Hyperparameters: Prestaties verbeterden met toegenomen test-time compute (meer rollouts) tot een verzadigingspunt (4 rollouts), en optimale window-groottes varieerden per omgeving (DB bevoordeelde kleinere windows voor snellere updates; OS bevoordeelde grotere windows voor stabiliteit).

5. Betekenis en Claims

Het artikel claimt dat LifeSkill een belangrijke stap vormt richting echte continue adaptatie voor LLM-agents. Door skills te behandelen als een intermediaire leerinterface die exploratie stuurt en vervolgens wordt geïnternaliseerd, overbrugt het framework de kloof tussen ervaring-retrieval en parametrisch leren.

De auteurs benadrukken dat hun aanpak het mogelijk maakt voor agents om:

• Te leren welke skills te extraheren uit fouten met behulp van betrouwbare, taakspecifieke verifiers.
• Online parameter-updates uit te voeren tijdens implementatie, in plaats van enkel te vertrouwen op extern geheugen.
• Succesvolle gedragingen te internaliseren onder de oorspronkelijke taakinput, waardoor de langetermijnafhankelijkheid van geëxtraheerde tekst wordt verminderd en context-bloat wordt gemitigeerd.

Het werk suggereert dat terwijl huidige agents ervaring kunnen ophalen, LifeSkill een pad laat zien om die ervaring effectief te transformeren naar een blijvende, geïnternaliseerde capaciteit. Toekomstig werk wordt geïdentificeerd als het verbeteren van prestaties in settings met schaarse beloningen en lange trajecten, en het verminderen van de test-time compute kosten die gepaard gaan met skill-gestuurde exploratie.