Technische Samenvatting: Skill-R1: Evolutie van Agentvaardigheden via Versterkend Leren

Probleemstelling

Agentgerichte Large Language Models (LLM's) vertrouwen steeds meer op vaardigheden — herbruikbare procedures in natuurlijke taal die plannen, het gebruik van hulpmiddelen en actieverificatie sturen. Echter, bestaande benaderingen om deze vaardigheden te verbeteren, lopen tegen aanzienlijke beperkingen aan:

1. Kosten en Uitsluitbaarheid: Het optimaliseren van vaardigheden vereist vaak prompt-engineering of het fine-tunen van de taak-LLM zelf. Het laatste is rekenkundig duur, model-specifiek en voor gesloten-bron of propriëtaire modellen vaak onmogelijk.
2. Inefficiëntie van Bestaande Methoden: Veel systemen behandelen vaardigheidsoptimalisatie als een eenmalig prompt-bewerkingsprobleem of vertrouwen op een enkele ronde zelf-verbetering. Deze strategieën sluiten vaak niet aan bij downstream beloningen en maken geen gebruik van het recurrente karakter van vaardigheidsverbetering.
3. Complexiteit van Toewijzing van Krediet: Effectieve vaardigheidsoptimalisatie is een gekoppeld, tweeledig probleem. Een nuttige vaardigheid moet de kwaliteit van rollouts (uitvoering) onder de huidige conditionering verbeteren, terwijl een nuttige revisie waargenomen successen en falen succesvol moet vertalen naar een betere vaardigheid voor de volgende ronde.

Bestaande methoden worstelen om dit aan te pakken als een recurrente beslissingsprobleem, vaak zonder een principiële doelstelling voor directionele evolutie over meerdere generaties.

Methodologie: Skill-R1

De auteurs stellen Skill-R1 voor, een versterkingsleerframework ontworpen voor recurrerende vaardigheidsoptimalisatie op instance-niveau vanuit verifieerbare beloningen. De kerninnovatie is het ontkoppelen van taakuitvoering van vaardigheidsverbetering.

Kernarchitectuur

• Bevroren Taak-LLM: Het primaire model voor het oplossen van taken ($\pi_{task}$) blijft bevroren. Het genereert rollouttrajecten geconditioneerd op de huidige vaardigheid. Dit zorgt voor compatibiliteit met zowel open- als gesloten-bronmodellen en elimineert de noodzaak van gradiënten door het taakmodel.
• Lichtgewicht Vaardigheidsgenerator: Een apart, trainbaar beleid ($\pi_\theta$) fungeert als vaardigheidsbewerker. Het neemt de taakcontext, eerdere rollouts en hun verifieerde uitkomsten als invoer om gereviseerde vaardigheden te produceren.
• Meerdere-Generatieslus: Het proces werkt over meerdere generaties ($g$). In elke generatie induceert de huidige vaardigheid een groep rollouts vanuit het bevroren taakmodel. Een verificateur scoort deze rollouts, en de geschiedenis van proeven, fouten en beloningen wordt toegevoegd om de volgende vaardigheidsrevisie te sturen.

Tweeledige Groepsrelatieve Beleidsoptimalisatie (GRPO)

Om de vaardigheidsgenerator te trainen, introduceren de auteurs een tweeledig GRPO-doel dat krediet toewijst op twee niveaus:

1. Intra-Generatie Voordeel ($A_{intra}$): Vergelijkt rollouts die zijn bemonsterd onder dezelfde vaardigheid binnen één enkele generatie. Dit isoleert de kwaliteit van de rollout van de kwaliteit van de vaardigheid, vergelijkbaar met standaard GRPO.
2. Inter-Generatie Voordeel ($A_{inter}$): Meet de verbetering in de gemiddelde verifieerde prestatie van de rolloutpopulatie ten opzichte van de vorige generatie. Dit beloont revisies die de verdeling verschuiven naar hogere beloningen.

Het uiteindelijke voordeel-signaal is een gewogen combinatie:
$$A(y^{(i)}_g) = A_{intra}(y^{(i)}_g) + \lambda A_{inter}(g)$$
waarbij $\lambda$ interpoleert tussen pure optimalisatie binnen de generatie en verbetering over generaties heen. De vaardigheidsgenerator wordt geoptimaliseerd om dit tweeledige voordeel te maximaliseren, wat de productie van vaardigheden aanmoedigt die niet alleen direct goed presteren, maar ook directioneel evolueren in de tijd.

Belangrijkste Bijdragen

1. Formulering: Het artikel formuleert recurrente evolutie van vaardigheden op instance-niveau als een tweeledig probleem voor groepsrelatieve beleidsoptimalisatie, waarbij uitvoeringskwaliteit binnen generaties expliciet wordt gekoppeld aan vaardigheidsverbetering over generaties heen.
2. Framework: Het stelt Skill-R1 voor, een model-onafhankelijk framework dat een lichtgewicht vaardigheidsgenerator traint terwijl de taak-LLM bevroren blijft, waardoor het toepasbaar is op propriëtaire modellen.
3. Algoritme: Het introduceert een recurrerend proces voor rollouts over meerdere generaties gekoppeld aan een tweeledig GRPO-doel dat intra- en inter-generatie voordelen combineert om directionele evolutie te sturen.
4. Empirische Validatie: Het framework wordt geëvalueerd op agenttaken met verifieerbare beloningen, waarbij superieure prestaties worden aangetoond ten opzichte van baselines zonder vaardigheden en standaard GRPO.

Experimentele Resultaten

De auteurs hebben Skill-R1 geëvalueerd op twee benchmarks die multi-stap redeneren en het gebruik van hulpmiddelen vereisen: GAIA (heterogene bronnen) en WebWalker (multi-hop webnavigatie).

• GAIA Benchmark:

  • Baseline: GPT-4o-mini zonder vaardigheden behaalde slechts 6,1% nauwkeurigheid.
  • Vanilla GRPO: Het trainen van een bewerker zonder tweeledige decompositie verbeterde de nauwkeurigheid tot 29,7%.
  • Skill-R1 (Inferentie): Het gebruik van het meer-generatiesframework zonder gradiëntgebaseerde training op de bewerker behaalde 30,9%, wat suggereert dat de rolloutstructuur zelf voordelen biedt.
  • Skill-R1 (GRPO): Het volledige systeem met getrainde bewerkers behaalde 41,8% nauwkeurigheid, een winst van +12,1 punten ten opzichte van Vanilla GRPO. De winsten waren het meest uitgesproken bij complexe taken van niveau 3 (38,5% versus 0,0% voor de baseline zonder vaardigheden).

• WebWalker Benchmark:

  • Baseline: 2,0% nauwkeurigheid.
  • Vanilla GRPO: 22,0% nauwkeurigheid.
  • Skill-R1 (GRPO): Behaalde 26,0% nauwkeurigheid, met significante verbeteringen in taken met gemiddelde moeilijkheidsgraad en taken met meerdere bronnen (respectievelijk 29,4% en 28,6%).

• Analyse van Evolutie:

  • Generatievoortgang: Prestatiewinsten waren grotendeels monotoon, waarbij de grootste sprongen plaatsvonden tussen Generatie 1 en 3. Latere generaties (4 en 5) verbeterden voornamelijk de consistentie en betrouwbaarheid van rollouts in plaats van volledig nieuwe capaciteiten te ontdekken.
  • Training versus Inferentie: De getrainde bewerker (GRPO) presteerde consequent beter dan de alleen-inferentie-bewerker, vooral bij WebWalker. Kwalitatieve analyse toonde aan dat de getrainde bewerker kern uitvoerbare structuren behield en veiligheidsmaatregelen toevoegde, terwijl de alleen-inferentie-bewerker de neiging had om te overfitten op schijnbare details, wat leidde tot broze artefacten.

Betekenis en Claims

Het artikel beweert dat Skill-R1 een praktische en efficiënt alternatief biedt voor aanpassing op modelniveau. Door vaardigheidsoptimalisatie te behandelen als een recurrent, tweeledig probleem, stelt het framework het volgende in staat:

• Black-box Compatibiliteit: Het werkt met gesloten-bronmodellen waar fine-tuning onmogelijk is.
• Directionele Evolutie: Het gaat voorbij aan heuristische zelf-verbetering naar een principiële, beloningsgestuurde proces dat vaardigheden in de tijd verbetert.
• Robuustheid: De recurrente structuur stelt het systeem in staat vaardigheden te verfijnen op basis van geaggregeerd bewijs (successen en falen) in plaats van geïsoleerde pogingen.

De auteurs concluderen dat vaardigheids-evolutie een levensvatbaar mechanisme is voor het verbeteren van agentgedrag, met name voor complexe, multi-stap taken waarbij methoden voor eenmalige verfijning worstelen. De resultaten suggereren dat een klein aantal bewerkingsrondes het grootste deel van de capaciteitsverbeteringen kan vastleggen, waarbij daaropvolgende iteraties de betrouwbaarheid verbeteren.