Technische Samenvatting: SkillRise

Probleemstelling

Large Language Model (LLM) agenten komen frequent in aanraking met stromen van gerelateerde maar onderscheidende taken die onderliggende regelmatigheden en herbruikbare oplossingspatronen delen. De standaard agentische Reinforcement Learning (RL) behandelt elke taak echter typisch als een onafhankelijke episode, waardoor verworven ervaring wordt weggegooid en de agent gedwongen wordt om telkens opnieuw vanaf nul te exploreren. Bestaande benaderingen voor het leren van vaardigheden (skill learning) lijden aan specifieke beperkingen:

1. Instantie-specifiekheid: Methoden die herhaaldelijk dezelfde taak proberen, produceren vaak kennis die specifiek is voor die instantie, waardoor ze niet generaliseren naar verschillende taakinstanties.
2. Pipeline-verstrengeling: Benaderingen die gebruikmaken van externe vaardigheidsbanken of meerfasige pipelines (met aparte extractie-, retrieval- en executiemodules) hebben moeite met credit assignment. Omdat de prestaties in de downstream fase afhangen van de interactie tussen al deze fasen, is het moeilijk om succes of falen specifiek toe te schrijven aan de kwaliteit van de geëxtraheerde vaardigheden.
3. Gebrek aan End-to-End Optimalisatie: Er is behoefte aan een verenigd framework dat gezamenlijk kan leren taken op te lossen en overdraagbare vaardigheden te cureren zonder complexe externe beheerpipelines.

Methodologie: SkillRise

De auteurs introduceren SkillRise, een verenigd, end-to-end reinforcement learning framework dat is ontworpen voor cross-task vaardigheidsevolutie. Het framework werkt op een sequentie van gerelateerde maar onderscheidende taakinstanties, georganiseerd van eenvoudig naar uitdagend.

1. Constructie van Cross-Task Sequenties

Taken worden gegroepeerd op basis van door de omgeving verstrekte familie-metadata (bijv. productcategorieën in WebShop, objecttypen in ALFWorld) en geordend op moeilijkheidsgraad. Dit creëert een sequentie $x = (x_1, \dots, x_K)$ waarbij de ervaring van eerdere taken bedoeld is om latere taken te ondersteunen.

2. Single-Policy Rollout met Vaardigheidsevolutie

Een enkele policy $\pi_\theta$ wisselt tussen twee rollen binnen de sequentie:

• Taakoplossing: De agent lost de huidige taak $x_i$ op met behulp van een evoluerend tekstueel vaardigheidsdocument $S_{i-1}$ (dat vaardigheden uit vorige taken samenvat) als context.
• Vaardigheidscuratie: Na voltooiing van de taak herschrijft dezelfde policy het vaardigheidsdocument $S_{i-1}$ naar een nieuwe versie $S_i$. Dit proces omvat:
  • Het behouden van nuttige vaardigheden uit het vorige document.
  • Het consolideren van succesvolle procedures of foutmodi die in de huidige trajectorie aan het licht kwamen.
  • Het verwijderen van instantie-specifieke details (abstractie) om herbruikbaarheid te garanderen.
  • Het herziene document $S_i$ wordt de enige informatiebron voor de volgende taak $x_{i+1}$.

3. Ontkoppelde Credit Assignment

Om beide rollen effectief te optimaliseren, gebruikt SkillRise een tijdelijk uitgelijnde, ontkoppelde credit assignment-mechanisme:

• Taakoplossing: Wordt uitsluitend gesuperviseerd door de directe beloning $r_i$ van de huidige taak.
• Vaardigheidscuratie: Wordt gesuperviseerd door de verdisconteerde som van beloningen van opvolgende taken ($\sum_{j=i+1}^K \gamma^{j-i} r_j$). Dit zorgt ervoor dat de curatie-policy wordt geoptimaliseerd voor zijn vermogen om waarde over te dragen naar toekomstige taken, en niet alleen voor de huidige taak.
• Optimalisatie: Het framework gebruikt een group-relative advantage benadering, waarbij rendementen worden vergeleken over onafhankelijke pogingen die dezelfde taakpositie en fase (oplossen versus cureren) delen om advantages te berekenen, die vervolgens worden gebruikt in een clipped objective functie (vergelijkbaar met PPO) om de policy bij te werken.

Belangrijkste Bijdragen

1. Formulering: Het artikel formuleert cross-task vaardigheidsleren over geordende sequenties van onderscheidende taakinstanties, waarbij de uitkomsten van latere taken de overdraagbaarheid van de uit eerdere interacties gecureerde vaardigheden direct evalueren.
2. Framework: De ontwikkeling van SkillRise, een end-to-end RL-framework dat een enkele policy gebruikt voor zowel oplossen als cureren, gekoppeld aan ontkoppelde cross-task credit assignment en rolbewuste group-relative optimalisatie.
3. Efficiëntie: Het ontwerp elimineert de noodzaak voor externe vaardigheidsbeheerpipelines (zoals aparte retrieval-modules of teacher-modellen), wat een compact trainingsparadigma biedt.

Experimentele Resultaten

De auteurs hebben SkillRise geëvalueerd op drie interactieve tekstgebaseerde benchmarks: ALFWorld, WebShop en ScienceWorld, met behulp van Qwen3-1.7B en Qwen3-4B modellen.

• Algemene Prestaties: SkillRise behaalde de sterkste Pass@1 prestaties over alle benchmarks en presteerde beter dan de sterkste baseline (GiGPO) met 2,3 tot 8,5 procentpunt.
  • ALFWorld: 85,9% (vs. 83,6% voor GiGPO).
  • WebShop: 84,4% (vs. 77,3% voor GiGPO).
  • ScienceWorld: 54,6% (vs. 46,1% voor GiGPO).
• Binnen-taak Generalisatie: Ondanks dat het getraind is op sequenties van onderscheidende taken, presteerde SkillRise beter dan methoden die expliciet getraind zijn op herhaalde pogingen van de zelfde taak (bijv. LaMer) wanneer geëvalueerd op Pass@2 en Pass@3 voor vastgehouden (held-out) taken. Dit suggereert dat de geleerde curatie-policy een algemene strategie vangt voor het omzetten van interactie-uitkomsten in actiegerichte vaardigheden.
• Cross-Task Test-Time Scaling: De prestaties verbeterden monotoon naarmate de lengte van de gerelateerde taaksequentie ($K$) tijdens de testfase toenam (bijv. van 83,6% bij $K=2$ naar 87,5% bij $K=6$ op ALFWorld). Concurrerende methoden vertoonden dergelijke groei niet, wat aangeeft dat SkillRise effectief overdraagbare vaardigheden hergebruikt en verfijnt over taken heen.
• Efficiëntie: Vergeleken met meerfasige pipelines zoals RetroAgent en SkillRL, behaalde SkillRise vergelijkbare of superieure succespercentages terwijl het slechts 1/6e van de looptijd vereiste, omdat het de overhead van extern geheugenbeheer en retrieval elimineert.

Betekenis en Claims

Het artikel beweert dat SkillRise een eenvoudig en efficiënt trainingsparadigma biedt voor LLM-agenten om overdraagbare vaardigheden te extraheren, te verfijnen en te hergebruiken over taken heen. De primaire betekenis ligt in het aantonen dat:

• Cross-task vaardigheidsleren kan worden bereikt via een verenigde, end-to-end policy zonder complexe externe pipelines.
• Het ontkoppelen van de supervisiesignalen voor oplossen (huidige uitkomst) en curatie (downstream uitkomsten) cruciaal is voor het leren van overdraagbare regelmatigheden.
• Agenten "test-time scaling" kunnen vertonen, waarbij de prestaties verbeteren met langere sequenties van gerelateerde taken, zelfs wanneer elke taak slechts één keer wordt geprobeerd, wat wijst op een robuust mechanisme voor zelfverbetering door ervaringaccumulatie.

De auteurs merken beperkingen op, waaronder de huidige afhankelijkheid van taakfamilie-metadata voor sequentieconstructie en de beperking van experimenten tot modellen tot 4B parameters en tekstgebaseerde benchmarks.