Technische Samenvatting: SKILLC – Leren van Autonome Vaardigheidsinternalisatie in LLM-Agenten via Contrastieve Credittoewijzing

1. Probleemstelling: Blindheid voor Internalisatie

Gestructureerde vaardigheidsprompts zijn een praktisch mechanisme geworden om exploratie en steekproefficiëntie te verbeteren in langdurige agente Versterkingsleer (RL). Er bestaat echter een tweedeling in huidige benaderingen:

• Vaardigheidsverrijkte RL: Methoden behouden externe vaardigheden tijdens de inferentie en optimaliseren de prestaties met runtime-ondersteuning van vaardigheden.
• Vaardigheidsinternalisatie-RL: Methoden (bijv. SKILL0) trekken vaardigheden tijdens het trainen in om autonome prestaties mogelijk te maken, maar lijden onder een kritieke optimalisatie-mismatch die "blindheid voor internalisatie" wordt genoemd.

In bestaande internalisatiekaders genereren beleidswijzigingen (bijv. via GRPO) alle rollouts voor een taak onder één enkele promptconditie. Bijgevolg kan de gradiënt geen onderscheid maken tussen een succesvolle traject die echt autonoom is en een die slechts afhankelijk is van vaardigheden. Zelfs als een curriculum weet dat een vaardigheid globaal nuttig is, versterkt de beleidswijziging succes onder het huidige regime in plaats van de agent te sturen naar succes zonder de vaardigheid. Dit verhindert dat het beleid leert om tijdens de trainingsfase autonoom succes te boeken, wat leidt tot een aanhoudende kloof tussen prestaties "met vaardigheid" en "zonder vaardigheid" die pas (indien überhaupt) instort na een harde omschakeling in het curriculum.

2. Methodologie: Het SKILLC-kader

De auteurs stellen SKILLC voor, een kader gebaseerd op Contrastieve Vaardigheidscredittoewijzing (CSCA). SKILLC zet het contrast tussen prestaties met ingebracht versus zonder vaardigheden om in een direct leersignaal om blindheid voor internalisatie op te lossen. Het kader werkt via drie gecoördineerde mechanismen:

A. Gekoppelde Contrastieve Rollouts

Voor taken binnen het actieve vaardigheidssetje sampleert SKILLC gekoppelde rollouts binnen dezelfde beleidswijziging:

• Met vaardigheid ingebracht ($\tau^+$): gegenereerd met een vaardigheidsprompt ($z=1$).
• Zonder vaardigheid ($\tau^-$): gegenereerd zonder de vaardigheidsprompt ($z=0$).
  Beide gebruiken dezelfde beleidsparameters $\pi_\theta$, wat een zelf-contrastief ontwerp creëert. Dit stelt het systeem in staat de kloof op taalniveau $\Delta(x) = E[R|x, z=1] - E[R|x, z=0]$ te meten. Een positieve kloof duidt op afhankelijkheid van vaardigheden; een kloof dicht bij nul duidt op internalisatie.

B. Dual-Stream Voorsprongsschatting

Om dit contrast in de optimalisatie in te brengen zonder globale rangschikkingen te verstoren, hanteert SKILLC een dual-stream voorsprongsschatter:

1. Stream 1 (Globale Rangschikking): Behoudt de standaard groepsrelatieve voorsprong met behulp van het gemiddelde en de variantie van alle trajecten in de batch.
2. Stream 2 (Internalisatiedruk): Past een eenzijdige correctie toe gebaseerd op de contrastieve kloof.
   • Voor trajecten met vaardigheid ingebracht ($z=1$) wordt de voorsprong naar beneden gewogen met een correctieterm $C(x)$.
   • Voor trajecten zonder vaardigheid ($z=0$) wordt de voorsprong naar boven gewogen met $C(x)$.
   • De correctie-grootte $C(x)$ is evenredig met de geschatte kloof $\hat{\Delta}(x)$ en een toewijzingssterkte $\lambda$.
     Dit mechanisme leidt credit expliciet naar autonoom succes ("slagen zonder vaardigheidssteun") terwijl de agent nog leert, in plaats van te wachten op een curriculumwissel.

C. Internalisatiebewust Curriculum

Een gladgemaakte validatieniveau-signaal drijft een adaptief curriculum aan dat drie hyperparameters dynamisch regelt:

1. Toewijzingssterkte ($\lambda$): Schaal de contrastieve correctie.
2. Rollout-allocatie ($\rho$): Pas het aandeel rollouts met vaardigheid versus rollouts zonder vaardigheid aan.
3. Opschoning van het Actieve Vaardigheidssetje: Trekt monotoon vaardigheidstypen terug waar de validatiekloof $\bar{\Delta}_{val}$ onder een drempelwaarde zakt.
   In tegenstelling tot methoden met een vast schema is dit curriculum data-gedreven en reageert het op de daadwerkelijk gemeten voortgang van internalisatie.

3. Belangrijkste Bijdragen

1. Identificatie van Blindheid voor Internalisatie: Het artikel identificeert dat internalisatie met een vast schema faalt omdat standaard beleidsgradiënten geen onderscheid kunnen maken tussen autonoom succes en succes afhankelijk van vaardigheden wanneer alle rollouts dezelfde promptconditie delen.
2. SKILLC-kader: De auteurs stellen een oplossing voor die gebruikmaakt van gekoppelde contrastieve rollouts en een dual-stream voorsprongsschatter om de internalisatiekloof waarneembaar en handelbaar te maken binnen elke gradiëntstap.
3. Adaptief Curriculum: Een validatie-gedreven mechanisme dat gezamenlijk de toewijzingssterkte, het rollout-budget en de pensioenregeling voor vaardigheden moduleert, zodat het terugtrekken van vaardigheden overeenkomt met de daadwerkelijke capaciteit van de agent.
4. Kritieke Karakterisering van Toepasbaarheid: Het artikel biedt een genuanceerde analyse die aantoont dat de effectiviteit van CSCA afhankelijk is van de signaalkwaliteit. Sterke contrastieve signalen leveren aanzienlijke winsten op (bijv. +33,4% op de "Pick2"-taak van ALFWorld), terwijl zwakke signalen op taken met een plafond-effect prestatieachteruitgang kunnen veroorzaken.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op ALFWorld (tekstgebaseerde huishoudelijke taken) en WebShop (online winkelen) met het Qwen2.5-7B-Instruct basismodel.

• Prestatiewinst: Zonder runtime-toegang tot vaardigheden presteert SKILLC 5,5% beter dan de sterkste eerdere internalisatie-baseline voor vaardigheden (SKILL0) op ALFWorld (van 85,9% naar 90,6%) en 4,4% beter op WebShop (van 70,9% naar 74,0%).
• Concurrentiekracht: SKILLC blijft concurrerend met vaardigheidsverrijkte methoden (die vaardigheden behouden tijdens inferentie). Op ALFWorld komt het overeen met de prestaties van D2Skill (een vaardigheidsverrijkte methode), ondanks geen toegang tot vaardigheden tijdens inferentie.
• Ablatiestudies:
  • Het verwijderen van gekoppelde rollouts (updates met één conditie) laat de prestaties met 3,3% dalen.
  • Het vervangen van dual-stream normalisatie door gemengde normalisatie laat de prestaties met 2,2% dalen.
  • Het vastzetten van de curriculumpoort of het verwijderen van opschoning resulteert in kleinere maar consistente prestatiedalingen.
• Trainingsdynamiek: In tegenstelling tot SKILL0, dat een grote kloof tussen succespercentages met en zonder vaardigheid handhaaft tot een harde omschakeling, toont SKILLC een monotoon dalende trend in deze kloof, die tijdens de middenfase van training de nulwaarde passeert. Dit bevestigt dat het beleid continu autonomie leert in plaats van te vertrouwen op passieve overdracht.

5. Betekenis en Claims

Het artikel stelt dat SKILLC een fundamentele beperking in huidige agente RL aanpakt: het onvermogen om te optimaliseren voor autonomie tijdens het trainingsproces wanneer vaardigheden aanwezig zijn. Door de "nuttigheid" van een vaardigheid om te zetten in een direct credittoewijzingssignaal voor autonoom succes, elimineert SKILLC de "blindheid voor internalisatie" die inherent is aan eerdere methoden.

De auteurs benadrukken dat hun benadering geen wijziging vereist van het onderliggende beleidsoptimalisatiekader (GRPO), maar eerder het mechanisme voor credittoewijzing aanpast. De betekenis ligt in het bereiken van autonome prestaties die concurreren met vaardigheidsverrijkte methoden, zonder de runtime-overhead van vaardigheidsopvraging, terwijl tegelijkertijd een data-gedreven, adaptief mechanisme voor pensioenregeling voor vaardigheden wordt geboden.

Erkende Beperkingen:
Het artikel merkt op dat SKILLC afhankelijk is van vaste, vooraf gedefinieerde inventarissen van vaardigheden en mogelijk moeite heeft in open-ended omgevingen met dynamische relevantie van vaardigheden. Bovendien levert de methode in de vroege trainingsfase een rekenkundige overhead van ongeveer 26% op door gekoppeld sampling, hoewel dit afneemt naarmate vaardigheden worden teruggetrokken. De effectiviteit van de methode is ook afhankelijk van de kwaliteit van het contrastieve signaal; in taken waar de prestaties al dicht bij het plafond liggen, kan het signaal te zwak zijn om verdere internalisatie te drijven.