Co-Evolution of Policy and Internal Reward for Language Agents

Probleemstelling

Grote Taalmodellen (LLM)-agenten leren door interactie met omgevingen, maar training op lange termijn (long-horizon) wordt fundamenteel geblokkeerd door spaarzame en vertraagde beloningen (sparse and delayed rewards). In complexe taken zoals webnavigatie of wetenschappelijke experimenten ontvangt de agent vaak pas aan het einde van een traject feedback (bijv. succes of mislukking). Dit maakt het onduidelijk welke tussenstappen het doel hebben bevorderd en welke overbodig of schadelijk waren.

Bestaande methoden proberen dit op te lossen via:

1. Post-hoc credit assignment: Het herverdelen van krediet na het verzamelen van trajecten.
2. Externe beloningsmodellen: Het gebruik van aparte modellen om stap-voor-stap feedback te geven.

Deze benaderingen hebben echter beperkingen: ze bieden vaak weinig begeleiding tijdens het redeneren (inference), scheiden beloningsverbetering van beleidsverbetering, en kunnen leiden tot drift tussen het beleid en de evaluatiemodellen.

Methodologie: Self-Guide

De auteurs stellen Self-Guide voor, een methode waarbij de agent een zelfgegenereerde interne beloning gebruikt die zowel dient als gids tijdens het redeneren als als trainings-signaal.

1. Koppelwerking van Inference en Training

De kern van Self-Guide is dat dezelfde verbaal gegenereerde signalen twee rollen vervullen:

• Tijdens Inference (Redeneren): Voordat de agent een actie uitvoert, genereert het model een korte, verbaal zelfgidsende signal ($z_t$) die de huidige staat van het traject beoordeelt (bijv. "vooruitgang", "afwijkend", "nutteloos"). Deze signal stuurt de keuze van de volgende actie ($a_t$).
• Tijdens Training: Dezelfde signalen $z_t$ worden omgezet in een stap-voor-stap interne beloning ($r^{sg}_t$). Dit creëert een dichter beloningssignaal dan de spaarzame omgevingsbeloning ($R_{env}$) alleen.

2. Co-evolutie van Beleid en Interne Beloning

In tegenstelling tot statische beloningsvorming (reward shaping), evolueert het interne beloningssysteem samen met het beleid:

• Een beter beleid genereert betere zelfgidsing.
• Betere zelfgidsing levert een nauwkeurigere interne beloning op.
• Deze betere beloning verbetert op zijn beurt weer het beleid.

Dit wordt gerealiseerd via een unified training objective (gebaseerd op GRPO - Group Relative Policy Optimization), waarbij het model gelijktijdig leert om betere gidsing te genereren en beter te handelen op basis daarvan.

3. Stapsgewijze Vertrouwensplanning (Stage-Wise Trust Schedule)

Een groot risico is dat de agent in het begin van de training onnauwkeurige zelfgidsing genereert. Als dit direct als beloning wordt gebruikt, kan dit het leren destabiliseren. De auteurs introduceren een trapeziumvormige planning voor de weging ($\lambda$) van de interne beloning:

• Fase I (Warm-up): Alleen zelfgidsing voor actie-keuze, geen interne beloning ($\lambda=0$). De agent leert gidsing te genereren puur op basis van omgevingsfeedback.
• Fase II (Activering): $\lambda$ wordt lineair opgevoerd van 0 naar 1. De interne beloning wordt geleidelijk geïntroduceerd.
• Fase III (Volledige beloning): $\lambda=1$. De co-evolutie loopt op volle kracht; dichte interne beloning vult de spaarzame omgevingsbeloning aan.
• Fase IV (Annealing): $\lambda$ wordt geleidelijk verlaagd van 1 naar 0. Dit voorkomt dat het beleid te veel afhankelijk wordt van de interne beloning (die niet "potential-based" is) en zorgt dat het uiteindelijke beleid optimaal is voor de echte omgevingsdoelstellingen.

Belangrijkste Bijdragen

1. Self-Guide Framework: Een nieuw formaat voor zelfgegenereerde interne beloning dat zowel als inference-gids als trainings-beloning fungeert binnen één lus.
2. Stapsgewijze Vertrouwensplanning: Een mechanisme dat de instabiliteit van het gebruik van onvolmaakte zelfgidsing in de vroege trainingsfasen oplost en de convergentie garandeert.
3. Empirisch Bewijs: Aantonen dat co-evolutie van beleid en interne beloning superieur is aan methoden die alleen vertrouwen op omgevingsbeloningen, zelfs zonder externe evaluatoren.

Resultaten

De methode is getest op drie benchmarks: ALFWorld (huiselijke navigatie), ScienceWorld (wetenschappelijk redeneren) en WebShop (e-commerce interactie), met verschillende Qwen-modellen als backbone.

• Inference-prestaties: Zelfgidsing zonder RL-training (alleen prompting) leidt al tot significante verbeteringen, vooral in gestructureerde omgevingen zoals ALFWorld.
• Trainingsprestaties: De combinatie van GRPO met Self-Guide en de stapsgewijze beloningsplanning (GRPO w/ SG & GR) overtreft de standaard GRPO-baselines consistent.
  • Op de Qwen3-4B-modellen werd een gemiddelde verbetering van ongeveer 8% behaald ten opzichte van baselines die alleen op omgevingsbeloningen trainden.
  • Op WebShop en ScienceWorld werden success rates van respectievelijk 87.8% en 79.4% bereikt (met Qwen3-1.7B), wat een aanzienlijke stijging is ten opzichte van de baselines.
• Ablatiestudies:
  • Het direct introduceren van de interne beloning (zonder warm-up) leidt tot slechtere prestaties dan het niet gebruiken ervan, wat bevestigt dat de "trust schedule" essentieel is.
  • Offline distillatie (het trainen van een gidsmodel op vaste data en dit gebruiken voor RL) werkt niet goed; de prestaties zijn instabiel. Dit benadrukt dat de gidsing en het beleid online samen moeten evolueren onder de eigen verdelingen van de agent.

Betekenis en Conclusie

Dit werk toont aan dat taalagenten niet alleen kunnen verbeteren door meer ervaring te verzamelen, maar ook door te leren hun eigen interne beloning te genereren en te verfijnen tijdens het handelen en leren.

De "Self-Guide" methode creëert een zelfversterkende lus die de afhankelijkheid van externe, dure of onnauwkeurige beloningsmodellen vermindert. Door de co-evolutie van beleid en interne beloning te sturen via een zorgvuldig ontworpen vertrouwensplanning, kunnen agenten effectief leren in omgevingen met zeer spaarzame feedback, wat een belangrijke stap is naar robuustere en zelfstandigere AI-agenten voor complexe, lange-termijn taken.