AEM: Adaptive Entropy Modulation for Multi-Turn Agentic Reinforcement Learning

1. Probleemstelling

Het paper adresseert een kritieke bottleneck in het trainen van Large Language Model (LLM) agents voor multi-turn Reinforcement Learning (RL) taken (bijv. software-engineering, webnavigatie, embodied agents).

• Schaarse Beloningen (Sparse Rewards): In agentic RL is feedback typisch enkel op het resultaat gericht (succes/mislukking aan het einde van een traject). Dit maakt het moeilijk om krediet toe te wijzen aan tussenstappen, wat leidt tot gradienten met hoge variantie.
• Beperkingen van Bestaande Oplossingen:
  • Process Reward Models (PRMs): Vereisen dichte tussen-supervisie en extra modeltraining, wat complexiteit verhoogt en generaliseerbaarheid vermindert.
  • Zelf-supervisie Methodes: Bestaande benaderingen (bijv. GiGPO, IGPO) lijden vaak aan context-inconsistentie, groeperingsbias of restrictieve structurele aannames.
  • Boom-structurele Methodes: Hoewel effectief, brengen ze hoge rekenkundige overhead met zich mee in multi-turn settings.
• De Kernuitdaging: Er is behoefte aan een supervisie-vrije, schaalbare en fijnmazige krediettoewijzingsmethode die adaptief exploratie (het proberen van nieuwe acties) en exploitatie (het verfijnen van bekende goede acties) kan balanceren zonder te vertrouwen op externe annotaties of zware berekening.

2. Methodologie: Adaptive Entropy Modulation (AEM)

De auteurs stellen AEM voor, een plug-in algoritme dat het voordeel-signaal (advantage signal) tijdens RL-training moduleert op basis van respons-niveau entropiedynamiek.

Theoretische Grondslag

De auteurs leggen een theoretisch verband tussen respons-niveau entropie en krediettoewijzing:

• Respons-niveau Entropie ($H_{resp}$): In plaats van token-niveau entropie, definiëren ze entropie op het niveau van een volledige agent-respons (actie). Dit vermindert de steekproefvariantie en biedt een stabielere maatstaf voor onzekerheid.
• Entropie Drift Theorema: Ze bewijzen dat de drift in globale entropie tijdens training wordt beheerst door de interactie tussen het voordeel ($A$) van een gestalde respons en zijn relatieve verrassing ($S - H_{resp}$).
  • Als een respons een hoog voordeel heeft maar lage relatieve verrassing (het was verwacht maar goed), moet de entropie afnemen (exploitatie).
  • Als een respons een negatief voordeel heeft maar hoge relatieve verrassing (het was onverwacht en slecht), moet de entropie toenemen (exploratie aanmoedigen weg van dit pad).
• Natuurlijke Gradiënt: De analyse wordt uitgevoerd binnen de Fisher-Rao-geometrie van het beleidssimplex, waarbij wordt aangetoond dat entropiedynamiek inherent is aan de richting van de beleidsupdate.

Het AEM Algoritme

AEM fungeert als een lichtgewicht modifier bovenop standaard op groepen gebaseerde RL-schatters (zoals GRPO):

1. Onzekerheidsproxy: Voor elke respons in een rollout-groep berekent AEM een proxy voor relatieve verrassing met behulp van de gemiddelde token-niveau entropie van die respons.
2. Modulatie Coëfficiënt ($\alpha$):
   • Responsen worden genormaliseerd binnen hun groep (min-max schaling).
   • Een temperatuur-geschaalde exponentiële functie converteert de genormaliseerde entropie naar een coëfficiënt $\alpha$.
   • Logica:
     • Lage entropie (hoge zekerheid) $\rightarrow$ $\alpha > 1$ (opwaardeer als positief, downweight als negatief).
     • Hoge entropie (lage zekerheid) $\rightarrow$ $\alpha < 1$ (downweight als positief, opwaardeer als negatief).
3. Voordeel Rescaling: Het basisvoordeel ($A_{base}$) wordt herschaald: $A_{AEM} = \alpha \cdot A_{base}$.
4. Adaptieve Overgang:
   • Vroege Training: Gedomineerd door negatieve steekproeven; AEM induceert entropie-verhogende druk om exploratie te bevorderen.
   • Late Training: Gedomineerd door positieve steekproeven; AEM induceert entropie-verlagende druk om convergentie en exploitatie te bevorderen.

3. Belangrijkste Bijdragen

1. Theoretische Karakterisering: Het paper biedt de eerste theoretische analyse van respons-niveau entropiedynamiek in agentic RL, waarbij wordt bewezen dat lokale entropie-drift wordt aangedreven door het product van het voordeel en de relatieve verrassing.
2. AEM Algoritme: Een nieuwe, supervisie-vrije krediettoewijzingsmethode die geen extra modellen, dichte beloningen of complexe structurele aannames vereist. Het fungeert als een plug-in voor bestaande RL-frameworks.
3. Impliciete Exploratie-Exploitatie Controle: AEM laat het beleid op natuurlijke wijze overgaan van exploratie naar exploitatie op basis van de evoluerende balans van positieve/negatieve steekproeven, waardoor de noodzaak voor handgemaakte entropie-schema's wordt geëlimineerd.

4. Experimentele Resultaten

De auteurs evalueerden AEM over drie uitdagende benchmarks (ALFWorld, WebShop, SWE-bench-Verified) met modellen variërend van 1,5B tot 32B parameters.

• ALFWorld & WebShop:
  • AEM verbeterde consistent state-of-the-art baselines (GRPO, GSPO, DAPO).
  • Prestatiewinsten: Bereikte piekverbeteringen van 8,8% op ALFWorld en 5,6% op WebShop met 1,5B modellen.
  • Schaalbaarheid: Verbeteringen waren consistent over 7B-modellen en diverse RL-ruggengraten.
• SWE-bench-Verified (Real-world Software Engineering):
  • Geïntegreerd in DeepSWE (een SOTA-framework voor software-agents).
  • Resultaat: Verbeterde het succespercentage van 42,3% naar 43,7% (+1,4%) op de zeer uitdagende SWE-bench-Verified benchmark.
• Analyse:
  • Entropiedynamiek: Experimenten bevestigden dat AEM voortijdige entropie-instorting voorkomt (een veelvoorkomende faalmodus waarbij agents vast komen te zitten in lokale optima) en in de vroege fase van training een hogere diversiteit behoudt.
  • Rekenkosten: AEM introduceert verwaarloosbare overhead (~1,1% van de totale trainingstijd) omdat het entropieberekeningen hergebruikt uit de standaard forward pass en geen extra rollouts vereist.

5. Betekenis en Impact

• Paradigmaverschuiving: Verplaatst krediettoewijzing in agentic RL van afhankelijkheid van externe supervisie (PRMs) of complexe structurele aannames naar intrinsieke signaalmodulatie (entropie).
• Efficiëntie: Biedt een "plug-and-play" oplossing die de prestaties aanzienlijk verbetert zonder de trainingskosten te verhogen of extra data-annotatie te vereisen.
• Robuustheid: Demonstreert effectiviteit over diverse domeinen (tekstgebaseerde navigatie, e-commerce en complexe software-engineering), wat suggereert dat respons-niveau entropie een universele inductieve bias is voor multi-turn agent-optimalisatie.
• Praktijktoepasbaarheid: De methode is bijzonder waardevol voor real-world toepassingen zoals software-engineering agents, waar resultaatbeloningen schaars zijn en tussen-supervisie niet beschikbaar is of duur om te genereren.

Kortom, AEM biedt een theoretisch onderbouwde, rekenkundig efficiënt mechanisme om het krediettoewijzingsprobleem in multi-turn agentic RL op te lossen, waardoor LLM-agents effectiever kunnen leren uit schaarse, enkel op het resultaat gerichte feedback.