Adaptive Correlation-Weighted Intrinsic Rewards for Reinforcement Learning

Dit paper introduceert ACWI, een adaptief framework dat een lichtgewicht Beta-netwerk gebruikt om intrinsieke beloningen dynamisch te schalen op basis van de agenttoestand, waardoor de verkenning in omgevingen met schaarse beloningen wordt verbeterd zonder de rekenkosten significant te verhogen.

De kern

Stel je voor dat je een robot traint om een doolhof te doorlopen. Het doel is om bij de uitgang te komen en een prijs te winnen. Dit is wat we in de kunstmatige intelligentie een versterkingsleer (Reinforcement Learning) noemen.

Het probleem? De robot krijgt bijna nooit een beloning. Hij loopt uren rond, stoot tegen muren, en krijgt pas aan het einde van de dag een "goed gedaan!"-bericht als hij de uitgang vindt. Dit noemen we een spaarzame beloning (sparse reward). Zonder tussentijdse hints is het voor de robot als een blinde kat die in het donker probeert te leren lopen: het duurt eeuwen voordat hij toevallig de uitgang vindt.

Om dit op te lossen, geven robotjes vaak een extra "binnenlandse" beloning. Denk aan een nieuwsgierigheidsbeloning. Als de robot iets ziet dat hij nog nooit heeft gezien, krijgt hij een kleine bonus. Dit helpt hem om te verkennen in plaats van alleen maar rond de startplek te blijven hangen.

Maar hier zit een addertje onder het gras:
Stel je voor dat je die robot een vaste hoeveelheid "nieuwsgierigheid" geeft, bijvoorbeeld altijd 5 punten per nieuwe plek.

• Soms is nieuwsgierigheid heel handig (bijvoorbeeld: "Oh, een sleutel! Die kan ik gebruiken!").
• Soms is het juist een afleiding (bijvoorbeeld: "Oh, een mooie steen in de hoek? Die heeft niets met de uitgang te maken, maar ik krijg er wel punten voor").

Als je de robot een vaste hoeveelheid nieuwsgierigheid geeft, kan hij verward raken. Hij blijft misschien staren naar die mooie steen terwijl hij de sleutel moet zoeken. De meeste bestaande methodes gebruiken een vaste knop om te bepalen hoeveel nieuwsgierigheid er mag zijn. Dat werkt vaak niet goed voor elke situatie.

De Oplossing: ACWI (De Slimme Regelaar)

De auteurs van dit paper hebben een nieuwe methode bedacht genaamd ACWI. In plaats van een vaste knop, hebben ze een slimme, lerende regelaar (een klein neuraal netwerk, de "Beta Network") gebouwd.

Hier is hoe het werkt, met een simpele analogie:

De Analogie van de Vervelende Student
Stel je voor dat je een student bent die een moeilijk examen moet halen.

• De Externe Beloning: Het diploma aan het einde.
• De Interne Beloning: Het gevoel van "leuk iets nieuws leren" (nieuwsgierigheid).

In de oude methodes kreeg de student voor elke nieuwe feitelijke kennis die hij leerde, precies hetzelfde aantal bonuspunten. Of het nu een nuttig feit was voor het examen, of een triviaal feit over bloemen.

Met ACWI heeft de student een slimme studievriend (de Beta Network) naast zich zitten. Deze vriend kijkt naar wat de student doet en vraagt zich af: "Is dit iets wat me echt dichter bij het diploma brengt?"

• Als de student een sleutel vindt die de deur naar het examenzaal opent, zegt de vriend: "JA! Dit is super belangrijk!" en verhoogt de bonus voor nieuwsgierigheid enorm.
• Als de student begint te kijken naar een mooie steen in de hoek die niets met het examen te maken heeft, zegt de vriend: "Nee, laat maar. Dit helpt je niet." en verlaagt de bonus.

Deze "studievriend" leert dit gedrag door te kijken naar het verleden. Hij kijkt: "Als ik nu nieuwsgierig was naar dit specifieke ding, leidde dat later tot een goed resultaat?" Als het antwoord ja is, geeft hij meer bonus. Zo ja, minder.

Wat hebben ze ontdekt?

De auteurs hebben deze methode getest in verschillende digitale doolhoven (MiniGrid). Hier zijn de belangrijkste bevindingen, vertaald naar alledaags taal:

1. Het werkt beter dan vaste knoppen: Robots met deze slimme regelaar leerden sneller en stabieler dan robots met een vaste hoeveelheid nieuwsgierigheid. Ze werden niet afgeleid door onbelangrijke dingen.
2. Het past zich aan: In het begin, als de robot nog niets weet, is de regelaar voorzichtig. Naarmate de robot meer leert, wordt de regelaar scherper en weet hij precies waar hij zijn energie moet steken.
3. Het faalt netjes: Er was één situatie (een heel leeg, groot vertrek zonder hints) waar de regelaar niet kon werken, omdat er helemaal geen "dip" in de beloning was om naar te kijken. Maar in plaats van dat de robot in paniek raakte of gek werd, deed de regelaar gewoon alsof hij een vaste knop was. Het systeem bleef stabiel werken, gewoon wat minder slim.

Conclusie

Kortom: ACWI is een manier om robots te leren slimmer te zijn over hun eigen nieuwsgierigheid. In plaats van blindelings alles te verkennen, leren ze om hun nieuwsgierigheid te richten op de dingen die echt belangrijk zijn voor hun doel. Het is alsof je een robot niet alleen een kompas geeft, maar ook een slimme gids die weet wanneer je moet doorgaan met zoeken en wanneer je moet stoppen met kijken naar de mooie bloemetjes.

Technische samenvatting

Titel: Adaptive Correlation-Weighted Intrinsic Rewards for Reinforcement Learning (ACWI)

Auteurs: Viet Bac Nguyen en Phuong Thai Nguyen (VNU-University of Engineering and Technology, Hanoi, Vietnam)

---

1. Het Probleem

Versterkende leer (Reinforcement Learning - RL) presteert uitstekend in omgevingen met dichte beloningssignalen, maar worstelt in spaarzame beloningssituaties (sparse reward). In dergelijke omgevingen ontvangt de agent zelden feedback, wat het onderscheid tussen productief en willekeurig gedrag bemoeilijkt.

Om dit op te lossen, wordt vaak gebruikgemaakt van intrinsieke motivatie (bijv. nieuwsgierigheid), waarbij een extra beloning ($R_I$) wordt toegevoegd aan de extrinsieke beloning ($R_E$) om exploratie te stimuleren. De standaardaanpak combineert deze signalen via een vaste, handmatig getune schaalcoëfficiënt ($\beta$):
$$\bar{r}_t = R^E_t + \beta \cdot R^I_t$$

De kernuitdaging:

• Statische schaling: Een vaste $\beta$ kan niet onderscheiden tussen staten waar verdere exploratie waardevol is voor de taak, en staten waar dit niet zo is. Twee staten kunnen een vergelijkbare intrinsieke beloning krijgen, maar slechts één leidt tot hoge extrinsieke opbrengsten.
• Instabiliteit: Handmatige tuning is lastig; een te hoge $\beta$ kan leiden tot over-exploratie en instabiel leren, terwijl een te lage $\beta$ resulteert in onvoldoende exploratie.
• Gebrek aan fijnmazige aanpassing: Bestaande adaptieve methoden passen de weging vaak aan op het niveau van trainingsfasen of hele beleidspakketten, maar niet op het niveau van individuele staten binnen de ruimte.

---

2. Methodologie: ACWI

De auteurs stellen ACWI (Adaptive Correlation-Weighted Intrinsic) voor, een raamwerk dat een toestand-afhankelijke schalingsfactor ($\beta(s_t)$) leert in plaats van een vaste waarde te gebruiken.

A. Architectuur

Het systeem bestaat uit drie hoofdcomponenten:

1. Intrinsieke Motivatie Module (ICM): De auteurs gebruiken de Intrinsic Curiosity Module (ICM) om een intrinsieke beloning ($I_t$) te genereren op basis van voorspellingsfouten in een geleerde latente ruimte. Deze beloning wordt genormaliseerd om schaalvariaties te verminderen.
2. Beta Network: Een lichtgewicht neurale netwerk dat de toestand $s_t$ als input neemt en een schalingsfactor $\beta_\psi(s_t)$ voorspelt.
   • De output is beperkt tot een positief interval (bijv. $[0.1, 2.0]$) via een log-transformatie.
   • Dit netwerk werkt parallel aan het beleidsnetwerk en wordt apart geüpdatet.
3. Gecombineerde Beloning: De uiteindelijke beloning voor het beleid is:
   $$\bar{r}_t = R^E_t + \alpha \cdot \beta_\psi(s_t) \cdot I^+_t$$
   Waar $\alpha$ een globale constante is en $\beta_\psi(s_t)$ de adaptieve factor.

B. Correlatie-gebaseerd Trainingsdoel

Het cruciale innovatieve aspect is hoe het Beta Network wordt getraind. In plaats van complexe meta-learning of tweede-orde gradiënten, gebruiken de auteurs een eerste-orde correlatie-objectief:

• Principe: De intrinsieke beloning moet worden versterkt in staten die leiden tot hoge toekomstige extrinsieke opbrengsten, en onderdrukt in staten die dat niet doen.
• Implementatie: Het netwerk maximaliseert de correlatie tussen de gewogen intrinsieke beloning ($\hat{I}_t$) en de gediscouteerde toekomstige extrinsieke opbrengst ($\hat{G}^E_t$).
• Vorm: De loss-functie is de negatieve correlatie (Pearson) tussen de gestandaardiseerde waarden, gecombineerd met een $L_2$-regularisatie om instabiliteit te voorkomen:
  $$\mathcal{L}_\beta(\psi) = -\mathbb{E}[\hat{I} \cdot \hat{G}] + \lambda_{reg} \cdot \mathbb{E}[(\log \beta_\psi(s) - \log \beta_0)^2]$$
• Optimalisatie: Het Beta Network wordt één keer per training-iteratie bijgewerkt (voordat de PPO-stappen plaatsvinden), terwijl de beleidsparameters ($\theta$) vastgehouden worden. Dit voorkomt tweede-orde afhankelijkheden.

---

3. Belangrijkste Bijdragen

1. Toestand-afhankelijke modulatie: De introductie van een leerbaar $\beta(s_t)$ dat intrinsieke beloningen fijnmazig aanpast per staat, in plaats van een globale constante.
2. Efficiënt trainingsdoel: Een correlatie-objectief dat de uitlijning tussen exploratie en toekomstige taakprestatie direct optimaliseert, zonder de noodzaak van kostbare meta-gradiënten.
3. Empirische validatie: Succesvolle integratie met PPO en ICM op spaarzame beloningstaken in MiniGrid, wat leidt tot verbeterde sample-efficiëntie en stabiliteit.

---

4. Resultaten

De methode werd geëvalueerd in vijf MiniGrid-omgevingen (o.a. DoorKey, RedBlueDoors, KeyCorridor) met verschillende niveaus van complexiteit en spaarzaamheid.

• Verbeterde Sample-efficiëntie: ACWI leert sneller dan PPO met vaste $\beta$-waarden en presteert consistent beter dan de basislijn (alleen extrinsieke beloning).
• Stabiliteit: De leercurves tonen minder variantie tussen verschillende random seeds vergeleken met vast ingestelde $\beta$-waarden.
• Adaptief Gedrag:
  • In omgevingen met enige structuur (bijv. DoorKey-8x8), leert het netwerk om $\beta$ te verhogen tijdens het zoeken naar sleutels en te verlagen zodra de deur open is en de weg naar het doel duidelijk wordt.
  • De verdeling van $\beta$ ontwikkelt een multimodale structuur die overeenkomt met verschillende sub-taken in de ruimte.
• Graceful Degradation: In extreem spaarzame omgevingen zonder tussentijdse feedback (bijv. Empty-16x16), waar de correlatie tussen exploratie en beloning nihil is, degradeert ACWI veilig naar een vaste schaling (dicht bij de initiatie). Het systeem wordt niet instabiel, maar gedraagt zich als een standaard ICM-methode.

---

5. Betekenis en Conclusie

ACWI biedt een praktische en rekenkundig efficiënte oplossing voor het probleem van het balanceren van exploratie en exploitatie in RL.

• Geen handmatige tuning: Het elimineert de noodzaak om voor elke taak een optimale $\beta$ te zoeken.
• Robuustheid: Het werkt goed in diverse omgevingen en faalt niet catastrofaal als de correlatiesignalen zwak zijn.
• Toekomstperspectief: De methode opent de weg voor verdere onderzoek naar het dynamisch aanpassen van intrinsieke beloningen op basis van de context van de agent, wat essentieel is voor complexe, langdurige taken.

Kortom, ACWI maakt exploratie "slimmer" door te leren waar en wanneer nieuwsgierigheid waardevol is voor het bereiken van de uiteindelijke doelstellingen, in plaats van nieuwsgierigheid blindelings toe te passen.