AMPED: Adaptive Multi-objective Projection for balancing Exploration and skill Diversification

Dit paper introduceert AMPED, een nieuwe methode voor op vaardigheden gebaseerd versterkend leren die tijdens het vooropleiden een gradiënt-chirurgie-projectie gebruikt om exploratie en vaardigheidsdiversiteit in balans te brengen, wat leidt tot superieure prestaties en een lagere steekproefcomplexiteit bij fijnafstemming.

De kern

Stel je voor dat je een robot wilt leren om te bewegen, zoals een hondje dat moet leren rennen of een arm die een kopje moet pakken. Het probleem is dat de robot geen "beloning" krijgt voor zijn acties totdat hij het doel bereikt. Dit is als een kind dat probeert te lopen, maar pas een snoepje krijgt als het de kamer uit is. Tussenweg krijgt het niets, dus het weet niet of het een stap vooruit, een stap opzij of een dansje de goede richting is. Dit noemen we exploratie (het verkennen van de wereld).

Aan de andere kant wil je dat de robot niet alleen maar één ding doet (bijvoorbeeld alleen maar rennen), maar een heel arsenaal aan vaardigheden leert: rennen, springen, dansen, vallen en weer opstaan. Dit noemen we vaardigheidsdiversiteit.

Het probleem is dat deze twee doelen vaak met elkaar op de loer liggen. Als je de robot dwingt om heel veel verschillende dingen te doen (diversiteit), kan hij vergeten om de hele wereld te verkennen. Als je hem juist laat verkennen, leert hij misschien niet genoeg van elkaar verschillende vaardigheden.

De auteurs van dit paper, AMPED, hebben een slimme oplossing bedacht om dit conflict op te lossen. Hier is hoe het werkt, vertaald in een verhaal:

1. Het Conflict: Twee Leraren die ruzie maken

Stel je voor dat je robot twee leraren heeft:

• Leraar Verkenner: "Ga overal heen! Probeer alles! Raak elke hoek van de kamer!"
• Leraar Vaardigheid: "Leer specifieke trucs! Leer een dansje, leer een salto, leer niet te vallen!"

Als de robot probeert te luisteren naar beide leraren tegelijk, krijgen ze ruzie. De Verkenner wil dat de robot naar links gaat, maar de Vaardigheidsleraar zegt: "Nee, voor die dans moet je naar rechts!" De robot raakt in de war en leert niets. In de wiskunde noemen ze dit een gradiëntconflict (de instructies van de leraren botsen met elkaar).

2. De Oplossing: De "Gradiënt-Chirurg"

AMPED gebruikt een techniek die ze gradiënt-chirurgie noemen. Stel je voor dat de twee leraren hun handen op de schouders van de robot leggen om hem te duwen. Als ze in tegenovergestelde duwen, doet AMPED alsof het een chirurg is die één van de handen even vasthoudt en de duwrichting van de andere leraar iets aanpast.

• Ze laten de robot niet blindelings naar links of rechts duwen.
• Ze "snijden" het deel van de instructie weg dat de andere leraar tegenwerkt.
• Zo kan de robot op een manier bewegen die beide leraren tevreden stelt: hij verkent de wereld, maar leert tegelijkertijd duidelijke, verschillende vaardigheden.

3. De Twee Trucs voor Verkenning

Om de robot goed te laten verkennen, gebruiken ze twee hulpmiddelen:

• De "Nieuwsgierige Sensor" (Entropy): Dit is als een sensor die zegt: "Ik ben hier nog nooit geweest, dit voelt nieuw!" Het helpt de robot om gebieden te bezoeken waar hij nog niet is.
• De "Toekomstvoorspeller" (RND): Dit is als een gokmachine. De robot probeert te voorspellen wat er gebeurt als hij een knop indrukt. Als hij het niet kan voorspellen, is het nieuw en spannend! Dit helpt om gebieden te vinden die nog onbekend zijn.

AMPED combineert deze twee: de ene is goed als je nog weinig weet, de andere is goed als je al veel hebt gezien. Samen zorgen ze voor een perfecte verkenning.

4. De "Slimme Keuzemaker" (Skill Selector)

Nadat de robot tijdens de "training" (pre-training) een groot arsenaal aan vaardigheden heeft geleerd (rennen, springen, etc.), komt de echte test: een specifieke taak, zoals een bal pakken.

In oude methoden moesten robots willekeurig een vaardigheid kiezen. AMPED heeft echter een Slimme Keuzemaker (een soort manager).

• Stel je voor dat de robot een gereedschapskist heeft met 16 verschillende gereedschappen.
• De manager kijkt naar de situatie en zegt: "Voor deze taak heb je de hamer nodig, niet de schroevendraaier."
• Deze manager leert tijdens de training welke vaardigheid het beste werkt voor welk doel.

Waarom is dit zo belangrijk?

De paper laat zien dat als je deze twee dingen (verkenning en diversiteit) goed combineert en de ruzie tussen hen oplost:

1. De robot leert sneller en beter.
2. Hij heeft minder voorbeelden nodig om een nieuwe taak te leren (hij is "sample efficient").
3. Hij kan zich makkelijker aanpassen aan nieuwe situaties, net als een echte mens die niet alleen maar één ding kan doen, maar een heel repertoire aan vaardigheden heeft.

Kort samengevat:
AMPED is als een super-trainer voor robots die weet hoe hij twee tegenstrijdige doelen (alles verkennen vs. specifieke trucs leren) met elkaar kan verzoenen. Door de ruzie tussen de instructies op te lossen en een slimme manager in te schakelen om de juiste vaardigheid te kiezen, leert de robot sneller, slimmer en flexibeler dan ooit tevoren.

Technische samenvatting

Probleemstelling

In het gebied van Reinforcement Learning (RL) blijft efficiënte exploratie een grote uitdaging, vooral in omgevingen met schaarse of vertraagde beloningen. Skill-based Reinforcement Learning (SBRL) lost dit op door een op vaardigheden (skills) voorwaardelijk beleid (policy) voor te trainen via ongesuperviseerde vaardigheidsontdekking.

De kernuitdaging waar SBRL-methode voor staan, is het gelijktijdig maximaliseren van twee vaak conflicterende doelen:

1. Exploratie: Het verkennen van de staatruimte om een uniforme verdeling van bezoeken te bereiken (vaak gemaximaliseerd via entropie).
2. Vaardigheidsdiversiteit: Het leren van onderscheidende vaardigheden die verschillende gedragspatronen vertonen (vaak gemaximaliseerd via Mutual Information, MI).

Bestaande methoden falen vaak omdat het optimaliseren van het ene doel het andere ondermijnt. Bijvoorbeeld, MI-gedreven methoden leiden tot voortijdige specialisatie (te weinig exploratie), terwijl entropie-gedreven exploratie de onderscheidbaarheid van vaardigheden vermindert. Dit resulteert in gradiëntconflicten die het leerproces inefficiënt maken.

Methodologie: AMPED

De auteurs stellen AMPED (Adaptive Multi-objective Projection for balancing Exploration and skill Diversification) voor. Deze methode combineert theorie en praktijk om de spanning tussen exploratie en diversiteit op te lossen. Het proces verloopt in twee fasen:

1. Pre-training Fase (Skill Learning)

Tijdens de pre-training wordt een agent getraind om een reeks diverse vaardigheden te leren zonder externe beloningen.

• Intrinsieke Beloningen: AMPED gebruikt een combinatie van:
  • Exploratie: Een lineaire combinatie van een entropie-bonus (gebaseerd op deeltjes-estimatoren voor state-entropie) en Random Network Distillation (RND). Entropie zorgt voor betrouwbare signalen bij kleine buffers, terwijl RND schaalbaar is voor grote buffers.
  • Diversiteit: Een AnInfoNCE (Anisotropic InfoNCE) verliesfunctie. In tegenstelling tot eerdere methoden die alleen overlap voorkomen, duwt AnInfoNCE de verdelingen van verschillende vaardigheden actief uit elkaar, wat leidt tot sterkere scheiding.
• Gradiëntchirurgie (Gradient Surgery): Dit is het kerninnovatiepunt. Omdat de gradiënten voor exploratie en diversiteit vaak in tegengestelde richtingen wijzen (negatief inproduct), gebruikt AMPED een projectiemethode (geïnspireerd op PCGrad).
  • Bij elke update wordt gecontroleerd of er een conflict is ($\nabla L_{expl} \cdot \nabla L_{div} < 0$).
  • Zo ja, dan wordt de ene gradiënt geprojecteerd op het orthogonale complement van de andere. Hierdoor wordt de update niet beïnvloed door de interfererende component, wat stabielere convergentie garandeert.

2. Fine-tuning Fase (Downstream Adaptation)

Na de pre-training wordt de agent getraind op specifieke downstream-taken.

• Adaptieve Vaardigheidsselectie: In plaats van vaardigheden willekeurig te kiezen (zoals bij eerdere methoden), gebruikt AMPED een Soft Actor-Critic (SAC) gebaseerde skill selector.
• Deze selector leert dynamisch welke vooraf getrainde vaardigheid op elk tijdstip het beste past bij de huidige staat en de doeltaak, gebaseerd op externe beloningen.
• Dit zorgt voor een efficiënte overdracht van de geleerde diversiteit naar de specifieke taak.

Theoretische Bijdrage

De paper levert een theoretisch bewijs (Stelling 1) dat aantoont dat een grotere diversiteit tussen vaardigheden de sample complexity (het aantal benodigde voorbeelden) voor de fine-tuning fase verlaagt.

• Als vaardigheden voldoende gescheiden zijn (grote afstand in hun state-bezettingsverdeling), kan een "greedy" selector met minder data de optimale vaardigheid voor een taak identificeren.
• Dit formaliseert de intuïtie dat diverse vaardigheden het vinden van de juiste oplossing voor een nieuwe taak vergemakkelijken.

Resultaten

AMPED werd geëvalueerd op de Unsupervised Reinforcement Learning Benchmark (URLB) (Walker, Quadruped, Jaco domeinen) en in Tree/Square Maze omgevingen.

• Prestaties: AMPED overtreft sterk bestaande baselines zoals DIAYN, BeCL, CIC, CeSD, ComSD, en APT.
  • Op de URLB benchmark behaalde AMPED de hoogste mediane, IQM (Interquartile Mean) en gemiddelde scores.
  • Het presteerde significant beter dan de state-of-the-art methode APT en de diversiteits-hybrides CeSD en ComSD.
• Ablatie Studies:
  • Het verwijderen van elk component (RND, AnInfoNCE, gradiëntchirurgie, of de skill selector) leidde tot een merkbare daling in totale prestaties, wat aantoont dat elk onderdeel essentieel is.
  • De balans in de projectie-ratio (hoe vaak welke gradiënt wordt aangepast) bleek cruciaal voor het minimaliseren van conflicten.
• Visuele Analyse: In maze-omgevingen toonde AMPED aan dat het zowel volledige staatdekking (exploratie) als duidelijke scheiding tussen vaardigheden (diversiteit) bereikt, terwijl andere methoden vaak in één van deze twee aspecten faalden.

Significantie en Impact

De belangrijkste bijdragen van dit werk zijn:

1. Oplossing voor Gradiëntconflicten: Het toont aan dat het expliciet oplossen van gradiëntconflicten tussen exploratie en diversiteit via projectie essentieel is voor succesvolle SBRL, in plaats van ad-hoc heuristieken.
2. Theoretisch Onderbouwd: Het koppelt vaardigheidsdiversiteit direct aan een verlaagde sample complexity bij fine-tuning, wat een fundamenteel inzicht biedt in waarom diverse skill sets nuttig zijn.
3. Robuustheid: De combinatie van entropie, RND en AnInfoNCE, ondersteund door gradiëntchirurgie, creëert een robuust framework dat werkt in zowel lage- als hoog-dimensionale omgevingen.
4. Adaptiviteit: De introductie van een leerzame skill selector tijdens fine-tuning maximaliseert de bruikbaarheid van de vooraf getrainde vaardigheden voor specifieke taken.

Kortom, AMPED biedt een principieel en effectief kader voor het leren van robuuste en generaliseerbare vaardigheden in RL, waarbij het de fundamentele spanning tussen het verkennen van de wereld en het leren van onderscheidende gedragingen oplost.