Shaping Sparse Rewards in Reinforcement Learning: A Semi-supervised Approach

Technische Samenvatting: Vormgeven van Sparselijke Beloningen in Versterkend Leren: Een Semi-supervisie Benadering

Probleemstelling
Versterkend Leren (RL) staat voor een fundamentele uitdaging in real-world scenario's waar beloningssignalen uiterst spaarzaam zijn. In dergelijke omgevingen ontvangen agenten minimaal directe feedback, wat leidt tot een hoge variantie in opbrengsten en moeilijkheden bij het leren van optimale beleidsregels. Hoewel beloningsvormgeving en verdichting gebruikelijke oplossingen zijn, lijden ze vaak onder "beloning-hacking", waarbij agenten gedragingen leren die afwijken van het beoogde ontwerp om kunstmatige beloningen te maximaliseren. Omgekeerd lijden op supervisie gebaseerde methoden voor beloningsvormgeving, die vertrouwen op demonstraties van niet-experts, onder een slechte steekproefefficiëntie wanneer transities met een niet-nul beloning extreem zeldzaam zijn. Bestaande benaderingen worstelen om effectief gebruik te maken van de overgrote meerderheid van transities die een nul-beloning opleveren.

Methodologie: Semi-supervisie Beloningsvormgeving (SSRS)
De auteurs stellen het Semi-supervisie Beloningsvormgeving (SSRS)-kader voor, dat deze kloof overbrugt door technieken voor Semi-supervisie Leren (SSL) te benutten. De kernidee is beloningsvormgeving niet alleen toe te passen op de schaarse transities met een niet-nul beloning, maar ook op de overvloedige transities met een nul-beloning, door representaties van de trajectruimte te leren.

Het kader werkt via de volgende kerncomponenten:

1. Beloningsschatting als Classificatie: Het probleem van beloningsvormgeving wordt geformuleerd als een classificatietask. Het systeem leert een beloningswaarde toe te wijzen uit een discrete verzameling $Z$ (bevat waargenomen niet-nul beloningen en nul) aan state-action paren. De beloningsschatter bestaat uit twee neurale netwerken:

   • $R_V(s)$: Een state-value beloningsverdelingsfunctie die een state afbeeldt op een kansverdeling over $Z$.
   • $R_Q(s, a)$: Een state-action value beloningsverdelingsfunctie die een state-action paar afbeeldt op een kansverdeling over $Z$.
     De uiteindelijke vector met betrouwbaarheidsscores $q_t$ voor een transitie is een gewogen combinatie van deze twee verdelingen.

2. Semi-supervisie Optimalisatie: Het kader wisselt beleidsupdates en optimalisatie van de beloningsschatter af.

   • Supervisie Verlies ($L_r$): Voor transities met bekende niet-nul beloningen wordt de schatter getraind om de discrepantie tussen zijn voorspellingen en de grondwahrheid te minimaliseren met behulp van een gethresholdde cross-entropy loss.
   • Consistentie Regularisatie ($L_s$): Voor transities met een nul-beloning past het model consistentie regularisatie toe. Het past zwakke en sterke data-augmentaties toe op de invoertransities. Het model wordt geoptimaliseerd om consistente voorspellingen te produceren tussen de zwak versterkte en sterk versterkte versies, mits de betrouwbaarheid een drempel $\lambda$ overschrijdt. Dit maakt gebruik van de niet-gelabelde data met nul-beloning om de beloningsfunctie te verfijnen.

3. Entropie Augmentatie: Een nieuwe techniek voor data-augmentatie wordt geïntroduceerd, specifiek voor niet-afbeeldingstaken. In tegenstelling tot traditionele afbeeldingsaugmentaties (zoals cutout, rotatie), die de gladheidsaannames in de trajectruimte kunnen schenden, maakt deze methode gebruik van Shannon-entropie. Het berekent de entropie van de state-matrix en gebruikt deze om de state-representatie te verstoren. Dit behoudt de gladheids- en clusteringaannames die nodig zijn voor SSL om effectief te zijn in de trajectruimte.

4. Monotonie Constraint: Om training te stabiliseren en de representatie van actie-voordelen te verbeteren, wordt een constraint geïntroduceerd. Het straft gevallen af waar de geschatte meerwaarde (het verschil tussen $R_Q(s, a)$ en $R_V(s)$) negatief is, zodat de meerwaarde-functie relatieve verbeteringen boven de state-baseline vastlegt.

Belangrijkste Bijdragen

• SSRS Kader: Een nieuw kader dat SSL integreert in RL, waardoor beloningsvormgeving mogelijk wordt op zowel niet-nul als nul-beloning transities om de steekproefefficiëntie in omgevingen met spaarzame beloningen te verbeteren.
• Entropie Augmentatie: Het voorstellen van een op entropie gebaseerde methode voor data-verstoring, op maat gemaakt voor trajectruimten, die traditionele augmentatiemethoden overtreft in taken met niet-visuele observaties.
• Empirische Validatie van SSL in RL: Het artikel onderzoekt empirisch de voorwaarden waaronder SSL effectief is in RL, en toont aan dat trajectruimten voldoen aan de milde aannames (gladheid en clustering) die noodzakelijk zijn voor SSL-methodologieën.
• Monotonie Constraint: De introductie van een constraint om de relatie tussen state-value en state-action-value schatters te reguleren, wat de stabiliteit van training verbetert.

Experimentele Resultaten
Het SSRS-kader werd geëvalueerd in Atari-omgevingen met spaarzame beloningen (zoals Montezuma's Revenge, Seaquest, Venture) en robotische manipulatietaak (FetchReach).

• Prestaties vs. Baselines: SSRS presteerde consequent beter dan op supervisie gebaseerde benaderingen (RCP, SORS) en standaard RL-baselines. In sterk spaarzame omgevingen zoals Montezuma's Revenge bereikte SSRS piekscores tot twee keer zo hoog als die van supervisie-baselines.
• Eficciëntie van Augmentatie: De voorgestelde entropie-augmentatie resulteerde in een 15,8% stijging in de beste score vergeleken met andere augmentatiemethoden (zoals cutout, smooth, translatie).
• Ablatie Studies: Experimenten bevestigden het belang van de monotonie-constraint, waarbij bleek dat SSRS met deze constraint (SSRS-ST) in de meeste geteste omgevingen hogere beste scores behaalde dan zonder (SSRS-NST).
• Robuustheid Hyperparameters: De studie analyseerde hyperparameters zoals de update-kans ($p_u$), betrouwbaarheidsthereshold ($\lambda$) en consistentie-coëfficiënt ($\beta$). Resultaten gaven aan dat de prestaties pieken wanneer de betrouwbaarheidsthereshold tussen 0,8 en 0,9 ligt, en dat de consistentie-coëfficiënt een minimaal effect heeft op de uiteindelijke resultaten maar wel de trainingsdynamiek beïnvloedt.

Betekenis en Claims
Het artikel claimt dat door beloningsvormgeving te behandelen als een semi-supervisie classificatieprobleem, agenten effectief kunnen leren van de meerderheid van transities met een nul-beloning, die doorgaans worden weggegooid of onderbenut. De auteurs betogen dat de trajectruimte in RL voldoet aan de noodzakelijke aannames voor SSL (clustering en gladheid), waardoor het model betrouwbare beloningssignalen kan afleiden voor transities met een nul-beloning. De introductie van entropie-augmentatie wordt benadrukt als een cruciale innovatie die SSL-verstorings technieken aanpast aan de specifieke aard van RL-observaties, waardoor de valkuilen van het toepassen van op afbeeldingen gerichte augmentaties op niet-visuele data worden vermeden. Uiteindelijk toont het werk aan dat SSL de effectiviteit van beloningsvormgeving aanzienlijk kan verbeteren, wat leidt tot hogere scores voor agenten in uitdagende domeinen met spaarzame beloningen.