Technische Samenvatting: Reward-free Pretraining voor Reinforcement Learning via Occupancy Coverage Maximization

Probleemstelling

Spaarzame beloningen (sparse rewards) vormen een fundamentele uitdaging voor Reinforcement Learning (RL), waarbij agenten geen informatieve feedback ontvangen totdat een specifieke doelstelling wordt bereikt. Hoewel intrinsieke beloningsmethoden (bijv. nieuwheid, voorspellingsfout, diversiteit van vaardigheden) proberen om supervisie-signalen te injecteren, vertrouwen deze vaak op het vermogen om extrinsieke beloningen te evalueren, ofwel online, ofwel via offline relabeling van opgeslagen transities. Deze aanname faalt in multi-task, meta- en continue RL-settings waar interacties strikt beloningsvrij zijn en de downstream beloningsfunctie niet beschikbaar is totdat de agent daadwerkelijk een taakafhankelijke doelstelling bereikt.

Bestaande beloningsvrije objectieven lijden vaak aan niet-stationariteit. Methoden die optimaliseren voor state marginal matching, voorspellingsfouten of de diversiteit van vaardigheden kunnen diverse toestanden ontdekken tijdens de pretraining, maar slagen er niet in om een beleid (policy) te behouden waarvan de verdisconteerde staatstoestand-occupancy breed verdeeld is. In plaats daarvan concentreert het uiteindelijke beleid zich vaak op kleine regio's of vertoont het oscillerend "expansie-instort"-gedrag, waardoor het geen robuuste initialisatie biedt voor downstream sparse-reward taken.

Methodologie: ROVER

De auteurs stellen ROVER voor (Reward-free pretraining via Occupancy coVERage maximization), een algoritme dat is ontworpen om overdraagbare exploratiebeleid te pre-trainen dat de staatstoestand-coverage maximaliseert zonder een doelverdeling of offline beloningsevaluatie te vereisen.

1. Objectief: Occupancy Coverage Maximization

ROVER formuleert het pretraining-objectief als het minimaliseren van de zelfgelijkenis van de verdisconteerde staatstoestand-occupancy maatstaf $d^\pi$ binnen een Reproducing Kernel Hilbert Space (RKHS).

• Formulering: Het objectief wordt gedefinieerd als $J(\pi) = \|\mu_{d^\pi}\|_H^2$, waarbij $\mu_{d^\pi}$ de kernel mean embedding is van de occupancy maatstaf.
• Theoretische Equivalentie:
  • Het minimaliseren van deze norm is equivalent aan het maximaliseren van de metrische Rényi-entropie van orde 2.
  • In de tabulaire setting met een Dirac-kernel is dit equivalent aan het minimaliseren van de Maximum Mean Discrepancy (MMD) afstand tot een uniforme verdeling, wat effectief uniforme dekking bevordert zonder expliciet een uniforme doelverdeling te definiëren.
  • In geleerde representatieruimtes bevordert het diversiteit in de geïnduceerde geometrie van de representatie.

2. Algoritmische Implementatie

ROVER maakt gebruik van de operatoriale formulering van RL om het objectief berekenbaar en differentieerbaar in gesloten vorm te maken. Het algoritme wisselt tussen dataverzameling en drie stappen:

• Representatie-leren: Een feature map $\phi_\theta$ wordt geleerd van transitiedata met behulp van een contrastieve InfoNCE loss om voorspelde volgende-toestand representaties af te stemmen op de werkelijke volgende toestanden. Dit definieert de geometrie voor het coverage-objectief.
• World Model Estimatie (Transit Operator): Het algoritme schat een lifted transit operator $\hat{T}_n$ met behulp van Kernel Ridge Regression (KRR) op de geleerde representaties. Deze operator brengt state-action features naar volgende-toestand embeddings in gesloten vorm.
• Policy Mirror Descent (PMD): Het beleid wordt bijgewerkt om het objectief $J(\pi)$ te minimaliseren met behulp van Policy Mirror Descent. De gradiënt van het objectief wordt in gesloten vorm afgeleid met behulp van de resolvent van de transit operator, wat efficiënte updates mogelijk maakt zonder sampling-gebaseerde gradiëntschatting.

3. Sink-State Augmentatie

Een cruciaal onderdeel van ROVER is de introductie van een virtuele "sink" staat ($s_{S_\epsilon}$) om regio's in de staatstoestandruimte die niet ondersteund worden door de huidige data te behandelen.

• Mechanisme: De staatstoestandruimte wordt uitgebreid met een absorberende sink staat. De transit operator wordt geschat met behulp van een verschoven ridge probleem dat onverklaarde residuen (voorspellingen voor ongeziene state-action paren) naar deze sink staat routeert in plaats van naar een nulvector.
• Stabilisatie: Dit voorkomt het "expansie-instort" gedrag waarbij een beleid oscilleert tussen het ontdekken van nieuwe regio's en het vergeten van eerder gedekte regio's. De sink staat legt een kost op aan het toewijzen van occupancy aan niet-ondersteunde regio's, wat exploratie balanceert met het behoud van bekende dekking.
• Objectief Decompositie: Het totale objectief deelt zich op in de norm van de occupancy in de oorspronkelijke ruimte plus een strafterm die proportioneel is aan de massa toegewezen aan de sink staat, gecontroleerd door een hyperparameter $\epsilon$.

Belangrijkste Bijdragen

1. Target-Free Formulering: Het artikel formaliseert occupancy coverage als een target-free RKHS-objectief voor reward-free gedrags-transfer, waarbij het verband wordt gelegd tussen MMD matching, Rényi-2 diversiteit en potentiaal-theoretische energie-minimalisatie.
2. Operator-gebaseerde Policy Update: De auteurs leiden een closed-form, operator-gebaseerde policy update af voor het minimaliseren van dit objectief met behulp van een geleerde resolvent world model, waardoor de niet-stationariteit van proxy-gebaseerde methoden wordt vermeden.
3. Sink-State Augmentatie: De introductie van een virtuele sink staat stabiliseert de dekking onder gedeeltelijke data, wat het cyclische expansie-instort gedrag voorkomt en ervoor zorgt dat het beleid de dekking van eerder bezochte regio's behoudt.

Experimentele Resultaten

De auteurs evalueren ROVER in gecontroleerde, volledig observeerbare, sparse-navigatie omgevingen (tabulair en pixel-gebaseerd) die ontworpen zijn om topologische bottlenecks (bijv. Middle-Room, Multi-Rooms, Maze) te isoleren.

• Coverage Efficiëntie: ROVER bereikt volledige staatstoestand-coverage aanzienlijk sneller dan baselines (RND, SMM, APT, MAXENT, CIC) wanneer ze vanaf nul worden getraind.
• Stabiliteit en Transfer: In tegen tegenstelling tot baselines die toestanden tijdelijk kunnen ontdekken maar vervolgens inkorten tot gelokaliseerde occupancy, produceert ROVER beleidsregels met breed verdeelde verdisconteerde occupancy. Dit resulteert in sterkere initialisaties voor downstream model-free RL (DDPG, SAC), waarbij minder samples nodig zijn om doelen te bereiken.
• Offline Transfer: In offline RL settings (CQL, DDPG) ondersteunen de door ROVER gegenereerde replay buffers het downstream leren effectief. Hoewel de distributie verschilt van andere methoden (bijv. CIC produceert meer homogene data, terwijl ROVER een hogere dichtheid behoudt nabij start-states en bottlenecks), is de datastructuur van ROVER bijzonder effectief voor conservatieve algoritmen zoals CQL.
• Robuustheid: De methode vertoont robuustheid tegenover hyperparameters, hoewel extreme waarden voor de sink-state norm $\epsilon$ de exploratie kunnen hinderen.

Betekenis en Claims

Het artikel positioneert ROVER als een principiële stap naar het vestigen van occupancy coverage als een standaard objectief voor reward-free gedrags-transfer.

• Beperkte Omvang: De auteurs geven expliciet aan dat hun studie beperkt is tot discrete actieruimtes en eenvoudige omgevingen om de coverage-objectieven te isoleren en hun gedrag direct te analyseren, in plaats van ROVER direct te presenteren als een volledig schaalbaar exploratie-algoritme voor hoogdimensionele domeinen.
• Kerninzicht: De primaire bijdrage is de demonstratie dat het maximaliseren van occupancy coverage via een stabiele, closed-form operator benadering beleidsregels oplevert die inherent beter geschikt zijn voor downstream sparse-reward transfer dan methoden die geoptimaliseerd zijn voor tijdelijke nieuwheid of de diversiteit van vaardigheden.
• Toekomstige Richtingen: De auteurs identificeren toekomstig werk voor het ontwikkelen van schaalbare representaties voor hoogdimensionele domeinen, benaderde implementaties van de resolvent-objectieven, en uitbreidingen naar continue actieruimtes en partiële observeerbaarheid.