Adaptive Scaling of Policy Constraints for Offline Reinforcement Learning

1. Probleemstelling

Offline Reinforcement Learning (RL) heeft tot doel optimale beleidsplannen te leren uit vaste, vooraf verzamelde datasets zonder verdere interactie met het omgeving. Een primaire uitdaging in deze setting is distributieverandering: het geleerde beleid kan staten en acties bezoeken die niet in de dataset voorkomen, wat leidt tot overschatting van Q-waarden en instorting van het beleid.

Om dit te mitigeren, leggen bestaande methoden beperkingsvoorwaarden op het beleid (bijvoorbeeld in TD3+BC) op om het geleerde beleid dicht bij het gedragsbeleid te houden (Behavior Cloning, BC). Deze methoden vertrouwen echter op een schaalfactor voor beperkingen (aangeduid als $\alpha$) die het RL-doelwit afweegt tegen het BC-doelwit.

• De Kernkwestie: De optimale waarde van $\alpha$ varieert aanzienlijk tussen verschillende taken en datasetkwaliteiten (bijvoorbeeld willekeurige versus expert-data).
• Huidige Beperkingen:
  • Statische Afstelling: State-of-the-art methoden vereisen vaak minutieuze, per-dataset hyperparameterafstelling, wat tijdrovend en onpraktisch is voor implementatie in de echte wereld.
  • Vaste Adaptieve Methoden: Bestaande adaptieve benaderingen herschalen acties vaak alleen lokaal of gebruiken vaste configuraties die het globale compromis niet kunnen vangen, wat resulteert in suboptimale prestaties vergeleken met fijn afgestemde basismethoden.

Het paper adresseert de dringende behoefte aan een methode die robuuste, state-of-the-art prestaties levert over diverse datasets met behulp van één enkele hyperparameterconfiguratie.

2. Methodologie: Adaptieve Schaling van Beperkingsvoorwaarden op het Beleid (ASPC)

ASPC is een tweede-orde differentieerbaar kader dat de schaalfactor voor beperkingen $\alpha$ behandelt als een leerbare parameter, die dynamisch wordt aangepast tijdens training via een bi-niveau optimalisatieproces.

A. Kernkader

De methode bouwt voort op het TD3+BC-doelwit, waarbij het totale verlies $L$ is:
$$L = \alpha L_{RL} + L_{BC}$$
In plaats van $\alpha$ statisch te houden, optimaliseert ASPC deze met behulp van meta-learning principes:

1. Interne Update (Beleidsoptimalisatie):
   De beleidsparameters $\theta$ worden bijgewerkt via gradientenafname om het interne doelwit $L_{inner}$ te minimaliseren voor een vaste $\alpha$.
   $$L_{inner}(\theta; \alpha) = \mathbb{E}[-\lambda(\alpha) Q(s, \pi_\theta(s)) + \|\pi_\theta(s) - a\|^2]$$
   Hier normaliseert $\lambda(\alpha)$ het RL-term op basis van de schaal van het BC-verlies.

2. Externe Update (Schaalfactoroptimalisatie):
   De schaalfactor $\alpha$ wordt bijgewerkt om een extern verlies $L_{outer}$ te minimaliseren, wat zorgt voor stabiele training en prestatieverbetering. Het externe verlies bestaat uit drie gecoördineerde componenten:

   • $L_1$ (Balans Term): Weerspiegelt het standaard TD3+BC-doelwit en stuurt $\alpha$ naar een balans tussen het maximaliseren van Q-waarden en het minimaliseren van BC-verlies.
   • $L_2$ (Q-waarde Stabiliteit): Straft plotselinge toenames in de verwachte Q-waarde ($\Delta Q^2$) af om te voorkomen dat te optimistische updates plaatsvinden.
   • $L_3$ (BC Variatie Beperking): Beperkt de variatie in BC-verlies ($\Delta L_{BC}$). Deze term is cruciaal om te voorkomen dat het beleid te ver afwijkt van het gedragsbeleid wanneer Q-waardefluctuaties hoog zijn.

   De update voor $\alpha$ maakt gebruik van tweede-orde afgeleiden (gradienten van de interne update-parameters met betrekking tot $\alpha$):
   $$\alpha \leftarrow \alpha - \eta_\alpha \frac{\partial L_{outer}(\tilde{\theta}(\alpha))}{\partial \tilde{\theta}} \frac{\partial \tilde{\theta}(\alpha)}{\partial \alpha}$$

B. Theoretische Garanties

De auteurs bieden theoretische analyses die bewijzen dat:

• Wederzijdse Beperkingen: De verandering in BC-verlies ($\Delta L_{BC}$) en de kwadratische verandering in Q-waarden ($(\Delta Q)^2$) beperken elkaar wederzijds.
• Ondergrens Prestaties: Onder specifieke aannames (Lipschitz-stetigheid) garandeert de ASPC-update een niet-afnemende beleidsprestatie ($J(\pi_{t+1}) \geq J(\pi_t)$) als de Q-waarde-toename de variatie in BC-verlies compenseert.
• Convergentie: De methode vermindert progressief de suboptimaliteitskloof, waarbij de resterende kloof wordt gecontroleerd door het verschil tussen het gedragsbeleid en het optimale beleid.

C. Implementatiedetails

• Ruggengraat: Geïmplementeerd bovenop TD3+BC.
• Architectuur: Gebruikt een "Robust Critic" met drie verborgen lagen en LayerNorm om Q-waarde-overschatting te mitigeren.
• Efficiëntie: Hoewel tweede-orde gradienten rekenkundig duur zijn, werkt ASPC $\alpha$ met een veel lagere frequentie ($k_\alpha$) bij dan de actor-updates ($k_\pi$), waardoor de runtime-overhead minimaal blijft.

3. Belangrijkste Bijdragen

1. Nieuw Kader: Introductie van ASPC, de eerste methode om schalen van beleidsbeperkingen dynamisch aan te passen met behulp van tweede-orde differentieerbare optimalisatie, waardoor de noodzaak voor per-dataset hyperparameterafstelling wordt geëlimineerd.
2. Theoretische Analyse: Rigoureuze bewijzen van garanties voor prestatieverbetering en de wederzijdse beperkingsrelatie tussen Q-waarde-stabiliteit en beleidsafwijking.
3. Generaliteit: Aangetoond dat ASPC niet beperkt is tot TD3+BC, maar kan worden geïntegreerd in andere offline RL-algoritmen (IQL, CQL, Diffusion-QL, FQL) om hun prestaties te verbeteren.
4. State-of-the-Art Resultaten: Beter prestaties behaald over 39 datasets in vier D4RL-domeinen (MuJoCo, Maze2d, AntMaze, Adroit) en de OGBench-benchmark met behulp van één enkele hyperparameterinstelling.

4. Experimentele Resultaten

• Benchmarks Prestaties: Op de D4RL-benchmark behaalde ASPC een gemiddelde genormaliseerde score van 77,9, waarmee alle basismethoden werden overtroffen.
  • Het overtrof methoden die per-dataset afstelling vereisen (bijvoorbeeld IQL, ReBRAC) en andere adaptieve methoden (wPC, A2PR).
  • Het toonde een gemiddelde verbetering van 35% ten opzichte van de baseline (TD3+BC met vaste $\alpha$).
• Aanpasbaarheid:
  • Datasetkwaliteit: ASPC verlaagt $\alpha$ automatisch (bevoordelend BC) voor hoogwaardige expert-datasets en verhoogt $\alpha$ (bevoordelend RL-verkenning) voor laagwaardige willekeurige datasets.
  • Taakdynamiek: Het past $\alpha$ aan op basis van taakkenmerken (bijvoorbeeld spaarzame beloningen in AntMaze versus dichte beloningen in MuJoCo).
• Ablatiestudies:
  • Het verwijderen van de dynamische aanpassing (het vastzetten van $\alpha$ op de uiteindelijke geconvergeerde waarde) resulteerde in aanzienlijke prestatiedalingen, wat bewijst dat dynamische aanpassing essentieel is, niet alleen het vinden van een goede vaste waarde.
  • Alle drie de verliescomponenten ($L_1, L_2, L_3$) waren noodzakelijk voor optimale prestaties over verschillende domeinen.
• Efficiëntie: ASPC introduceerde slechts minimale rekenkundige overhead ten opzichte van standaard TD3+BC, met een runtime vergelijkbaar met basismethoden wanneer het update-interval voor $\alpha$ werd ingesteld op 30 stappen.

5. Betekenis

Het paper levert een aanzienlijke bijdrage aan het veld van Offline RL door het probleem van hypergevoeligheid op te lossen.

• Praktijktoepasbaarheid: Het verwijdert de barrière van uitgebreide hyperparameterafstelling, waardoor offline RL meer levensvatbaar wordt voor toepassingen in de echte wereld (bijvoorbeeld gezondheidszorg, robotica) waar datasetkwaliteit varieert en afstelmiddelen beperkt zijn.
• Robuustheid: Door dynamisch balans te houden tussen verkenning (RL) en exploitatie (BC) op basis van real-time trainingssignalen, biedt ASPC een stabielere en betrouwbaardere leerpad dan statische methoden.
• Generaliseerbaarheid: Het vermogen van het kader om diverse algoritmen te versterken (van op waarden gebaseerd tot op diffusie gebaseerd) suggereert een universeel mechanisme voor het stabiliseren van offline beleidsbeperkingen.

Kortom, ASPC vertegenwoordigt een verschuiving van "statische beperkingsafstelling" naar "adaptief beperkingsleren", en biedt een robuuste, hoogpresterende oplossing voor offline reinforcement learning in diverse en uitdagende omgevingen.