Technische Samenvatting: Offline Beperkte Versterkende Leer onder Gedeeltelijke Data-coverage

Probleemstelling

Het artikel behandelt Offline Beperkte Versterkende Leer (Offline Beperkte RL) binnen het raamwerk van afgepaste Beperkte Markov Beslissingsprocessen (CMDP's). Het doel is om een beleid te leren vanuit een vast, offline dataset dat een primaire beloningssignal maximaliseert terwijl meerdere aanvullende veiligheids- of hulpbronbeperkingen worden nageleefd.

Een centrale uitdaging in deze setting is gedeeltelijke data-coverage. Betrouwbare optimalisatie vereist doorgaans dat de dataset de bezettingsgraad van de te evalueren beleidsregels (state-action occupancy) dekt. In ongebeperkte offline RL hebben pessimistische actor-critic-methoden succes getoond onder onvoldoende coverage. Echter, in de beperkte setting ondervinden primal-dual methoden een specifieke belemmering: het updaten van duale multipliers vereist het schatten van beperkingsovertredingen voor tussentijdse beleidsregels. Onder gedeeltelijke coverage worden deze tussentijdse beleidsregels mogelijk niet ondersteund door de dataset, waardoor duale updates onbetrouwbaar worden en effectief sterke coverage-eisen opnieuw worden geïntroduceerd.

Bovendien vertrouwen bestaande methoden vaak op beleidsextractie-stappen die kennis vereisen van de onbekende datagenererende verdeling ($\mu_D$) of een referentiebeleid, wat in real-world scenario's onpraktisch is.

Methodologie: PDOCRL

De auteurs stellen PDOCRL (Primal-Dual Oracle-Efficient Constrained Reinforcement Learning) voor, een algoritme dat is ontworpen om oracle-efficiënt te zijn, sample-efficiënt onder gedeeltelijke coverage, en onafhankelijk van de datagenererende verdeling.

1. Gedecomponeerde Lineaire Programmering Formulering

Standaard LP-formuleringen voor CMDP's optimaliseren over bezettingsmaten ($\mu$). Het herwinnen van een beleid uit $\mu$ vereist doorgaans normalisatie via de dataverdeling $\mu_D$, wat onbekend is. Om dit te omzeilen, passen de auteurs een Lagrange-decompositie toe:

• Zij introduceren een kopie-variabele $\nu$ voor de bezettingsmaat $\mu$.
• Zij scheiden de rollen: $\mu$ wordt gebruikt voor Lagrange-schatting (via verandering van maat naar de dataverdeling), terwijl $\nu$ wordt gebruikt voor beleidsextractie.
• Cruciaal is dat zij $\nu$ herparametreren in termen van de bezettingsmaat $\mu$ en het beleid $\pi$ direct: $\nu_{\mu, \pi}(s, a) = \pi(a|s)((1-\gamma)d_0(s) + \gamma[P^\top \mu](s))$.
• Dit maakt het beleid $\pi$ een expliciete optimalisatievariabele, waardoor de noodzaak voor een aparte beleidsextractiestap die afhankelijk is van $\mu_D$ wordt geëlimineerd.

2. Omgaan met Spurious Zadelpunten

De auteurs identificeren dat beperkte zadelpunt-formuleringen met algemene functiebenadering spurious zadelpunten kunnen toelaten. Zelfs als de functieklassen het optimale beleid, zijn bezettingsmaat en optimale actie-waardefuncties bevatten, komt een zadelpunt van de beperkte Lagrangiaan mogelijk niet overeen met een optimaal beleid.

Om dit op te lossen, leggen zij twee belangrijke voorwaarden op:

• Slater's Voorwaarde (Aanname B): Zorgt voor het bestaan van een haalbaar beleid dat beperkingen met een positieve marge $\phi$ naleeft. Dit begrenst de optimale duale variabelen.
• All-Policy Waardefunctie Realiseerbaarheid (Aanname C): Een sterke realiseerbaarheidsvoorwaarde die vereist dat voor elk beleid $\pi$ in de klasse, de waardefuncties $Q^\pi_0$ en $Q^\pi_0 + (1 + 1/\phi)Q^\pi_i$ binnen de functieklass $\mathcal{Q}$ zijn opgenomen. Dit is sterker dan single-policy realiseerbaarheid, maar noodzakelijk om spurious zadelpunten in de gedecomponeerde formulering uit te sluiten.

3. Oracle-Efficiënt Primal-Dual Algoritme

PDOCRL lost het empirische zadelpunt-probleem op met behulp van standaard orakels, waardoor onbehandelbare min-max optimalisatie wordt vermeden:

• Primaire Spelers:
  • Dichtheidsratio ($w$): Gebruikt een no-regret online lineaire optimalisatie-orakel ($\mathcal{O}_{LOW}$) over de functieklass $\mathcal{W}$.
  • Beleid ($\pi$): Gebruikt een no-regret beleidsoptimalisatie-orakel ($\mathcal{P}_{O\Pi,\mathcal{Q}}$) over de beleidsklass $\Pi$.
• Duale Spelers:
  • Q-functie ($Q$): Gebruikt een lineaire minimalisatie-orakel ($\mathcal{LMO}_{\mathcal{Q}}$) over $\mathcal{Q}$.
  • Lagrange Multipliers ($\lambda$): Gebruikt een lineaire minimalisatie-orakel ($\mathcal{LMO}_{B\Delta_I}$) over de duale grens.

Het algoritme itereren $T$ keer, update deze variabelen en retourneert een beleid dat uniform wordt bemonsterd uit de reeks $\pi_1, \dots, \pi_T$.

Belangrijkste Bijdragen

1. Algoritme Ontwerp: PDOCRL is de eerste methode die gelijktijdig garanties voor gedeeltelijke coverage, oracle-efficiëntie en onafhankelijkheid van de datagenererende verdeling ($\mu_D$) bereikt in offline beperkte RL met algemene functiebenadering.
2. Theoretisch Inzicht in Zadelpunten: Het artikel demonstreert dat naïeve beperkte zadelvormuleringen kunnen falen door spurious zadelpunten en identificeert een sterkere all-policy realiseerbaarheidsvoorwaarde waaronder elk beperkt zadelpunt optimaal is.
3. Decompositietechniek: Door de bezettingsmaat te herparametreren om het beleid tot een expliciete variabele te maken, vermijdt de methode de statistische fragiliteit van het extraheren van beleidsregels uit dichtheidsratio's wanneer $\mu_D$ onbekend is.
4. Sample Complexiteit: Onder de gestelde aannames retourneert PDOCRL een bijna-optimale en bijna-haalbaar beleid met een sample complexiteit van $\tilde{O}(\epsilon^{-2})$.

Experimentele Resultaten

De auteurs hebben PDOCRL geëvalueerd op de BulletGym-benchmark met datasets uit het DSRL-pakket.

• Baselines: Vergelijken met BC-All, BC-Safe, CDT, BCQ-Lag, BEAR-Lag, CPQ en COptiDICE.
• Prestatie: PDOCRL was het enige algoritme dat consistent veiligheidsbeperkingen naleefde (genormaliseerde kosten $\le 1$) over alle taken, terwijl het concurrerende beloningsprestaties behield.
• Ablatiestudie: Een variant van PDOCRL die terugkeert naar de standaard beleidsextractiestap (waarvoor kennis van $\mu_D$ vereist is), presteerde aanzienlijk slechter, wat bevestigt dat de voorgestelde herparametrering cruciaal is voor prestaties in de offline setting.

Betekenis en Claims

Het artikel claimt dat PDOCRL een fundamentele kloof in offline beperkte RL aanpakt: de afweging tussen coverage-eisen, computationele efficiëntie en de noodzaak van kennis van de dataverdeling.

• In tegenstelling tot eerdere actor-critic methoden (bijv. PDCA, WSAC) die volledige coverage of onbehandelbare optimalisatie vereisen, werkt PDOCRL onder gedeeltelijke coverage met oracle-efficiëntie.
• In tegenstelling tot dichtheidsratio-methoden (bijv. COptiDICE, POCC) die vertrouwen op $\mu_D$ voor beleidsextractie, optimaliseert PDOCRL het beleid direct.
• Het werk benadrukt dat hoewel sterke realiseerbaarheidsaannames (all-policy) vereist zijn om optimaliteit te garanderen in aanwezigheid van spurious zadelpunten, dit een noodzakelijke theoretische prijs is voor het bereiken van oracle-efficiëntie en het vermijden van distributie-aannames in de setting van algemene functiebenadering.

De auteurs concluderen dat PDOCRL een bewezen efficiënt raamwerk biedt voor veilig offline leren, hoewel zij opmerken dat het versoepelen van de all-policy realiseerbaarheidsvoorwaarde naar single-policy realiseerbaarheid een richting blijft voor toekomstig werk.