Technische Samenvatting: Veilig Reinforcement Learning in Context (SCARED)

1. Probleemformulering

Het artikel adresseert een kritieke kloof in Reinforcement Learning in Context (ICRL). Hoewel ICRL agenten in staat stelt om zich aan te passen aan nieuwe, out-of-distribution (OOD) taken op het moment van testen zonder de parameters van het neurale netwerk bij te werken (in plaats daarvan vertrouwend op een uitbreidende context van interactiegeschiedenis), blijft de veiligheid van dit aanpassingsproces ononderzocht. In real-world implementaties (bijvoorbeeld embodied AI) moeten agenten niet alleen beloningen maximaliseren, maar ook tijdens de verkenning en aanpassingsfasen voldoen aan veiligheidsbeperkingen, niet alleen in het uiteindelijke beleid.

De auteurs formaliseren dit als Veilig ICRL binnen het raamwerk van Constrained Markov Decision Process (CMDP). Het doel is om een beleid $\pi_\theta$ voor te trainen zodat, wanneer dit wordt ingezet op een nieuw CMDP op het moment van testen:

1. De agent de verwachte cumulatieve beloning maximaliseert.
2. De verwachte cumulatieve kosten $G_c(\tau_k)$ voor elke testepisode $k$ onder een door de gebruiker gespecificeerd budget $\delta$ blijven.
3. De agent zich uitsluitend aanpast via de context (interactiegeschiedenis) zonder enige parameterupdates ($\theta$ blijft vast).

De uitdaging ligt in het feit dat bestaande ICRL-methoden geen mechanismen hebben om kostensignalen op te nemen, terwijl bestaande veilige meta-RL-methoden vertrouwen op parameterupdates, wat in strijd is met de "parameter-update-vrije" premisse van ICRL en het risico op catastrofaal vergeten met zich meebrengt.

2. Methodologie: SCARED

De auteurs stellen SCARED (Safe Contextual Adaptive Reinforcement via Exact-penalty Dual) voor, de eerste methode die is ontworpen voor veilige aanpassing in context onder het CMDP-raamwerk.

Kernmechanisme

SCARED maakt gebruik van een online reinforcement pretraining-benadering. In plaats van bestaande veilige RL-algoritmes te distilleren (wat offline data en imitatie vereist), optimaliseert SCARED het netwerk om rendementen te maximaliseren terwijl het veiligheidsbeperkingen respecteert over een verdeling van CMDP's.

Belangrijke technische componenten:

• Contextuele Conditionering: Het beleid $\pi(\cdot | S_t, H_t, G_{c,t})$ conditioneert op de interactiegeschiedenis $H_t$ en de Cost-To-Go (CTG), gedefinieerd als het resterende kostenbudget voor de huidige episode ($G_{c,t} = \delta - \sum_{i=1}^t C_i$). Dit stelt de agent in staat om zijn gedrag aan te passen op basis van hoeveel van het veiligheidsbudget nog over is.
• Exact-Penalty Dual Optimalisatie: Om het geconstrueerde optimalisatieprobleem op te lossen, converteert SCARED het primaire probleem naar een duale vorm. In tegenstelling tot standaard Lagrangiaanse methoden die een multiplier toekennen aan elke episode (wat leidt tot instabiliteit en ongelijke updates), hanteert SCARED een enkele Lagrange-multiplicator $\lambda$ voor alle episodes.
• Gewijzigde Surrogaatdoelfunctie: Om te voorkomen dat episodes die al voldoen aan beperkingen overmatig worden bestraft, introduceren de auteurs een gewijzigde Lagrangiaan met behulp van een positief-deel-operator $[x]_+ = \max\{x, 0\}$:
  $$\mathcal{L}_\Sigma(\pi, \lambda) = \mathbb{E}_\pi \left[ \sum_{k=1}^K G(\tau_k) \right] - \lambda \sum_{k=1}^K [g_k(\pi)]_+$$
  waarbij $g_k(\pi) = \mathbb{E}_\pi[G_c(\tau_k)] - \delta$.
• Iteratieve Updates: De methode hanteert een actor-critic-architectuur (geïmplementeerd met DDPG in de experimenten) met iteratieve updates voor het beleid en de multiplicator:
  $$\lambda_{t+1} = [\lambda_t + \eta \max_k g_k(\pi_{t+1})]_+$$
  Dit updateschema zorgt ervoor dat $\lambda$ alleen toeneemt wanneer beperkingen worden geschonden, waardoor de optimalisatie wordt gestabiliseerd.

Theoretische Garantiën

Het artikel bewijst dat onder standaard regulariteitsaannames (begrensdheid, continuïteit en een nul-dualiteitsgat), de vaste punten van het SCARED-optimalisatieschema exact overeenkomen met de optimale haalbare beleidslijnen van het oorspronkelijke geconstrueerde probleem. Dit zorgt ervoor dat de methode voldoet aan veiligheidsbeperkingen terwijl beloningen worden gemaximaliseerd.

3. Experimentele Opstelling en Benchmarks

Om OOD-generalisatie rigoureus te evalueren, introduceren de auteurs uitdagende benchmarks die verder gaan dan eenvoudige interpolatie:

• SafeDarkRoom & SafeDarkMujoco: Grid-world en continue controle-omgevingen waarbij obstakels en doelen tijdens de pretraining centrum-georiënteerd zijn verdeeld en rand-georiënteerd tijdens het testen. Dit creëert een significante distributieverandering (bewezen via Total Variation Distance en KL-divergentie) die echte extrapolatie vereist.
• SafeVelocity: Een meta-RL-stijl benchmark waarbij doel snelheden tijdens het trainen worden achtergehouden en op het moment van testen worden geëvalueerd.

Basislijnen:

• Safe Algorithm Distillation (Safe AD): Een sterke ICRL-basislijn die offline veilige RL-trajecten imiteert met behulp van een Transformer, geconditioneerd op Return-To-Go (RTG) en CTG.
• Safe Meta-RL: Omvat MAML met penalty en SafeMeta, die zich aanpassen via parameterupdates tijdens de evaluatie.

4. Belangrijkste Resultaten

Over de benchmarks heen toont SCARED superieure prestaties in veilige aanpassing in context:

1. Emergent Veilig Leren: SCARED verbetert consistent de cumulatieve beloning en verlaagt de episodekosten naarmate de interactiegeschiedenis (context) groeit. Het presteert beter dan alle basislijnen in OOD-omgevingen.
   • Safe AD toont concurrerende prestaties in eenvoudigere omgevingen (SafeDarkRoom) maar degradeert in complexe continue domeinen (SafeDarkMujoco, SafeVelocity), waarbij het niet effectief de kosten verlaagt.
   • Safe Meta-RL-methodes slagen er niet in veilig leergedrag te bereiken ondanks parameterupdates, wat suggereert dat parameteradaptatie alleen onvoldoende is zonder interactiegeschiedenis over episodes heen.
2. Budget-geconditioneerde Aanpassing: SCARED reageert actief op het veiligheidsbudget (CTG).
   • Hogere CTG-doelen leiden tot agressievere verkenning en hogere rendementen.
   • Lagere CTG-doelen leiden tot conservatief, veiligheidsgericht gedrag.
   • Basislijnen (Safe AD en Meta-RL) tonen dit consistente budget-aanpassingsgedrag niet; hun prestaties schalen niet adequaat met variërende kostenbudgetten.
3. Ablatie-inzichten:
   • Contextlengte: SCARED profiteert van langere contextsequenties, terwijl de prestaties van Safe AD verslechteren met langere contexten. Dit suggereert dat online leren in deze setting beter omgaat met lange-termijn credit assignment dan offline distillatie.
   • Modelgrootte: SCARED is robuust tegen veranderingen in modelgrootte, terwijl Safe AD hier zeer gevoelig voor is.
   • Datasetgrootte: Safe AD is zeer gevoelig voor datasetgrootte en faalt bij het leren van OOD-taken met beperkte data, terwijl SCARED direct leert uit interactie met de omgeving.

5. Betekenis en Claims

Het artikel claimt het eerste werk te zijn dat de veiligheid van ICRL bestudeert en oplost. De primaire bijdragen zijn:

• Probleemformulering: Het formaliseren van Veilig ICRL als een CMDP-probleem waarbij aanpassing plaatsvindt zonder parameterupdates.
• Methodologie: Het introduceren van SCARED, dat agenten in staat stelt om beloning en veiligheidsbeperkingen in evenwicht te brengen puur via leren in context, met behulp van een exact-penalty dual-benadering om beperkingen stabiel te hanteren.
• Benchmarks: Het leveren van rigoureuze OOD-benchmarks die extrapolatiecapaciteiten testen in plaats van eenvoudige interpolatie.
• Praktische Impact: Het werk adresseert een kritieke barrière voor real-world implementatie van ICRL (bijvoorbeeld in robotica), waar hertraining onpraktisch is en onveilige verkenning tijdens aanpassing onaanvaardbaar is.

De auteurs handhaven een bescheiden toon, waarbij zij erkennen dat hoewel SCARED voldoet aan beperkingen onder het CMDP-raamwerk, het het risico niet elimineert in omgevingen met niet-gemodelleerde gevaren of adversariële omstandigheden, en dat het aangevuld moet worden met menselijk toezicht.