Technische Samenvatting: Aanpassingssnelheid als een Veiligheidsrestrictie voor Nietstationaire Reinforcement Learning

1. Probleemstelling

Reinforcement learning (RL) heeft succes behaald in sequentiële besluitvorming, maar vertrouwt vaak op de aanname van stationaire omgevingen. Realistische toepassingen, zoals autonoom rijden, kampen met inherente nietstationariteit waarbij verkeerspatronen, gedrag van agenten en sensorgegevens in de loop van de tijd verschuiven. Hoewel bestaande veilige RL-methoden (bijv. Constrained MDPs, shielding) veiligheid aanpakken in stationaire settings, houden zij doorgaans geen rekening met de rate of adaptation (aanpassingssnelheid) die vereist is wanneer de omgeving verandert.

Het kernprobleem dat wordt geïdentificeerd, is dat een beleid dat veilig is onder vorige dynamieken, direct na een distributieverschuiving onveilig kan worden—niet omdat de nieuwe omgeving inherent gevaarlijk is, maar omdat de vereiste aanpassing om veilig te blijven de leercapaciteit van het systeem overstijgt binnen de noodzakelijke tijdshorizon. Tijdens deze transitiefase voert de agent acties uit die suboptimaal of onveilig zijn onder de nieuwe condities. Huidige methoden reageren vaak op schendingen nadat ze hebben plaatsgevonden of richten zich op langetermijnprestatieherstel, waarbij ze het kritieke venster waarin de haalbaarheid van aanpassing de directe veiligheid bepaalt, verwaarlozen.

2. Methodologie: ASASC-NS

De auteurs stellen Adjustment Speed as a Safety Constraint in Nonstationary Reinforcement Learning (ASASC-NS) voor. Dit framework behandelt veiligheid niet als een statische eigenschap van toestanden, maar als een functie van adaptatie-haalbaarheid: of het systeem kan adapteren aan voorspelde veranderingen binnen een gekalibreerde herstelenvelope.

2.1 Kerncomponenten

De methode werkt op een context-afhankelijke MDP $M_\kappa = (S, A, P_\kappa, r_\kappa, c_\kappa, \gamma)$, waarbij een latente context $\kappa$ de dynamiek en veiligheidskosten beheerst.

1. Contextextractie en Voorspelling:

   • Een context-encoder $f_\theta$ brengt een glijdend venster van recente transities $h_t$ in kaart naar een latente contextschatting $\hat{\kappa}_t$.
   • Een voorspeller $g_\phi$ voorspelt de context $\hat{\kappa}_{t+\Delta}$ over een vaste korte horizon $\Delta$ (bijv. 10 stappen).

2. Adaptatievraag en -capaciteit:

   • Adaptatievraag ($A_t$): Gedefinieerd als de grootte van de voorspelde contextverplaatsing: $A_t = \|\hat{\kappa}_{t+\Delta} - \hat{\kappa}_t\|_2$. Dit meet de vereiste verschuiving in de geleerde contextruimte.
   • Adaptatiecapaciteit ($C_{adapt}$): Een empirisch gekalibreerde drempel die de maximale contextverplaatsing vertegenwoordigt waar de agent veilig van kan herstellen binnen een herstelhorizon $H_{rec}$ terwijl een doelstelling voor de schendingsratio $\eta$ wordt gehandhaafd. Het wordt gedefinieerd als een conservatief kwantiel van de geobserveerde post-shift verplaatsingen tijdens de training.

3. Haalbaarheidsratio:

   • Het systeem berekent een ratio $\rho_t = A_t / (C_{adapt} + \epsilon)$.
   • $\rho_t \le 1$: De voorspelde verandering ligt binnen de veilige herstelenvelope.
   • $\rho_t > 1$: De voorspelde adaptatievraag overstijgt de haalbare adaptatiecapaciteit van het systeem.

2.2 Proactieve Interventiemechanismen

Wanneer $\rho_t > 1$, activeert het framework twee soorten interventies om het gedrag proactief te reguleren:

• Optimalisatie-niveau Aanpassing: De temporal-difference target in het leeralgoritme (bijv. DQN) wordt aangepast met een context-afhankelijke veiligheidsstraf. De beloning wordt $r^{AS}_t = r_t - \beta^{AS} \max(0, \rho_t - 1) \hat{c}(s_t, a_t; \hat{\kappa}_t)$, wat de agent straft voor acties die bijdragen aan een hoge adaptatievraag of risico tijdens onhaalbare transities.
• Actie-niveau Shielding (Constraint Tightening): De veiligheidsdrempel $\tau$ wordt dynamisch aangescherpt: $\tau^{AS}_t = \tau_0 - \lambda \max(0, \rho_t - 1)$. De toegestane actieset $A_{safe}(s_t)$ wordt beperkt tot acties waarbij de voorspelde veiligheidskosten onder deze aangescherpte drempel liggen. Als de voorgestelde actie van het beleid ontoelaatbaar is, selecteert een shield de actie met het laagste risico die wel toegestaan is, of een conservatieve fallback.

3. Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen:

1. Conceptuele Verschuiving: Het introduceert aanpassingssnelheid als een veiligheidsrestrictie, waarbij veiligheid onder nietstationariteit wordt geformaliseerd in termen van adaptatie-haalbaarheid. Veiligheid wordt gedefinieerd door of voorspelde omgevingsveranderingen binnen de gekalibreerde veilige herstelenvelope blijven.
2. Proactief Framework (ASASC-NS): Een nieuw framework dat contextrepresentatie, contextvoorspelling, adaptatievraag-estimatie en actie-niveau shielding combineert om te anticiperen op regimes waarin veilige adaptatie onhaalbaar is.
3. Theoretische Karakterisering: Een conditionele karakterisering van de relatie tussen voorspelde contextverschuivingen, gekalibreerde herstelcapaciteit en schendingsrisico, waarbij onderscheid wordt gemaakt tussen neurale plasticiteit en operationele herstel-drempels.
4. Empirische Validatie: Demonstratie van verminderde veiligheidsschendingen in korte-horizon vensters die samenvallen met contextwijzigingen, inclus met ablatie-studies die de onderscheidende rollen van optimalisatie-niveau aanpassing versus actie-niveau shielding verduidelijken.

4. Experimentele Resultaten

De methode werd geëvalueerd in een nietstationaire rijmgeving (merge-v0 uit highway-env) met frequente regime-wisselingen (verkeersdichtheid, snelheid, agressiviteit).

• Opzet: De omgeving wisselt van context met waarschijnlijkheid $p_{stay} = 0.5$. De agent gebruikt een DQN-architectuur.
• Metrieken:
  • EarlyViol: Schendingspercentage in het onmiddellijke venster na een switch.
  • PeakRisk: Maximale rollende schendingsratio (vangt pieken in risico op).
  • TailViol: Schendingspercentage in een langere horizon na de switch.
• Bevindingen:
  • De Full method (combinatie van optimalisatie-aanpassing en shielding) behaalde de laagste EarlyViol, wat wijst op superieure veiligheid tijdens de onmiddellijke adaptatiefase.
  • De Shield-only variant behaalde de laagste PeakRisk en TailViol, wat suggereert dat shielding effectiever is voor het onderdrukken van piekrisico's en langetermijnstaart-schendingen in deze specifieke implementatie.
  • De Adj-only variant verbeterde de vroege veiligheid, maar was minder effectief in het onderdrukken van piekrisico's vergeleken met shielding.
  • Time-Since-Switch Analyse: De volledige methode vertoonde een verminderde kans op schendingen specifiek in de korte-horizon vensters volgend op een context-switch, wat de capaciteit van het mechanisme bevestigt om proactief restricties aan te scherpen wanneer adaptatie voorspeld wordt als onhaalbaar.

5. Betekenis en Claims

Het artikel betoogt dat veiligheid onder nietstationariteit fundamenteel afhangt van adaptatie-haalbaarheid. De auteurs beweren dat wanneer de voorspelde omgevingsverandering sneller verloopt dan het leersysteem veilig kan adapteren, proactieve veiligheidsinterventie noodzakelijk is om transiënte onveilige gedragingen te voorkomen.

• Bescheiden Omvang: De auteurs stellen expliciet dat $C_{adapt}$ een operationele herstel-drempel is, en geen volledige maatstaf voor neurale plasticiteit of parameter-niveau adaptiviteit. Het werk beoogt niet het karakteriseren van catastrofaal vergeten of de interne mechanica van plasticiteitsverlies.
• Primaire Bijdrage: De betekenis ligt in de verschuiving van de focus van statische veiligheidsspecificaties naar haalbare veilige adaptatie. Het framework biedt een operationeel criterium om te bepalen wanneer een omgeving te snel verandert voor de agent om veilig te adapteren, wat sterkere interventies (shielding, restrictie-aanscherping) triggert voordat schendingen optreden.
• Beperkingen: De evaluatie richt zich op veiligheidsdiagnostiek die door het mechanisme wordt beoogd. De auteurs merken op dat bredere analyse van taak-rendement en evaluaties in meer diverse omgevingen richtingen zijn voor toekomstig werk. De resultaten suggereren dat hoewel de gecombineerde methode de veiligheid in de vroege fase verbetert, de shielding-component alleen in bepaalde configuraties conservatiever kan zijn voor het onderdrukken van piek- en staartrisico's.