Technische Samenvatting: TCRL voor Robuuste Constrained Reinforcement Learning

Probleemstelling

Constrained Reinforcement Learning (CRL) is cruciaal voor veiligheidskritische domeinen zoals autonoom rijden en robotica, waarbij agenten beloningen moeten maximaliseren terwijl ze zich aan veiligheidsrestricties houden. Bestaande robuuste CRL-methoden vertonen echter aanzienlijke kwetsbaarheden bij implementatie in real-world omgevingen die onderhevig zijn aan adversariële perturbaties. Huidige benaderingen richten zich primair op temporeel-onafhankelijke (single-step) perturbaties, vaak gemodelleerd binnen vaste $\ell_p$-norm ballen. Ze falen bij het adresseren van temporeel-gekoppelde perturbaties, waarbij een aanvaller perturbaties genereert die over de tijd evolueren op basis van de geschiedenis van de agent en de veiligheidskosten.

In worst-case scenario's kunnen aanvallers de veiligheidskosten en beloningsfuncties van de agent leren om perturbaties te genereren die de intensiteit progressief verhogen. Dit zorgt ervoor dat de agent afwijkt van zijn doel, veiligheidsrestricties overtreedt en significante degradatie van de beloning lijdt. Bestaande methoden kampen met twee specifieke uitdagingen:

1. Perceptie: Ze missen mechanismen om kostenrestrictiefuncties in staat te stellen worst-case veiligheidskosten te waarnemen en te schatten onder temporeel-gekoppelde adversariële aanvallen zonder de aanvaller expliciet te modelleren.
2. Defensie: Ze missen effectieve trainingsstrategieën om te verdedigen tegen temporeel-gekoppelde aanvallen op het beloningssignaal, waarbij ze vaak er niet in slagen de onvoorspelbaarheid van de beloning te handhaven of de temporele patronen van de aanvaller te verstoren.

Methodologie: TCRL Framework

De auteurs stellen TCRL (Temporal-Coupled Adversarial Training) voor, een framework ontworink voor het optimaliseren van besluitvormingsbeleid onder worst-case temporeel-gekoppelde perturbaties. Het framework bestaat uit drie kerncomponenten:

1. Temporeel-Gekoppeld Perturbatiemodel

Het artikel definieert een nieuw perturbatie-constraint waarbij de intensiteit van de perturbatie dynamisch is. Een adaptieve constraint-parameter $\bar{\epsilon}_t$ wordt bijgewerkt op basis van de magnitude van de vorige perturbatie ($p_{t-1}$):
$$\bar{\epsilon}_t = \bar{\epsilon}_{t-1} + \alpha \cdot \|p_{t-1}\|$$
Dit stelt de aanvaller in staat om over de tijd heen strategieën met een hogere intensiteit te verkennen, onderworpen aan een beperking op het verschil tussen opeenvolgende perturbaties: $\|p_t - p_{t-1}\| \leq \bar{\epsilon}_t$.

2. Worst-Case Perceived Cost Constraint Function

Om de uitdaging aan te gaan van het schatten van veiligheidskosten zonder expliciete modellering van de aanvaller, introduceert TCRL een Worst-Case Cost Bellman Operator ($\Gamma$).

• Definitie: De operator schat de maximale cumulatieve kosten over een beslissingshorizon onder begrensde observatie-aanvallen voor een beleid $\pi$.
• Implementatie: Een worst-case kostennetwerk ($Q^\pi_\varphi$) wordt getraind met behulp van een gespecialiseerde verliesfunctie die de maximale kosten incorporeert over de verzameling potentiële acties $\Omega(s, \pi)$ die een aanvaller kan induceren via staat-perturbatie.
• Constraint Transformatie: De standaard CRL-constraint ($V^\pi_c \leq \eta$) wordt getransformeerd naar een worst-case constraint: $V^\pi_c \leq C_{threshold}$, waarbij $V^\pi_c$ de geschatte worst-case kostenwaarde is. Dit garandeert veiligheid, zelfs onder de meest ernstige temporeel-gekoppelde aanvallen.

3. Dual-Constraint Reward Defense Mechanism

Om aanvallers tegen te gaan die historische beloningsdata exploiteren om de beloningsfunctie te modelleren, implementeert TCRL twee restricties op het beloningssignaal tijdens de training:

• Temporele Correlatie Constraint: Deze beperkt de autocorrelatie van de beloningssequentie binnen een tijdsvenster $w$. Door een zwakke correlatie-constraint af te dwingen ($C_{corr} \leq \epsilon_{corr}$), verstoort de methode het vermogen van de aanvaller om temporele afhankelijkheden in systeemdynamiek te modelleren. Een gradiëntcorrectiemechanisme wordt gebruikt om de niet-differentieerbaarheid van standaard correlatiecoëfficiënten af te handelen.
• Reward Entropy Stability Constraint: Deze voorkomt abrupte veranderingen in de beloningsdistributie veroorzaakt door perturbaties. Het beperkt de veranderingssnelheid van de beloningsentropie ($H_t$) tussen opeenvolgende tijdstappen ($C_{ent} \leq \epsilon_{ent}$), waardoor de beloningsdistributie vloeiend evolueert en onvoorspelbaar blijft voor de aanvaller.

Het algemene doel wordt geformuleerd met behulp van Lagrangian-relaxatie, waarbij het beleid wordt geoptimaliseerd om verwachte beloningen te maximaliseren terwijl het gelijktijdig voldoet aan de veiligheidskosten-, correlatie- en entropie-constraints.

Belangrijkste Bijdragen

1. TCRL Framework: Een nieuw adversarieel trainingsframework specifiek ontworpen voor robuuste CRL in worst-case temporeel-gekoppelde scenario's.
2. Worst-Case Kosten Schatting: Een kosten-constraint functie die in staat is om direct worst-case veiligheidskosten te schatten onder temporeel-gekoppelde perturbaties zonder expliciete modellering van de aanvaller, vergezeld van een op maat gemaakte verliesfunctie voor robuuste training.
3. Dual-Constraint Defense: Een beloningsgebaseerd defensiemechanisme bestaande uit een temporele correlatie-constraint (om aanvalspatronen te verstoren) en een entropie-stabiliteits-constraint (om de onvoorspelbaarheid van de beloning te bewaren).
4. Empirische Validatie: Uitgebreide experimenten die superieure robuustheid aantonen ten opzichte van bestaande methoden.

Experimentele Resultaten

De auteurs evalueerden TCRL (geïntegreerd met het PPOL-algoritme) over vier continue controle-taken: Ball-Circle, Ball-Run, Car-Circle en Car-Run. De evaluatie omvatte vijf condities: natural (geen aanval), MAD (Maximum Action Difference), MC (Max Cost), Random, en een aangepaste Worst-TC (Worst-Case Temporal-Coupled) aanvaller.

• Veiligheidsprestaties: TCRL behaalde consistent de laagste veiligheidskosten onder Worst-TC aanvallen. Het artikel rapporteert reducties in veiligheidskosten variërend van 559,38% tot 19.077,78% vergeleken met baseline-methoden over de vier taken. Bijvoorbeeld, in de Car-Run taak verminderde TCRL de veiligheidskosten met wel 190,77 keer vergeleken met de baselines.
• Beloningsprestaties: In tegenstelling tot baselines, die aanzienlijke degradatie van de beloning leden onder Worst-TC aanvallen, behield TCRL de beloningswaarden of verhoogde deze zelfs. TCRL verbeterde de beloningswaarden met 11,09% tot 34,76% vergeleken met baselines onder de Worst-TC aanvallen.
• Ablatie Studie: Het verwijderen van de kosten-constraint functie (TCRL-Worstcost) leidde tot een significante toename van de veiligheidskosten, terwijl het verwijderen van de beloningsdefensie-constraints (TCRL-Reward) resulteerde in een substantiële daling van de beloningen, wat de noodzaak van beide componenten bevestigt.

Betekenis en Claims

Het artikel claimt dat TCRL een kritieke kloof in de bestaande literatuur aanpakt door expliciet te modelleren en te verdedigen tegen temporeel-gekoppelde perturbaties, die representatiever zijn voor real-world adversariële scenario's dan single-step aanvallen.

De auteurs stellen dat TCRL agenten in staat stelt om:

• Hoge taakbeloningen te behouden terwijl ze strikt voldoen aan veiligheidsrestricties onder worst-case temporele aanvallen.
• Optimale temporeel-gekoppelde adversariële aanvallen waar te nemen en te verdedigen zonder een specifieke aanvaller te hoeven co-trainen.
• Het vermogen van de aanvaller om de beloningsfunctie te leren te verstoren door middel van temporele correlatie en entropie-constraints.

Dit werk positioneert TCRL als een robuuste oplossing voor de inzet van CRL in veiligheidskritische fysieke omgevingen waar staat-observaties onderhevig zijn aan evoluerende, gecorreleerde adversariële ruis.