Technische Samenvatting: Overdraagbare Versterkende Leer via Probabilistische Latente Embeddings en Dynamische Beleid Aanpassing voor Sim-naar-Real Implementatie

1. Probleemstelling

Diepe versterkende leer (RL) agenten voor cyber-fysieke systemen (bijv. autonome voertuigen, robotica) worden doorgaans getraind in simulatoren vanwege de hoge kosten en veiligheidsrisico's van exploratie in de echte wereld. Het implementeren van deze agenten in echte omgevingen leidt echter vaak tot prestatiedegradatie en veiligheidschendingen veroorzaakt door de Sim-naar-Real (Sim2Real) kloof—de onvermijdelijke mismatch tussen gesimuleerde en real-world dynamiek.

Bestaande benaderingen staan voor aanzienlijke afwegingen:

• Domeinrandomisatie: Verbeterd robuustheid maar mist expliciete veiligheidsgaranties en kan leiden tot onstabiele training.
• Distributief Robuuste/Risicogevoelige RL: Formuleert overdracht als een worst-case optimalisatie, wat de betrouwbaarheid onder ernstige distributieveranderingen verbetert, maar vaak resulteert in te conservatieve beleidslijnen en verminderde taakprestaties.
• Meta-RL/Domeinadaptatie: Probeert latente contexten af te leiden maar gaat vaak uit van vaste risicopreferenties, zonder mechanismen om de afweging tussen veiligheid en prestaties tijdens implementatie dynamisch te reguleren.

De kernuitdaging die wordt aangepakt, is het ontwikkelen van een overdraagbare RL-agent die volledig in simulatie wordt getraind, maar toch adaptief en veilig blijft tijdens implementatie in de echte wereld, specifiek door niet-gemodelleerde systeemdynamiek te hanteren zonder efficiëntie op te offeren.

2. Methodologie

De auteurs stellen een unificerend raamwerk voor dat Probabilistische Latente Context Embeddings integreert met Distributieve Versterkende Leer (Distributional RL) binnen een Beperkt Markov Beslissingsproces (CMDP) formulering.

2.1. Aanpassing van Latente Contextvariabelen

Het raamwerk modelleert de omgeving als een familie van CMDP's geïndexeerd door een omgevingsparameter $\xi$. Om de kloof te overbruggen, wordt een latente contextvariabele $z$ geïntroduceerd om opvallende omgevings-specifieke informatie te coderen.

• Encoder: Een inferentienetwerk $q_\phi(z|D_\xi)$ wordt getraind om $z$ te schatten uit een contextset $D_\xi$ (transitie-steekproeven). De encoder wordt geoptimaliseerd met behulp van een variatie-ondergrens die beloning- en kosten-critici omvat, samen met een informatie-flesnek (KL-divergentie) om overfitting te voorkomen.
• Inferentie: Tijdens implementatie verzamelt de agent een beperkt aantal interacties in de echte wereld ($N_{real}$) om de schatting van de latente context $\hat{z}_{\xi^*}$ te verfijnen, waardoor het beleid zijn acties kan conditioneren op de afgeleide omgevingsstatus.

2.2. Formulering van Distributieve RL

Het raamwerk maakt gebruik van Implicit Quantile Networks (IQN) om de volledige distributie van returns (beloningen en kosten) te modelleren in plaats van alleen hun verwachtingen.

• Critic: De critic leert quantile-functies $Z(s, a, z; \tau)$ voor de beloning en de kosten.
• Actor: Een deterministische actor $\pi_\phi(s, z)$ wordt getraind met een risiconeutrale doelstelling gebaseerd op de verwachting van de IQN-critici.

2.3. Dynamische Risicogevoelige Beleid Aanpassing

Een belangrijke innovatie is het vermogen om het risiconiveau van het geïmplementeerde beleid dynamisch aan te passen op basis van de nauwkeurigheid van de schatting van de latente context.

• Risiconeutraal vs. Risicogevoelig: Waar het trainingsbeleid risiconeutraal is, kan het implementatiebeleid worden aangepast om risicogevoelig te zijn door de kosten-critic te evalueren met behulp van bovenstaande quantiles $U([\eta, 1])$ in plaats van het volledige bereik $U([0, 1])$.
• Dynamisch $\eta$: De quantile-parameter $\eta$ wordt dynamisch aangepast tijdens implementatie.
  • Vroege Fase: Wanneer $N_{real}$ klein is en de schattingsfout $\epsilon(N_{real})$ hoog, wordt een hogere $\eta$ (conservatiever) gebruikt om veiligheidsmarges te waarborgen.
  • Latere Fase: Naarmate meer context wordt verzameld en $\hat{z}$ nauwkeuriger wordt, wordt $\eta$ geleidelijk verlaagd, waardoor het beleid minder conservatief en efficiënter wordt, en uiteindelijk de risiconeutrale beleidslijn benadert.
• Actie-Verfijning: Een lichtgewicht, online geprojecteerde gradiënt-verfijning wordt toegepast op de nominale actie om aan de risicobewuste kostenbeperking te voldoen zonder netwerkparameters bij te werken.

2.4. Theoretische Garanties

Het artikel biedt theoretische bewijzen voor:

• Convergentie: De latente-geconditioneerde distributieve Bellman-operatoren behouden de contractie-eigenschap, wat trainingsstabiliteit waarborgt.
• Veiligheidsoergrens: Een stelling stelt dat de kosten van het geïmplementeerde beleid begrensd zijn door $d + L_c \epsilon(N_{real})$, waarbij $d$ de veiligheidsdrempel is en $\epsilon$ de schattingsfout.
• Conditionele Veiligheid: Het wordt bewezen dat als de kostenreductie bereikt door het risicogevoelige beleid ($\Delta c$) de door fouten veroorzaakte kostenstijging ($L_c \epsilon$) overtreft, aan de veiligheidsbeperking wordt voldaan.
• Existentie van Veilige Quantile: De auteurs bewijzen dat er een haalbare quantile $\eta$ bestaat die veiligheid garandeert zodra een voldoende aantal context-steekproeven ($N_{real} > N_{min}$) is verzameld.

3. Belangrijkste Bijdragen

1. Unificerend Veilig en Adaptief Raamwerk: Een op CMDP gebaseerd raamwerk dat probabilistische latente contextaanpassing integreert met distributieve RL, wat veilige en adaptieve beleidsoverdracht mogelijk maakt onder Sim2Real-mismatch.
2. Risicoregulatie op Inferentietijd: Een mechanisme om het risiconiveau van het geïmplementeerde beleid op inferentietijd dynamisch aan te passen op basis van de nauwkeurigheid van de schatting van de latente context, waarbij veiligheid en prestaties in evenwicht worden gebracht.
3. Theoretische Veiligheidsgaranties: Bewijzen met betrekking tot trainingsconvergentie, de voordelen van latente contextaanpassing, en gewaarborgde veiligheid onder de Sim2Real-kloof via een afgeleide veiligheidsoergrens.

4. Experimentele Resultaten

De methode werd geëvalueerd op twee taken: POINTGOAL2 (OpenAI Safety Gym) en een Autonoom Rijden taak (reductie van voertuigplato-oscillaties).

• Prestatievergelijking:
  • Baselines: Vergelijken met Nominaal (geen randomisatie), Domeinrandomisatie (D.R.), SPiDR (bewijsbaar pessimistische veiligheid) en Robuuste RL.
  • Resultaten: Tijdens implementatie behaalden Nominaal, D.R. en Robuuste RL hoge beloningen maar leden aan ernstige kostenchendingen (veiligheidsschendingen). SPiDR en de voorgestelde methode behielden veiligheid, maar SPiDR was te conservatief, wat leidde tot lagere beloningen.
  • Voorgestelde Methode: Bereikte een superieure beloning-kostenafweging, waarbij de kosten onder de veiligheidsdrempel bleven terwijl hogere beloningen werden behaald dan SPiDR. Bij de taak autonoom rijden reduceerde het ook aanzienlijk verkeersoscillaties (O.R.), schokken en brandstofverbruik in vergelijking met baselines controllers.
• Dynamische Aanpassing: Experimenten toonden aan dat de module voor dynamische risicogevoelige aanpassing de kosten gedurende de hele implementatie onder de drempel hield. De risicoparameter $\eta$ ging over van conservatief naar minder conservatief naarmate meer real-world context werd verzameld.
• OOD-Gevoeligheid: De methode behield consistent veiligheid over Mild, Medium en High Out-of-Distribution (OOD) niveaus, terwijl andere methoden faalden bij hogere OOD-verschuivingen.
• Ablatiestudie: Het verwijderen van de risicoadaptatiemodule resulteerde in kostenchendingen, wat de noodzaak van dynamische risicoregulatie bevestigt. De latente encoder alleen verbeterde de prestaties ten opzichte van de nominale baseline, maar garandeerde geen veiligheid zonder de risicoadaptatie.

5. Betekenis en Claims

Het artikel claimt dat dit raamwerk de kritieke beperking van bestaande Sim2Real-methoden aanpakt die ofwel efficiëntie opofferen voor robuustheid ofwel falen om veiligheid te garanderen bij het tegenkomen van niet-gemodelleerde dynamiek. Door expliciet de onzekerheid van de omgevingscontext te modelleren en risico dynamisch te reguleren, maakt de aanpak veilige opstart mogelijk in het vroege implementatiestadium (wanneer context schaars is) en efficiënte werking zodra de agent zich heeft aangepast.

De auteurs positioneren dit werk als een stap richting het implementeren van RL in veiligheidskritieke cyber-fysieke systemen waar directe training niet haalbaar is. Zij merken op dat hoewel het huidige werk zich richt op vaste maar onbekende omgevingen, toekomstige richtingen het hanteren van continu veranderende omgevingen (bijv. plotselinge weersveranderingen) via veranderingdetectiemechanismen kunnen omvatten. Het raamwerk wordt ook opgemerkt als potentieel aanpasbaar aan offline RL-contexten, hoewel datalimieten in real-world offline settings uitdagingen vormen voor nauwkeurige context- en distributieschatting.