🤖 machine learning

Adaptive Probabilistic Shielding by Learning MDPs for Safe Reinforcement Learning

Dit artikel stelt een adaptief probabilistisch afschermingskader voor voor veilig reinforcement learning dat online modeloptimalisatie integreert om veiligheidsrestricties dynamisch te berekenen en bij te werken naarmate overgangskansen worden geschat vanuit een aanvankelijk onbekende MDP.

Oorspronkelijke auteurs: Astrid Horn Brorholt (Aalborg University, Aalborg, Denmark), Maris F. L. Galesloot (Radboud University, Nijmegen, Netherlands), Nils Jansen (Radboud University, Nijmegen, Netherlands), Kim Guldstrand

Gepubliceerd 2026-08-21

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Astrid Horn Brorholt (Aalborg University, Aalborg, Denmark), Maris F. L. Galesloot (Radboud University, Nijmegen, Netherlands), Nils Jansen (Radboud University, Nijmegen, Netherlands), Kim Guldstrand Larsen (Aalborg University, Aalborg, Denmark), Christian Schilling (Aalborg University, Aalborg, Denmark)

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van kunstmatige intelligentie leren machines beslissingen te nemen door dingen uit te proberen, vergelijkbaar met een kind dat leert lopen door te vallen en weer op te staan. Dit proces, bekend als reinforcement learning (versterkend leren), stelt softwareagenten in staat om de beste manier te ontdekken om problemen op te lossen door te interageren met een omgeving en beloningen te ontvangen voor goede keuzes. Echter, in de echte wereld kan de prijs van een verkeerde stap catastrofaal zijn. Een zelfrijdende auto kan het zich niet veroorloven om een gevaarlijke manoeuvre te testen om te zien of deze werkt; een medische robot kan het risico niet lopen een patiënt te verwonden terwijl hij de veiligste route uitzoekt. Dit creëert een fundamentele spanning: om effectief te leren, moet een agent verkennen, maar om veilig te blijven, moet hij het onbekende vermijden. Jarenlang hebben onderzoekers geprobeerd dit op te lossen door een "schild" te bouwen—een veiligheidsbewaker die elke actie die de agent zou kunnen ondernemen en die tot een ramp zou kunnen leiden, blokkeert. Het probleem is dat traditionele schilden een perfect, vooraf bestaand kaart van de wereld vereisen, inclusief exacte waarschijnlijkheden voor elke mogelijke uitkomst. In de rommelige realiteit van de fysieke wereld bestaat een dergelijke perfecte kaart zelden voordat de agent begint te leren.

Een team van onderzoekers heeft een nieuwe manier ontwikkeld om met dit dilemma om te gaan, waarbij ze een systeem hebben gecreëerd waarin het veiligheidsschild leert en zich aanpast samen met de agent. In plaats van te wachten op een perfecte kaart, gaat hun aanpak ervan uit dat de agent de algemene lay-out van de omgeving kent—de mogelijke plaatsen waar hij heen kan gaan en de acties die hij kan ondernemen—maar de exacte kansen niet weet waar die acties toe zullen leiden. Terwijl de agent verkent, verzamelt hij gegevens over wat er daadwerkelijk gebeurt wanneer hij beweegt. Een computerprogramma gebruikt vervolgens deze verse gegevens om een schatting te maken van de regels van de wereld, waarmee de ontbrekende waarschijnlijkheden worden ingevuld. Vanuit deze schatting construeert het systeem een veiligheidsschild. Aanvankelijk, omdat de gegevens schaars zijn, is het schild zeer voorzichtig en blokkeert het veel acties om zeker te zijn. Maar naarmate de agent meer ervaring opdoet, wordt de schatting scherper, neemt de onzekerheid af en laat het schild zijn grip verslappen, waardoor de agent meer efficiënte risico's kan nemen. Dit creëert een partnerschap waarbij de agent en zijn veiligheidsbewaker samen verbeteren, wat ervoor zorgt dat de agent veilig blijft terwijl hij leert hoe hij effectief kan zijn.

De onderzoekers testten dit idee in verschillende gesimuleerde werelden, variërend van een vliegtuig dat een botsing met een ander vliegtuig probeert te vermijden tot een mier die om een roofdier heen navigeert. In deze omgevingen moest de agent een doel bereiken terwijl hij specifieke gevaren vermeed, terwijl de exacte waarschijnlijkheden van uitschieten of falen verborgen bleven voor hem. Ze vergeleken hun adaptieve methode met twee andere benaderingen: één waarbij de agent helemaal geen veiligheidsbewaker had en een andere waarbij de agent een perfect schild had gebaseerd op een bekende, volledige kaart van de wereld. De resultaten lieten zien dat de adaptieve methode opmerkelijk succesvol was. Het leerde beleid dat bijna even veilig was als het perfecte schild, terwijl het de frequente, gevaarlijke crashes vermeed die optraden wanneer de agent geen bewaker had. In sommige gevallen vond het adaptieve systeem zelfs betere routes dan het perfecte schild, omdat de voorzichtige vroege exploratie het leidde naar winstgevende paden die het statische, vooraf berekende schild had gemist.

Een belangrijke bevinding was dat het systeem het beste werkt wanneer het veiligheidsschild regelmatig wordt bijgewerkt naarmate er nieuwe gegevens binnenkomen. Als het schild te zelden wordt bijgewerkt, blijft de agent gestrand in een staat van overmatige voorzichtigheid, niet in staat om gebruik te maken van de kennis die hij heeft opgedaan. Als het te vaak wordt bijgewerkt, besteedt het systeem te veel tijd aan het herberekenen van veiligheid in plaats van aan het leren. De onderzoekers vonden een balans waarbij het bijwerken van het schild elke duizend leer-episoden de agent in staat stelde zijn begrip van de wereld te verfijnen zonder zijn voortgang te stagneren. Ze ontdekten ook dat de manier waarop het systeem waarschijnlijkheden inschat ertoe doet. Sommige methoden die ervan uitgaan dat het ergste scenario geldt voor onbekende gegevens, neigen naar overmatige beperking, terwijl methoden die iets optimistischer zijn, de agent meer vrijheid geven om te verkennen. De meest effectieve aanpak gebruikte een gebalanceerde strategie die veilig bleef, maar niet potentieel nuttige acties blokkeerde simpelweg omdat de gegevens nog niet perfect waren.

De studie benadrukte ook een subtiel maar belangrijk detail over hoe de agent verkent. Wanneer de agent besluit een willekeurige actie te proberen om iets nieuws te leren, staat het systeem hem toe om uit alle mogelijke acties te kiezen, zelfs die welke het huidige schild als onveilig beschouwt. Dit lijkt misschien tegenintuïtief, maar het voorkomt dat de agent vast komt te zitten in een kleine, veilige hoek van de wereld. Door af en toe buiten de huidige grenzen van het schild te wagen, verzamelt de agent precies de gegevens die nodig zijn om te bewijzen dat die grenzen veilig kunnen worden uitgebreid. Zonder deze vrijheid om de randen van het onbekende op te zoeken, zou het schild nooit leren om minder conservatief te worden. De onderzoekers observeerden dat deze bereidheid om berekende risico's te nemen essentieel was voor het vinden van het beste pad in complexe omgevingen.

Uiteindelijk toont dit werk aan dat veiligheid en leren geen vijanden hoeven te zijn. Door het veiligheidsschild niet te behandelen als een vaste muur, maar als een levende gids die evolueert met de ervaring van de agent, is het mogelijk om gevaarlijke omgevingen te navigeren zonder vooraf een perfecte kaart te hebben. Het systeem bewees dat een agent zowel veilig als vaardig kan leren, mits het veiligheidsmechanisme flexibel genoeg is om mee te groeien met de verdieping van het begrip van de agent over de wereld. Deze aanpak biedt een praktische weg voorwaarts voor de inzet van intelligente systemen in real-world scenario's waar de regels niet volledig bekend zijn, waardoor wordt gewaarborgd dat de reis naar meesterschap niet ten koste gaat van de veiligheid.

Technische Samenvatting: Adaptieve Probabilistische Afscherming door het Leren van MDP's voor Veilige Reinforcement Learning

Probleemstelling

Veilige Reinforcement Learning (RL) vertrouwt vaak op probabilistische afscherming (probabilistic shielding), een techniek waarbij een statische "schild" de acties van een agent beperkt om ervoor te zorgen dat aan veiligheidsrestricties wordt voldaan. Traditioneel wordt dit schild berekend vanuit een volledig gespecificeerd Markov Decision Process (MDP)-model. Echter, in typische RL-toepassingen zijn de overgangskansen van de omgeving onbekend, waardoor standaard afscherming ontoepasbaar is.

Bestaande benaderingen voor deze kloof omvatten vaak een tweetrapsproces: eerst data verzamelen (vaak onveilig) om een volledig MDP-model te leren, en vervolgens een schild berekenen. Dit faalt in veiligheidskritische real-world scenario's waar veiligheid juist tijdens de dataverzamelingsfase gewaarborgd moet worden.

Dit artikel adresseert het probleem van Veilige RL in settings waar de MDP-topologie (de staat-actie graaf) bekend is, maar de overgangskansen onbekend zijn. Het doel is om een beleid te leren dat beloningen maximaliseert terwijl het zich houdt aan veiligheidsrestricties, zonder voorafgaande kennis van de overgangsdynamiek. Cruciaal is dat de auteurs erkennen dat veiligheidschendingen mogelijk niet volledig vermijdbaar zijn, maar dat de aanpak grote nadruk legt op het minimaliseren van deze schendingen tijdens de exploratie- en modelleerfasen, in plaats van het garanderen van nul schendingen.

Methodologie

De auteurs stellen een paradigma van Adaptieve Probabilische Afscherming voor, die modelestimatie, schildsynthese en beleidsleren integreert in een enkele online lus.

1. Kernarchitectuur

De aanpak werkt op een onbekende MDP ( $M$ ) met een bekende onderliggende overgangsstructuur (een onbekende MDP of uMDP, $M_U$ ). Het systeem bestaat uit drie interagerende componenten:

RL Agent: Gebruikt Q-learning om een beleid $\pi$ te leren.
Model Estimator: Actualiseert continu een schatting van de overgangskansen op basis van geobserveerde overgangen $(s, a, s')$ .
Adaptief Schild: Een runtime-monitor $\nabla$ die de acties van de agent beperkt op basis van de huidige modelestimatie.

2. Modelestimatie en Interval MDP's (iMDP's)

Omdat exacte kansen onbekend zijn, construeert het systeem Interval MDP's (iMDP's) vanuit de verzamelde data. Een iMDP definieert boven- en ondergrenzen op de overgangskansen in plaats van punt-schattingen. Het artikel evalueert drie specifieke estimators:

MAP (Maximum A-Posteriori): Produceert punt-schattingen met additieve smoothing.
PAC (Probably Approximately Correct): Genereert probabilistische intervallen met behulp van de Hoeffding-ongelijkheid om te garanderen dat de ware MDP met een hoge waarschijnlijkheid binnen de geschatte intervallen ligt.
LUI (Linearly Updating Intervals): Actualiseert iteratief de waarschijnlijkheidsintervallen op basis van geobserveerde frequenties en eerdere sterktes, zonder strikte PAC-garanties, maar met convergentie-eigenschappen.

3. Schildsynthese

Gebruikmakend van de geschatte iMDP, wordt een schild gesynthetiseerd met de probabilistische modelchecker PRISM. Het schild zorgt ervoor dat voor een gegeven horizon $h$ , de kans op het bereiken van een onveilige staat onder een drempelwaarde $\theta$ blijft.

Robuust (Pessimistisch) Schild: Gaat uit van de slechtst denkbare overgangskansen binnen de intervallen (minimaliseert de veiligheidskans). Dit is conservatief maar veilig tegen estimatiefouten.
Optimistisch Schild: Gaat uit van de best denkbare overgangskansen (maximaliseert de veiligheidskans), wat meer exploratie toelaat.
Fallback Mechanisme: Als geen enkele actie voldoet aan de strikte veiligheidsdrempel $\theta$ , staat het schild acties toe die $\kappa$ -nabij de veiligste beschikbare actie liggen, om te voorkomen dat de agent volledig wordt geblokkeerd in de omgeving.

4. De Adaptieve Lus (Algoritme 1)

Het algoritme verloopt in episodes. Elke $u$ episodes (de update-vertraging), voert het systeem het volgende uit:

Aggregeert de overgangsdatabase $D$ .
Herbereken de iMDP met de gekozen estimator.
Synthetiseert een nieuw schild op basis van de geüpdatete iMDP.
Gaat door met het trainen van de RL-agent onder het nieuwe schild.

Exploratiestrategie: Om te voorkomen dat het schild de exploratie verstikt (een "conservatieve valstrik" waarbij de agent geen data kan verzamelen om het model te verfijnen), breiden de auteurs de $\epsilon$ -greedy strategie uit. Wanneer de agent besluit te "exploreren" (met waarschijnlijkheid $\epsilon$ ), kiest hij een willekeurige actie uit de volledige actieruimte $A$ , waarbij de restricties van het schild worden genegeerd. Dit zorgt ervoor dat potentieel veilige maar momenteel onverifieerde acties toch worden getest, zodat het model zijn schattingen kan verfijnen.

Belangrijkste Bijdragen

Adaptief Afschermingsparadigma: Het artikel introduceert een methode om probabilistische schilden online te berekenen en bij te werken terwijl het MDP-model wordt geleerd, wat de beperking aanpakt dat traditionele afscherming een volledig bekend model vereist.
Integratie van Estimatie en Veiligheid: Het stelt een verenigd kader voor waarbij modelestimatie, schildupdates en beleidsleren gelijktijdig plaatsvinden, met als doel veiligheidschendingen te minimaliseren, zelfs tijdens de initiële fasen van hoge onzekerheid tijdens het leren.
Empirische Evaluatie van Estimators: De auteurs bieden een uitgebreide vergelijking van de MAP, PAC en LUI estimators, waarbij ze analyseren hoe hun specifieke eigenschappen (conservatisme, convergentiesnelheid, databehoeften) de afweging tussen veiligheid en beloning beïnvloeden.
Analyse van Ontwerpkeuzes: Het artikel onderzoekt systematisch kritieke hyperparameters, waaronder de frequentie van schildupdates, de lookahead horizon ( $h$ ) en de impact van onafgeschermde exploratie op de efficiëntie van het leren.

Experimentele Resultaten

De aanpak werd geëvalueerd over vijf omgevingen: Aircraft, Antlion, Sinkholes, Crossroads en Gravity. Belangrijkste bevindingen zijn:

Veiligheid vs. Prestaties: De adaptieve afschermingsaanpak bereikt veiligheidsniveaus die vergelijkbaar zijn met een "oracle" baseline (die de grondwaarheid MDP gebruikt) en presteert significant beter dan onafgeschermde RL wat betreft het aantal veiligheidschendingen, met name in hoog-risico omgevingen zoals Crossroads en Gravity.
Impact van de Estimator:
- Robuuste estimators (PAC/LUI) bieden over het algemeen veiligere beleidsregels, maar kunnen te conservatief zijn, waardoor ze soms de ontdekking van optimale routes verhinderen als de initiële schattingen te breed zijn.
- Optimistische estimators laten meer exploratie toe en behalen vaak hogere beloningen, maar dragen een hoger risico op veiligheidschendingen met zich mee als de schattingen onnauwkeurig zijn.
- MAP estimators faalden vaak in voldoende exploratie en bleven steken in lokale optima door het gebrek aan onzekerheidsgrenzen.
Exploratiestrategie: Het toestaan van exploratie buiten de huidige toegestane set van het schild (UnifA) was cruciaal. Het beperken van exploratie tot enkel de door het schild toegestane acties (Unif $\nabla(s)$ ) voorkwam vaak dat de agent betere routes ontdekte, met name in de Antlion en Gravity omgevingen.
Update Frequentie: De frequentie van de schildupdates ( $u$ ) heeft een significante impact op de prestaties. Te frequente updates kunnen het leren destabiliseren, terwijl te weinig frequente updates de verfijning van de veiligheidsgaranties vertragen. Geen enkele update-vertraging was optimaal over alle omgevingen heen.
Lookahead Horizon ( $h$ ): Langere horizonten verbeterden over het algemeen de veiligheid in complexe omgevingen (zoals Gravity), maar waren redundant in taken met een korte horizon (zoals Aircraft).

Betekenis en Claims

Het artikel claimt dat adaptieve probabilistische afscherming een praktische oplossing biedt voor veilige RL in scenario's waar het omgevingsmodel gedeeltelijk bekend is (alleen de topologie) en overgangskansen online moeten worden geleerd.

De auteurs benadrukken dat hun aanpak de exploratie-exploitatie dilemma balanceert met veiligheidsrestricties. Door het schild toe te staan te adapteren naarmate het model verbetert, vermijdt het systeem de "conservatieve valstrik" waarbij een statisch, overdreven voorzichtig schild voorkomt dat de agent ooit de ware dynamiek van de omgeving leert. Het werk demonstreert dat het mogelijk is om veiligheidsgaranties te handhaven en veiligheidschendingen aanzienlijk te verminderen tijdens het leerproces zelf, in plaats van pas nadat het model volledig is geleerd, wat de techniek toepasbaar maakt voor real-world scenario's waar veiligheidschendingen kostbaar zijn.

Het artikel blijft bescheiden in zijn claims en erkent dat de aanpak steunt op de aanname van een bekende staat-actie graaf, dat veiligheidschendingen mogelijk niet volledig vermijdbaar zijn, en dat de keuze van de estimator en hyperparameters zorgvuldige afstemming vereist afhankelijk van de specifieke kenmerken van de omgeving.