🤖 AI

Robust Shielding for Safe Reinforcement Learning

Dit artikel introduceert een nieuw, deugdelijk en optimaal afschermingskader voor robuuste Markov-beslissingsprocessen dat de veiligheid van reinforcement learning-agenten garandeert onder worst-case transitie-onzekerheden, terwijl het wordt gecombineerd met bemonsteringsmethoden om waarschijnlijk bijna correcte (PAC) veiligheidsgaranties voor geleerde modellen te bieden.

Oorspronkelijke auteurs: Edwin Hamel-De le Court, Thom Badings, Alessandro Abate, Francesco Belardinelli, Francesco Fabiano

Gepubliceerd 2026-06-02

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Edwin Hamel-De le Court, Thom Badings, Alessandro Abate, Francesco Belardinelli, Francesco Fabiano

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een videogame te spelen, zoals Pac-Man, of om een auto te besturen. Je wilt dat de robot leert hoe hij de hoogste score kan halen of zo snel mogelijk zijn bestemming bereikt. Dit wordt Reinforcement Learning genoemd. De robot leert door dingen uit te proberen: hij beweegt, ziet wat er gebeurt, en krijgt een "beloning" (punten) voor goede zetten of een "straf" (penalty) voor slechte zetten.

Het probleem is dat de robot moet verkennen (exploreren) om te leren. Hij moet risicovolle zetten proberen om te zien of ze werken. Maar in de echte wereld kan een risicovolle zet betekenen dat een robot tegen een muur botst of dat een zelfrijdende auto een voetganger raakt. We kunnen de robot niet laten leren door middel van trial-and-error als die trial gevaarlijk kan zijn.

Het Problek: De "Black Box" van de Werkelijkheid

Meestal hebben we nodig om een robot veilig te houden een "schild"—een veiligheidsbewaker die de robot stopt bij het maken van gevaarlijke zetten. Maar om een perfect schild te bouwen, moet je de exacte regels van de wereld kennen (de natuurkunde, de verkeersregels, de spelmechanica).

In de echte wereld kennen we de exacte regels niet. We hebben alleen wat data van eerdere runs of een simulator. Als we de regels baseren op een gok met beperkte data, kunnen we ernaast zitten. Als ons schild gebouwd is op een foute gok, kan het falen om een ramp te voorkomen.

De Oplossing: De "Worst-Case" Paraplu

Dit artikel introduceert een nieuw soort schild, ontworpen voor situaties waarin we de exacte regels niet weten. In plaats van één set regels te raden, behandelt de auteur de onbekende wereld als een spel tussen twee spelers:

De Robot (Agent): Probeert een hoge score te halen.
De "Gremlin" (Adversary): Een ondeugende kracht die probeert de robot te laten falen door de slechtst mogelijke uitkomst te kiezen voor elke zet die de robot maakt.

De auteurs noemen dit een Robust MDP (Markov Decision Process). Denk er zo over na:

De Oude Manier: "Op basis van mijn data is er 90% kans dat deze brug het houdt. Ik laat de robot oversteken." (Als de brug daadwerkelijk instort, valt de robot).
De Nieuwe Manier (Dit Papier): "Ik weet niet precies hoe sterk de brug is, maar ik weet dat hij ergens tussen 'zwak' en 'sterk' zit. Ik zal een schild bouwen dat ervan uitgaat dat de brug zwak is (het slechtste scenario). Als de robot zelfs als de brug zwak is veilig kan oversteken, dan is hij zeker veilig als de brug sterk is."

Hoe het werkt: Het "Veiligheidsbudget"

Het papier gebruikt een slimme truc waarbij een Veiligheidsbudget wordt gebruikt.

Stel je voor dat de robot een portemonnee heeft met een specifiek bedrag aan "Veiligheidsgeld" (laten we zeggen $100). Elke keer dat de robot een stap zet, is er een kleine kans dat hij wat geld verliest.

Het schild berekent de worst-case kans op het verliezen van geld voor elke mogbare zet.
Als een zet het risico loopt meer geld te verliezen dan de robot nog in zijn portemonnee heeft, blokkeert het schild die zet.
Als de zet veilig genoeg is om te voorkomen dat de portemonnee failliet gaat, laat het schild de robot de zet uitvoeren.

Deze "portemonnee" wordt in realtime bijgewerkt. Naarmate de robot meer over de wereld leert (door meer data te verzamelen), wordt de "Gremlin" minder eng. De onzekerheid krimpt, het "worst-case" scenario wordt minder extreem, en de robot krijgt meer vrijheid om risico's te nemen die leiden tot hogere beloningen.

Het "Schild" in Actie

Het papier beschrijft een proces van drie stappen:

Leer de Onzekerheid: De robot verzamelt data uit de omgeving. In plaats van te zeggen "De kans op vallen is 5%", zegt hij: "De kans op vallen is tussen de 2% en 8%." Dit bereik is het "Robuuste" deel.
Bouw het Schild: Gebruikmakend van deze bereiken wordt het schild gebouwd om veiligheid te garanderen, zelfs als de kans aan de angstaanjagende kant van het bereik ligt (8%).
Laat de Robot Spelen: De robot speelt het spel. Het schild houdt elke zet in de gaten. Als de robot iets probeert te doen dat misschien onveilig is (zelfs als dat alleen onveilig is in het slechtste scenario), grijpt het schild in en dwingt het een veiligere keuze af.

De Resultaten: Veilig maar Slim

De auteurs hebben dit getest op spellen zoals Pac-Man en een grid-world met "kleurbommen".

De "Gok" Methode (Oude Manier): Als je de regels simpelweg raadt op basis van data, haalt de robot vaak een hoge score maar botst hij tegen de geest of de bom omdat de gok net iets fout was.
Het "Robuuste Schild" (Nieuwe Manier):
- In het begin: Wanneer de robot heel weinig data heeft, is het schild zeer strikt. Het zegt: "Nee, je kunt daar niet heen, het kan gevaarlijk zijn!" De robot speelt heel veilig, maar haalt een lagere score.
- Naarmate de data groeit: Naarmate de robot meer leert, wordt het "onzekerheidsbereik" kleiner. Het schild realiseert zich: "Oh, die zet is eigenlijk helemaal niet zo riskant!" Het versoepelt de regels.
- De Uitkomst: De robot blijft 100% veilig (hij botst nooit) maar leert uiteindelijk bijna net zo goed te spelen als een robot die alle regels vanaf het begin kende.

Samenvattende Analogie

Stel je voor dat je een kind leert fietsen.

De Oude Manier: Je zegt tegen het kind: "Ik denk dat de weg vlak is, dus ga maar hard fietsen." Als de weg eigenlijk een verborgen kuil heeft, valt het kind.
De Nieuwe Manier (Dit Papier): Je weet niet of de weg vlak of hobbelig is. Dus je plaatst zijwieltjes aan de fiets (het Schild). Je zegt tegen het kind: "We gaan ervan uit dat de weg vol kuilen zit. Als jij veilig kunt fietsen met zijwieltjes op een hobbelige weg, dan ben je veilig."
- In het begin zijn de zijwieltjes zwaar en beweegt het kind langzaam.
- Maar naarmate je over de weg rijdt en beseft dat hij eigenlijk glad is, haal je de zijwieltjes langzaam omhoog.
- Het kind valt nooit (Veiligheid Gegarandeerd), maar uiteindelijk rijdt het net zo snel als wanneer het had geweten dat de weg glad was.

Dit papier bewijst wiskundig dat deze methode werkt: het garandeert dat de robot niets gevaarlijks doet, zelfs wanneer we onzeker zijn over de wereld, en het laat de robot efficiënt leren naarmate hij meer informatie verzamelt.

Technische Samenvatting: Robuuste Afscherming voor Veilige Reinforcement Learning

Probleemstelling

Reinforcement Learning (RL) agenten die opereren in onbekende omgevingen, gemodelleerd als Markov Beslissingsprocessen (MDP's), staan voor een kritieke veiligheidsuitdaging: standaard algoritmen verkennen acties onbeperkt, wat onvermijdelijk leidt tot het selecteren van potentieel schadelijke acties. Hoewel "shielding"-mechanismen (afscherming) bestaan om veiligheid formeel te garanderen door de acties van de agent te beperken, vereisen bestaande technieken doorgaans exacte kennis van de relevante transitiedynamiek voor veiligheid. In praktische RL-scenario's is deze dynamiek echter onbekend.

Huidige benaderingen voor het omgaan met onbekende dynamiek vertrouwen vaak op het leren van punt-schattingen (bijv. Maximum Likelihood Estimates) van transitiekansen. Dit introduceert echter statistische fouten die de formele veiligheidsgaranties in gevaar brengen. Alternatief is het leren van onzekerheidssets rondom transitiekansen (bijv. met behulp van Probably Approximately Correct (PAC) bounds) een levensvatbare strategie, maar bestaande afschermingsframeworks zijn incompatibel met dergelijke sets, omdat ze ontworend zijn voor modellen met exacte waarschijnlijkheden. Dit artikel adresseert de kloof in het bieden van een afschermingsframework dat veiligheid garandeert voor RL-agenten die opereren in onbekende MDP's door gebruik te maken van Robust MDP's (RMDP's).

Methodologie

De auteurs stellen een nieuw afschermingsframework voor RMDP's voor, waarbij transitiekansen worden gerepresenteerd als sets (onzekerheidssets) in plaats van enkelvoudige waarden. De methodologie verloopt in twee hoofdfasen:

1. Formeel Framework voor Robust MDP's

Het artikel definieert een RMDP als een spel tussen een agent (die acties kiest) en een tegenstander (die transitiekansen kiest uit onzekerheidssets). Veiligheid wordt gedefinieerd via Linear Temporal Logic (LTL) formules, specifiek gericht op veiligheidsfragmenten waarbij een "bad prefix" (slechte prefix) leidt tot een schending.

Definitie van de Shield: Een shield wordt gedefinieerd als een paar $(D, \Gamma)$ , waarbij $D$ een controleerbare monitor is (die standaard monitors uitbreidt met hulpacties) en $\Gamma$ observatietoestanden en monitor-toestanden mapt naar een verzameling toegestane waarschijnlijkheidsverdelingen over acties.
Constructie: De shield wordt geconstrueerd op een eindige veiligheidsabstractie van de RMDP. Het maakt gebruik van een inductieve waardefunctie $\beta$ die dient als een robuuste bovengrens op de waarschijnlijkheid van het bereiken van een "bad state" (het schenden van de LTL-formule). De shield beperkt de agent tot acties waarbij het slechtst denkbare verwachte volgende "schendingsbudget" binnen het huidige budget blijft.
Theoretische Garanties: De auteurs bewijzen dat een gegeven RMDP, de geconstrueerde shield:
- Sound (Correct) is: Elke door de shield toegestane policy voldoet aan de veiligheidsspecificatie onder de slechtst denkbare tegenstander.
- Optimaal (Benaderend) is: Elke veilige policy van de RMDP is toegestaan door de shield (tot een $\epsilon$ -fout afhankelijk van de benadering van de waardefunctie). Als de waardefunctie exact is, is de shield exact optimaal.

2. Afscherming van Onbekende MDP's via Leren

Het framework wordt geïnstantieerd voor onbekende MDP's via een leerpipeline:

Leren van RMDP's: Transitiekansen worden geleerd uit gesamplede transities met behulp van Clopper-Pearson betrouwbaarheidsintervallen om PAC onzekerheidssets te construëren. Dit resulteert in een geleerde RMDP $\hat{M}$ die de ware MDP $M$ met hoge betrouwbaarheid "bevat" ( $1 - \delta$ ).
Shield Synthese: Een shield wordt berekend op de geleerde RMDP $\hat{M}$ met behulp van de robuuste waarde-iteratiemethode zoals beschreven hierboven.
Implementatie: De shield wordt ingezet op de ware (onbekende) MDP. De agent interageert met de omgeving, maar de actiekeuzes worden beperkt door de shield die afgeleid is van $\hat{M}$ .

Het artikel stelt vast dat als de geleerde RMDP de ware MDP met hoge betrouwbaarheid bevat, de shield geconstrueerd op de RMDP veiligheid garandeert voor de ware MDP met dezelfde betrouwbaarheid. Bovendien, naarmate het aantal samples toeneemt, worden de onzekerheidssets nauwer en neemt de conservativiteit van de shield af, waardoor de agent de optimale beloning van de ware MDP kan benaderen.

Belangrijkste Bijdragen

Nieuw Afschermingsframework voor RMDP's: Het artikel introduceert het eerste afschermingsframework dat specifiek is ontworpen voor RMDP's (MDP's met verzamelingen van transitiekansen), waarmee de beperking van bestaande methoden die exacte dynamiek vereisen, wordt aangepakt.
Bewijzen van Soundness en Optimaliteit: De auteurs leveren rigoureuze bewijzen die aantonen dat hun shield sound is (veiligheid garandeert onder de slechtst denkbare dynamiek) en benaderend optimaal is (bijna optimale beloningen toestaat) voor RMDP's.
Integratie met PAC Learning: Het werk combineert robuuste afscherming met bestaande bemonsteringsmethoden om transitiekansen te leren met PAC-garanties. Dit maakt de constructie van shields voor onbekende MDP's mogelijk die veiligheidsgaranties met hoge betrouwbaarheid bieden.
Empirische Validatie: De aanpak wordt geëvalueerd op meerdere omgevingen (Media Streaming, Color Bomb Gridworld, Pacman) waarbij de voorgestelde methode wordt vergeleken met baselines die gebruikmaken van exacte MDP's en Maximum Likelihood Estimation (MLE).

Resultaten

Experimentele resultaten demonstreren de afruil tussen de beschikbaarheid van data en de conservativiteit van de shield:

Veiligheidsgaranties: De voorgestelde robuuste shields (Kno en Unk instellingen) voldoen consistent aan de vereiste veiligheidsspecificatie waarschijnlijkheid ( $1-p$ ) over verschillende steekproefgroottes, terwijl de MLE-gebaseerde shield regelmatig de veiligheidsdrempels overschrijdt, vooral bij kleine tot gemiddelde steekproefgroottes.
Prestatieherstel: Naarmate het aantal samples toeneemt, worden de onzekerheidssets in de geleerde RMDP nauwer. Bijgevolg worden de robuuste shields minder restrictief, en convergeert de verwachte return van de beschermde agent naar de prestaties van een agent die werkt met volledige kennis van de MDP (de MDP baseline).
Omgaan met Onbekende Grafen: Het framework handelt succesvol gevallen af waarin de MDP-graafstructuur onbekend is (Unk instelling), mits een minimale transitiekans wordt verondersteld, hoewel dit een hogere minimale steekproefomvang vereist om de graafstructuur betrouwbaar te leren.

Betekenis en Claims

Het artikel claimt een formele oplossing te bieden voor het probleem van veilige exploratie in RL wanneer de transitiedynamiek onbekend is. Door over te stappen van punt-schattingen naar onzekerheidssets (RMDP's), betogen de auteurs dat het mogelijk is om shields te construeren die formele veiligheidsgaranties met hoge betrouwbaarheid bieden zonder perfecte kennis van de omgeving te vereisen.

De betekenis ligt in het overbruggen van de kloof tussen formele methoden (die doorgaans bekende modellen veronderstellen) en datagedreven RL (dat opereert met onbekende modellen). De auteurs benadrukken dat hoewel robuuste methoden conservatief kunnen zijn met beperkte data, deze conservativiteit een noodzakelijke afruil is om veiligheid te waarborgen. Naarmate er meer data wordt verzameld, versoepelt de methode vanzelf, waardoor de agent een sterke verwachte return kan bereiken terwijl de veiligheid behouden blijft. Dit staat in contrast met state-of-the-art benaderingen die punt-schattingen gebruiken, die volgens het artikel tot onveilig gedrag kunnen leiden door niet-gemodelleerde statistische onzekerheid.

Het werk positioneert zichzelf als een stap richting "veilige autonomie" in scenario's met kritieke veiligheid waar modelonzekerheid inherent is, en biedt een theoretisch onderbouwd alternatief voor heuristische veiligheidsbeperkingen of methoden die geen garanties voor eindige steekproeven bieden.