🤖 machine learning

A Survey of Safe Reinforcement Learning and Constrained MDPs: A Technical Survey on Single-Agent and Multi-Agent Safety

Deze technische survey biedt een wiskundig rigoureuze overzicht van Veilig Versterkend Leren en Veilig Versterkend Leren met meerdere agenten op basis van Beperkte MDP's, waarbij theoretische fundamenten en state-of-the-art algoritmen worden besproken en vijf open onderzoeksproblemen worden voorgesteld om toekomstige vooruitgang te sturen.

Oorspronkelijke auteurs: Ankita Kushwaha, Kiran Ravish, Preeti Lamba, Pawan Kumar

Gepubliceerd 2026-04-30

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ankita Kushwaha, Kiran Ravish, Preeti Lamba, Pawan Kumar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een Robot Leren Rijden zonder te Crashten

Stel je voor dat je een robot leert om een auto te rijden. Je wilt dat hij zo snel mogelijk bij de supermarkt komt (dat is de Beloning). Maar je hebt ook een strikte regel: Hij mag nooit een voetganger aanrijden.

Bij standaard Versterkingsleer (RL) leert de robot door te proberen en te falen. Hij zou kunnen proberen door een menigte te rijden om te zien of hij sneller aankomt, per ongeluk een voetganger aanrijden, en dan leren: "Oké, doe dat niet." In de echte wereld zou dat moment van "oeps" catastrofaal kunnen zijn.

Veilige Versterkingsleer (SafeRL) is het vakgebied dat zich erop richt om ervoor te zorgen dat de robot nooit leert door te crashten. Het is alsof je de robot leert rijden terwijl hij een veiligheidsgordel draagt, een copiloot heeft en tegelijkertijd een strikt reglement volgt.

Dit paper is een enorme "kaart" of "survey" voor onderzoekers. Het ordent alle verschillende manieren waarop wetenschappers proberen dit probleem op te lossen, met de nadruk op twee hoofdgebieden:

Single-Agent: Een robot die alleen leert.
Multi-Agent (SafeMARL): Een heel team van robots (zoals een zwerm drones of een vloot zelfrijdende auto's) dat leert samen te werken zonder op elkaar te crashten.

Deel 1: Het Reglement (Gelimiteerde MDP's)

Het paper legt uit dat de beste manier om veiligheid wiskundig te beschrijven, het gebruik is van iets dat een Gelimiteerde Markov Beslissingsproces (CMDP) wordt genoemd.

Stel je een standaard leerverhaal voor als een videospel waar je gewoon de hoogste score wilt behalen. Een CMDP is hetzelfde spel, maar dan met een "Levensbalk" en een "Levenslimiet".

Het Doel: Behaal de hoogste score (Beloning).
De Beperking: Je mag niet meer dan 3 harten verliezen (Kosten). Als je 4 harten raakt, eindigt het spel en heb je gefaald.

Het paper breekt de verschillende soorten "Levensbalken" (Veiligheidsbeperkingen) af die onderzoekers gebruiken:

Instantane Beperkingen: "Je mag de muur nu niet raken." (Zoals een robotarm die niet te ver kan buigen).
Cumulatieve Beperkingen: "Je mag een paar keer de muur raken, maar je totale schade gedurende de hele reis moet laag blijven." (Zoals een budget voor brandstof).
Kansbeperkingen: "Je hebt 99% kans dat je niet van een klif valt." (Het accepteren van een klein risico, maar niet van een groot risico).
Risicomaatstaven: "Zelfs als het gemiddelde risico laag is, mogen we geen scenario hebben waarin de robot vernietigd wordt." (Focus op het worst-case scenario).

Deel 2: De Gereedschappen (Hoe je de Robot Loopt)

Het paper bespreekt de "gereedschappen" die onderzoekers gebruiken om de robot veilig te houden terwijl hij leert. Ze vallen in drie hoofdcategorieën:

1. De "Prijskaart"-methode (Lagrangiaan-Optimalisatie)

Stel je voor dat de robot een portemonnee heeft. Elke keer dat hij iets onveiligs doet, moet hij een boete betalen.

Hoe het werkt: De robot probeert zijn score te maximaliseren minus de boetes.
De Haken: Als de robot blijft tegen de regels in te gaan, wordt de "boete" (de prijskaart) steeds hoger en hoger, tot de robot bang is om de regel opnieuw te breken.
Het Standpunt van het Paper: Dit is een populaire methode, maar lastig. Als de boete te laag is, crasht de robot. Als hij te hoog is, wordt de robot bang en stopt hij volledig met bewegen.

2. De "Veiligheidsschild" (Actiecorrectie)

Stel je voor dat de robot rijdt, maar er zit een menselijke veiligheidsfunctionaris op de bijrijdersstoel.

Hoe het werkt: De robot besluit linksom een muur in te sturen. De veiligheidsfunctionaris ziet dit, grijpt het stuur en draait het juist naar rechts. De robot raakt de muur nooit echt.
Het Standpunt van het Paper: Dit is de enige manier om nul crashes tijdens training te garanderen. Het gebruikt wiskunde (zoals "veiligheidsfilters") om elke zet die er gevaarlijk uitziet te blokkeren, voordat de robot het zelfs maar probeert.

3. De "Vertrouwenszone" (CPO)

Stel je voor dat de robot stappen zet. Standaard leren zegt: "Neem een enorme sprong om sneller te leren!" Veilig leren zegt: "Neem kleine, voorzichtige stapjes."

Hoe het werkt: De robot mag zijn gedrag maar een heel klein beetje tegelijk veranderen. Hij controleert zijn wiskunde om ervoor te zorgen dat hij, zelfs met deze kleine verandering, niet per ongeluk de veiligheidsregels breekt.
Het Standpunt van het Paper: Dit is zeer veilig, maar computergewijs zwaar (het kost veel hersenkracht om elke kleine stap te berekenen).

Deel 3: Het Teamsport (Veilig Multi-Agent Leren)

Het paper besteedt veel tijd aan SafeMARL (Multi-Agent). Dit is wanneer je 100 drones hebt die samen vliegen.

Het Probleem: In een team kan Agent A veilig zijn, en Agent B kan veilig zijn, maar als ze allebei tegelijk bewegen, crashten ze op elkaar.

Gecentraliseerde Aanpak: Eén "Brein" controleert alle 100 drones. Het ziet alles en zorgt ervoor dat niemand crasht.
- Voordelen: Zeer veilig.
- Nadelen: Als het Brein overbelast raakt of het internet uitvalt, faalt het hele team.
Decentraliseerde Aanpak: Elke drone ziet alleen zijn buren. Ze moeten met elkaar praten om botsingen te voorkomen.
- Voordelen: Schaalbaar (je kunt 1.000 drones toevoegen).
- Nadelen: Moeilijk te bewijzen dat ze niet zullen crashten. Als Drone A niet weet wat Drone B doet, kunnen ze botsen.

Het paper benadrukt dat hoewel we goede methoden hebben voor één robot, het leren van een heel team om veilig te zijn nog steeds een enorm, onopgelost raadsel is.

Deel 4: De Vijf Grote mysteries (Open Onderzoeksvragen)

De auteurs sluiten af met een lijst van vijf "Heilige Graal"-problemen die onderzoekers als volgende moeten oplossen. Denk hierbij aan deze als de "Level Bosses" van SafeRL:

De "Nul-overschrijding"-doelstelling: Kunnen we een robot leren zonder ooit een veiligheidsregel te breken, zelfs niet één keer? Momenteel breken de meeste robots een paar regels tijdens het leren. We hebben een manier nodig om nul fouten vanaf dag één te garanderen.
De "Blinddoek"-robot: Wat als de robot niet alles kan zien? (Bijvoorbeeld: een auto die niet om een hoek kan kijken). Hoe houden we het veilig als het moet gokken wat er gebeurt?
Het "Geen Baas"-team: Hoe krijgen we een team van robots om veilig te zijn zonder een centrale controller? (Decentraliseerde veiligheid).
Het "Rivaal"-team: Wat als de andere agenten geen vrienden zijn? (Competitieve settings). Hoe blijf je veilig als het andere team probeert je te verslaan, en ze misschien gevaarlijke dingen doen?
De "Bewegende Doelwit": Wat als de regels veranderen terwijl de robot leert? (Non-stationariteit). Als de wegindeling verandert of er nieuwe soorten auto's verschijnen, kan de robot dan direct aanpassen zonder te crashten?

Samenvatting

Dit paper is een handleiding voor onderzoekers. Het zegt:

We hebben goede wiskunde (CMDP's) om veiligheid te beschrijven.
We hebben goede gereedschappen (Schilden, Prijskaartjes, Vertrouwenszones) om enkele robots veilig te houden.
Maar we beginnen net te ontdekken hoe we teams van robots veilig kunnen houden, vooral wanneer ze concurreren of wanneer ze niet alles kunnen zien.

Het ultieme doel is om AI te verplaatsen van "leren door te crashten" naar "leren door voorzichtig te zijn", zodat we robots kunnen vertrouwen in onze ziekenhuizen, op onze wegen en in onze fabrieken.

1. Probleemdefinitie

Het papier adresseert de kritieke uitdaging van het inzetten van Reinforcement Learning (RL) agents in veiligheidskritieke real-world toepassingen (bijvoorbeeld autonoom rijden, gezondheidszorg, robotica, elektriciteitsnetten). Standaard RL optimaliseert voor cumulatieve beloning maar negeert vaak veiligheidsbeperkingen, wat leidt tot catastrofale storingen tijdens training of inzet.

Het kernprobleem wordt geformaliseerd als Veilig Reinforcement Learning (SafeRL): het maximaliseren van prestaties (cumulatieve beloning) terwijl strikt voldaan wordt aan veiligheidsbeperkingen tijdens zowel het leerproces als de uiteindelijke inzet. Het papier richt zich primair op het Constrained Markov Decision Process (CMDP)-kader, waarbij veiligheid wordt gemodelleerd als beperkingen op verwachte cumulatieve kosten (of andere risicomaatstaven) in plaats van slechts beloningsmaximalisatie. Het breidt dit ook uit naar Multi-Agent Safe RL (SafeMARL), waarbij meerdere agents moeten leren en interageren terwijl ze voldoen aan individuele of globale veiligheidsbeperkingen.

2. Methodologie en Theoretische Fundamenten

Het survey biedt een rigoureuze wiskundige overzicht van SafeRL, gestructureerd rond het CMDP-kader en zijn uitbreidingen.

A. Theoretische Fundamenten (CMDP's)

Formulering: Een CMDP wordt gedefinieerd als een MDP-tuple $(S, A, P, r, \{c^{(i)}\}, \gamma)$ waarbij $c^{(i)}$ kostenfuncties zijn. Het doel is het maximaliseren van $J(\pi)$ onderhevig aan $J_c^{(i)}(\pi) \leq d_i$ .
Beperkingstypen: Het papier categoriseert veiligheidsspecificaties in:
- Verwachte Cumulatieve Kosten: De standaard CMDP-formulering (meest voorkomend).
- Instantane Beperkingen: Harde limieten op elk tijdstip (bijvoorbeeld koppel limieten, botsingsvermijding).
- Kans op Falen: Beperkingen op de kans om een falende staat te betreden (bijvoorbeeld $Pr[\text{crash}] \leq \delta$ ).
- Risicomaatstaven: Beperkingen op hogere-orde statistieken zoals Variantie of Conditional Value-at-Risk (CVaR).
- Temporele Logica: Veiligheid gedefinieerd via Linear Temporal Logic (LTL) formules.
Optimalisatiebenaderingen:
- Lagrangiaanse Dualiteit: Het transformeren van het beperkte probleem naar een onbeperkt probleem met behulp van Lagrange-multiplicatoren ( $\lambda$ ). De duale functie wordt geminimaliseerd om optimale multiplicatoren te vinden, terwijl de primum (beleid) wordt gemaximaliseerd.
- Lineaire Programmering (LP): Voor eindige toestandsruimtes kunnen CMDP's exact worden opgelost via LP met behulp van bezettingsmaten.
- Theoretische Garanties: Het papier citeert Altman [1999] die het bestaan van stationaire optimale beleidsregels en sterke dualiteit bewijst onder regulariteitsvoorwaarden. Het bespreekt ook prestatiegrenzen (Achiam et al., 2017) die trust-region methoden rechtvaardigen.

B. State-of-the-Art Algoritmen (Single-Agent)

Het survey classificeert huidige methoden in vier hoofdcategorieën:

Lagrangiaanse Beleidsoptimalisatie:
- Lagrangiaanse Actor-Critic: Update beleid en Lagrange-multiplicatoren gelijktijdig (bijvoorbeeld Tessler et al., 2019). Eenvoudig maar kan beperkingen tijdens training schenden.
- Constrained Policy Optimization (CPO): Een mijlpaal trust-region methode (Achiam et al., 2017) die op elke stap een beperkt subprobleem oplost om bijna-beperkingstevredenheid te garanderen.
- Projected CPO (PCPO): Projecteert beleidsupdates op de haalbare verzameling om veiligheid te waarborgen.
Veiligheidsschilden en Actiecorrectie:
- Externe lagen (bijvoorbeeld Safety Layers, QP-gebaseerde filters) die onveilige acties voorgesteld door de RL-agent overschrijven.
- Formele Shielding: Gebruikt modelchecking en temporele logica om veilige actiesets vooraf te berekenen.
Risicosensitieve en Distributionele Methodes:
- Optimaliseren voor risicomaatstaven (bijvoorbeeld CVaR) direct in plaats van harde beperkingen te gebruiken.
- Distributionele RL om de volledige terugverdientijdverdeling te modelleren en staartrisico's te controleren.
Veilig Multi-Agent RL (SafeMARL):
- Gecentraliseerd: Het behandelen van het multi-agent systeem als een enkele gezamenlijke agent (bijvoorbeeld MACPO).
- Decentraliseerd: Agents optimaliseren lokale doelen met beperkte communicatie (bijvoorbeeld $\kappa$ -hop buurten) om globale veiligheid te benaderen.
- Speltheoretisch: Het zoeken naar beperkte Nash-evenwichten in competitieve settings.

3. Belangrijkste Bijdragen

Uitgebreide Taxonomie: Het papier biedt een gestructureerde taxonomie van SafeRL-methoden, waarbij onderscheid wordt gemaakt tussen single-agent en multi-agent benaderingen, en algoritmen worden gecategoriseerd op basis van hun onderliggend mechanisme (Lagrangiaans, Shielding, Risicosensitief).
Wiskundige Rigor: Het biedt een gedetailleerde afleiding van CMDP-theorie, inclusief Lagrangiaanse dualiteit, lineaire programmeringsformuleringen en beleidsgradiëntgrenzen, dienend als technische referentie voor onderzoekers.
Focus op SafeMARL: In tegenstelling tot eerdere surveys die zwaar focusten op single-agent RL, wijdt dit papier aanzienlijke aandacht aan het opkomende veld van SafeMARL, waarbij uitdagingen in coöperatieve, competitieve en decentrale settings worden geanalyseerd.
Identificatie van Open Problemen: De auteurs stellen vijf specifieke open onderzoeksproblemen voor om toekomstig werk te sturen:
- P1: Zero-Violation Veilige Exploratie: Het garanderen van geen enkele beperkingsschending tijdens het gehele trainingsproces (niet alleen asymptotisch).
- P2: Veiligheid onder Gedeeltelijke Observabiliteit: Het hanteren van veiligheid in POMDP's waar de ware staat onbekend is.
- P3: Decentrale SafeMARL: Het bereiken van globale veiligheid zonder een centrale controller of volledige staatobservabiliteit.
- P4: Competitieve SafeMARL: Het vinden van veilige evenwichten (bijvoorbeeld beperkt Nash) in niet-coöperatieve, general-sum games.
- P5: Niet-stationaire Multi-Agent Veiligheid: Het waarborgen van veiligheid wanneer de omgeving of agentpopulatie verandert in de tijd.
Bronnencompilatie: Het papier bevat een gecureerde lijst van open-source bibliotheken (bijvoorbeeld OmniSafe, SafePO) en benchmark-omgevingen (bijvoorbeeld Safety Gymnasium, SMARTS) om reproduceerbaarheid te faciliteren.

4. Resultaten en Bevindingen

Single-Agent Rijpheid: Het veld van single-agent SafeRL is relatief volwassen, met algoritmen zoals CPO en Lagrangiaanse methoden die sterke theoretische garanties en empirisch succes bieden in benchmarks zoals Safety Gym.
Multi-Agent Uitdagingen: SafeMARL wordt geïdentificeerd als een beginnend veld. Hoewel gecentraliseerde benaderingen (zoals MACPO) veelbelovend zijn, blijven schaalbare decentrale oplossingen en robuuste methoden voor competitieve settings grotendeels onopgelost.
Trade-offs: Het survey benadrukt een fundamentele trade-off tussen veiligheidsgaranties en sample-efficiëntie. Methodes met sterke theoretische garanties (zoals CPO) zijn vaak computationeel duur, terwijl eenvoudigere op straffen gebaseerde methoden efficiënt zijn maar beperkingen tijdens training kunnen schenden.
Beperkingstypen Maken Uit: De keuze van beperkingsformulering (instantane versus cumulatief, risicosensitief versus verwacht) heeft een aanzienlijke impact op algoritmeontwerp en toepasbaarheid op specifieke domeinen (bijvoorbeeld robotica vereist instantane beperkingen, terwijl financiën CVaR kunnen prefereren).

5. Betekenis

Dit survey is om verschillende redenen significant:

Unificatie: Het overbrugt de kloof tussen theoretische regelingstechniek (CMDP's) en moderne diepe RL, en biedt een unificerende taal voor veiligheid.
Roadmap voor Inzet: Door open problemen zoals "Zero-Violation" leren en "Decentrale Veiligheid" te identificeren, schetst het het pad dat nodig is om SafeRL te verplaatsen van simulatie naar real-world inzet in hoog-risico domeinen.
Community Resource: De compilatie van bibliotheken en benchmarks dient als een vitale toolkit voor onderzoekers om algoritmen te vergelijken en resultaten te reproduceren, wat vooruitgang in het veld versnelt.
Toekomstige Richting: De voorgestelde onderzoeksproblemen (P1–P5) stellen een duidelijke agenda voor de volgende generatie SafeRL-onderzoek, met nadruk op de noodzaak van robuustheid in gedeeltelijke observabiliteit, decentralisatie en dynamische omgevingen.

Concluderend stelt het papier vast dat hoewel SafeRL aanzienlijke stappen heeft gemaakt, met name in single-agent settings, de overgang naar complexe, multi-agent en real-world scenario's fundamentele uitdagingen vereist op het gebied van exploratie, decentralisatie en evenwichtsberekening.