Beyond Hard Constraints: Budget-Conditioned Reachability For Safe Offline Reinforcement Learning

Dit artikel introduceert een nieuwe offline veilige versterkingsleer-methode die cumulatieve veiligheidskosten beperkt via een budget-geconditioneerd bereikbaarheidsgebied, waardoor stabiele veiligheidsgaranties worden geboden zonder onstabiele optimalisatieproblemen.

De kern

Stel je voor dat je een schip bestuurt door een drukke haven, vol met andere schepen, smalle vaarwegen en verborgen rotsen. Je doel is om zo snel mogelijk naar je bestemming te komen (de beloning maximaliseren), maar je mag absoluut niet aanraken of kapseizen (de veiligheid garanderen).

In de wereld van kunstmatige intelligentie (AI) is dit een enorm lastig probleem. Meestal probeert de AI te leren door te "proberen en te falen". Maar in de echte wereld, zoals op zee, kun je niet zomaar tegen een rots varen om te zien wat er gebeurt. Je hebt maar één kans.

Dit is waar BCRL (Budget-Conditioned Reachability Reinforcement Learning) om de hoek komt kijken. Het is een nieuwe manier om AI veilig te laten leren, puur op basis van oude data, zonder dat het de AI ooit in gevaar brengt.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Gokker" vs. De "Veiligheidscontroleur"

Standaard AI-methodes proberen twee dingen tegelijk te doen:

1. Zo veel mogelijk punten scoren (snelheid).
2. Geen punten aftrekken voor ongelukken (veiligheid).

Dit is als een gokker die probeert rijk te worden, maar tegelijkertijd een strenge bankier moet overtuigen dat hij niet failliet gaat. Vaak vechten deze twee doelen tegen elkaar, wat leidt tot instabiel gedrag of AI die te voorzichtig is (en nergens komt) of te roekeloos (en crasht).

2. De Oplossing: De "Veiligheidsrekenmachine"

De auteurs van dit paper hebben een slimme truc bedacht. In plaats van de AI te laten vechten met twee doelen, splitsen ze het probleem op in twee duidelijke stappen:

Stap 1: De "Veiligheidskaart" maken (Reachability)
Stel je voor dat je een kaart tekent van de haven. Maar in plaats van alleen de route te tekenen, teken je een veiligheidszone.

• De AI leert eerst alleen naar de "kosten" te kijken: "Als ik hier vaar, hoeveel brandstof (of veiligheidsbudget) heb ik nog nodig om veilig thuis te komen?"
• Het berekent een veiligheidsbudget. Als je budget op is, ben je in gevaar.
• Het creëert een "magische cirkel" om elke positie. Binnen deze cirkel weet je zeker: "Als ik hier ben en ik volg de regels, kan ik nooit in een doodlopende straat terechtkomen waar ik vastloop."

Stap 2: De "Rijder" leren (Reward)
Nu, met die veilige kaart in handen, mag de AI gaan racen.

• De AI krijgt de opdracht: "Ga zo snel mogelijk naar je doel, maar je mag alleen stappen zetten die binnen die magische veiligheidscirkel vallen."
• Als een stap te gevaarlijk is (buiten de cirkel), wordt die stap gewoon afgesneden. De AI ziet die optie niet eens meer.

3. De Creatieve Analogie: De Slimme Navigatie-app

Stel je een navigatie-app voor in je auto (zoals Google Maps), maar dan voor een schip.

• De oude manier: De app zegt: "Ga maar lekker door, probeer de snelste route. Oh, wacht, je bent bijna op een rots gestrand! Terugdraaien!" Dit is gevaarlijk en leidt tot onzekerheid.
• De BCRL-methode: De app heeft eerst een enorme database van alle mogelijke routes bekeken. Het heeft een lijst gemaakt van alle routes die altijd veilig zijn, ongeacht wat er gebeurt.
  • Zodra je start, zegt de app: "Oké, je hebt een budget van 100 eenheden veiligheid."
  • Elke keer als je een bocht neemt, telt de app af: "Je hebt 5 eenheden gebruikt."
  • De app kijkt direct: "Met je resterende budget van 95, welke routes zijn er nog veilig?"
  • Alle onveilige routes worden verwijderd van je scherm. Je ziet alleen de routes die je veilig naar huis brengen.
  • Vervolgens kies je de snelste route uit die veilige opties.

Waarom is dit zo goed?

1. Geen Gokken meer: De AI hoeft nooit meer te gokken of iets veilig is. De "veiligheidskaart" is al berekend. Het is als een spoorbaan: je kunt er niet van afwijken, dus je crasht nooit.
2. Werkt met oude data: Je hoeft niet te experimenteren op zee. De AI leert van historische data (zoals schrijnende AIS-data van schepen in de Straat van Singapore). Het leert van de fouten van anderen zonder zelf gevaar te lopen.
3. Snel en stabiel: Omdat de AI niet hoeft te "vechten" met tegenstrijdige doelen, leert het veel sneller en betrouwbaarder. In tests bleek de methode niet alleen veiliger, maar ook vaak sneller dan de beste bestaande methodes.

Het Resultaat in de Wereld

De auteurs hebben dit getest op simpele spelletjes, maar ook op een echt, complex scenario: het navigeren van schepen in de drukke Straat van Singapore.

• De uitkomst: De AI-schepen konden net zo snel varen als experts, maar met veel minder risico op botsingen. Ze hielden zich netjes op de veilige routes en vermijden "close calls" (gevaarlijke situaties) veel beter dan andere AI-systemen.

Kortom: BCRL is als het geven van een onfeilbare veiligheidsbril aan een AI. Het laat de AI zien wat kan (de veilige opties), zodat het zich volledig kan focussen op wat goed is (snel en efficiënt), zonder ooit in gevaar te komen.

Technische samenvatting

Probleemstelling

In veel real-world toepassingen van Reinforcement Learning (RL), zoals robotica en maritieme navigatie, moeten agenten niet alleen de cumulatieve beloning maximaliseren, maar ook strikte veiligheidsbeperkingen naleven. Traditionele methoden voor Beperkte Markov Beslissingsprocessen (CMDP) kampen vaak met de volgende uitdagingen:

1. Instabiliteit: Methoden die gebruikmaken van Lagrangiaanse relaxatie of min-max adversariale training (zoals BCQ-Lagrangian of CPQ) leiden vaak tot instabiel leren en zijn moeilijk te tunen.
2. Hard vs. Cumulatieve Beperkingen: Bestaande reachability-analyses (zoals Hamilton-Jacobi) focussen voornamelijk op harde onmiddellijke veiligheidsbeperkingen (bijv. "niet botsen in deze stap"), maar hebben moeite om cumulatieve kostenbeperkingen (bijv. "totale brandstofverbruik mag X niet overschrijden") effectief te hanteren.
3. Offline Context: In offline RL kan de agent niet experimenteren in de echte wereld. Het leren van veilige beleidsregels uit een statische dataset zonder interactie met de omgeving is complex, vooral omdat het risico bestaat dat de agent uit-distributie (OOD) acties kiest die leiden tot onherstelbare situaties.

Methodologie: Budget-Conditioned Reachability (BCR)

De auteurs introduceren Budget-Conditioned Reachability (BCR), een raamwerk dat beloningsmaximalisatie ontkoppelt van cumulatieve veiligheidsbeperkingen. De kern van de methode bestaat uit drie stappen:

1. Definitie van een Budget-Geconditioneerde Veiligheidsset:
   In plaats van een statische veilige set te gebruiken, definiëren de auteurs een set van toestanden en acties die veilig blijven zolang er nog een "budget" over is voor toekomstige kosten.

   • Ze definiëren een optimale kosten-waarde functie $V^*_C(s)$ en actie-waarde functie $Q^*_C(s, a)$.
   • Een toestand $s$ behoort tot de persistent safety set $S_P(\delta)$ als de minimale verwachte toekomstige kosten binnen het resterende budget $\delta$ blijven ($V^*_C(s) \leq \delta$).
   • De veilige acties $A_P(s, \delta)$ zijn die acties waarvoor $Q^*_C(s, a) \leq \delta$.

2. Budget-Adaptieve MDP (BAMDP):
   Om dit concept te integreren in het leerproces, wordt de oorspronkelijke CMDP uitgebreid tot een Budget-Adaptive MDP.

   • De toestandsruimte wordt verrijkt met een dynamische budgetvariabele: $\bar{S} = S \times \mathbb{R}^+$.
   • Er worden twee functies gedefinieerd:
     • $f$: Initialiseert het budget op basis van de starttoestand.
     • $g$: Update het budget na elke transitie.
   • Voor deterministische omgevingen wordt het budget direct verlaagd met de kosten ($\delta' = \delta - c(s,a)/\gamma$).
   • Voor stochastische omgevingen wordt een "Soft Budget-Tracking" methode gebruikt die rekening houdt met de verwachte toekomstige waarden om te garanderen dat de agent binnen de veilige set blijft, zelfs bij onzekerheid.

3. Offline RL Implementatie (BCRL):
   Het algoritme BCRL (Budget-Conditioned Reachability RL) integreert dit raamwerk met bestaande offline RL-algoritmen (zoals IQL, XQL, SparseQL).

   • Fase 1: Leer een kosten-critic ($Q^*_C, V^*_C$) die de minimale cumulatieve kosten schat, volledig onafhankelijk van de beloning.
   • Fase 2: Train een beleidsagent om de beloning te maximaliseren binnen de uitgebreide BAMDP. De agent wordt beperkt tot acties die binnen de persistent safety set $A_P(s, \delta)$ vallen.
   • Dit elimineert de noodzaak voor min-max training of Lagrangiaanse vermenigvuldigers, wat het leerproces aanzienlijk stabieler maakt.

Belangrijkste Bijdragen

• Ontkoppeling van Doelen: Het raamwerk scheidt het leren van veiligheidsbeperkingen (kosten-minimalisatie) van het leren van prestaties (beloningsmaximalisatie), wat de stabiliteit vergroot.
• Dynamische Budgetten: In plaats van statische, episode-level beperkingen, gebruikt de methode stap-voor-stap budgetten die dynamisch worden aangepast, waardoor onveilige acties op elk tijdstip kunnen worden "gepruned" (uitgesloten).
• Theoretische Garantie: De auteurs bewijzen dat voor zowel deterministische als stochastische CMDP's, het beperken van het beleid tot de budget-geconditioneerde veilige set ($\Pi_P$) voldoende is om de cumulatieve kostenbeperking te garanderen.
• Plug-and-Play: De methode is compatibel met bestaande offline RL-algoritmen en vereist geen generatieve modellen of online rollouts.

Resultaten

De auteurs evalueren BCRL op drie niveaus:

1. Synthetische Grid-Worlds: In deterministische omgevingen bereikt BCRL de optimale oplossing (vergelijkbaar met Lineaire Programmering). In stochastische omgevingen is het iets conservatiever maar behoudt het de veiligheid.
2. DSRL Benchmarks: Op 38 taken uit de DSRL benchmark (SafetyGym, BulletGym, MetaDrive) presteert BCRL consistent beter dan state-of-the-art baselines (zoals CDT, CAPS, CCAC, LSPC).
   • BCRL produceert veilige beleidsregels in 100% van de taken (38/38), terwijl andere methoden vaak falen of onveilig zijn.
   • Het bereikt de hoogste gemiddelde beloning onder veilige beleidsregels.
3. Real-World Maritime Navigation: In een simulatie van scheepvaart in de Straat van Singapore (gebaseerd op historische AIS-data):
   • BCRL verlaagt het aantal "close-quarter" situaties (risicovolle naderingen) van 30% naar 26%.
   • Het behaalt de hoogste succesratio (88%) en de laagste afwijking van experttrajecten (ADE), terwijl het realistische snelheids- en acceleratieprofielen behoudt.
   • Het is aanzienlijk sneller in training dan concurrenten (minuten in plaats van uren).

Betekenis en Impact

Dit paper biedt een fundamentele doorbraak in veilig offline Reinforcement Learning. Door de afhankelijkheid van instabiele adversariale training te doorbreken en in plaats daarvan te vertrouwen op reachability-analyse met dynamische budgetten, biedt BCRL een robuust, efficiënt en theoretisch onderbouwd raamwerk.

De methode maakt het mogelijk om veilige beleidsregels te leren voor complexe, risicovolle toepassingen (zoals scheepvaart, autonoom rijden en robotica) uitsluitend uit historische data, zonder dat er gevaarlijke exploratie in de echte wereld nodig is. Dit maakt het een cruciale stap naar de praktische implementatie van veilige AI-systemen.