Technische Samenvatting: Actie-geconditioneerde Risicogating voor Veiligheidskritieke Controle onder Gedeeltelijke Observabiliteit

1. Probleemstelling

Veel real-world controleproblemen zijn zowel veiligheidskritiek als gedeeltelijk waarneembaar (POMDP). In deze omgevingen moeten agenten beslissingen nemen op basis van onvolledige waarnemingen (bijvoorbeeld ruisbeïnvloede sensoren, verborgen omgevingsdynamiek) terwijl ze prestaties van de taak afwegen tegen het risico van zeldzame maar catastrofale storingen. Voorbeelden zijn geautomatiseerde glucoseregulatie (waarbij maaltijdborsting en insulinedynamiek latent zijn) en navigatie met veiligheidsbeperkingen (waarbij latente verstoringen ogenschijnlijk veilige acties gevaarlijk kunnen maken).

Hoewel het Partially Observable Markov Decision Process (POMDP)-kader een principieel aanbod biedt door een geloofsstaat over latente variabelen te handhaven, staat het voor aanzienlijke uitdagingen bij implementatie in veiligheidskritieke domeinen:

• Rekenkosten: Online planning in de geloofsruimte is vaak onuitvoerbaar in continue, hoogdimensionale omgevingen.
• Modelafhankelijkheid: Accurate updates van de geloofsstaat vereisen precieze transitie- en waarnemingsmodellen, die vaak niet beschikbaar zijn.
• Informatie-overschot: Een volledige geloofsstaat kan meer informatie bevatten dan nodig is voor controllers waarvan veiligheidsbeslissingen worden gedomineerd door kortetermijnbeperkingen.

Het artikel stelt dat voor dergelijke taken het expliciet handhaven van een volledige latente-staat-geloof onnodig kan zijn. In plaats daarvan is de cruciale beslissingsvraag vaak smaller: "Is een kandidaat-actie waarschijnlijk een veiligheidskorting op korte termijn te veroorzaken?"

2. Methodologie: Actie-geconditioneerde Risicogating

De auteurs stellen een lichtgewicht, risicogedreven versterkingsleer (RL)-kader voor dat expliciete geloofsupdates vermijdt. De methode rust op twee kerncomponenten: een compacte, geschiedenisafhankelijke proxy-staat en een actie-geconditioneerde voorspeller van kortetermijngevaar.

2.1 Constructie van de Proxy-staat

In plaats van een geloofsstaat $b_t = P(s_t | H_t)$ te handhaven, comprimeert de controller de meest recente $W$ stappen van geschiedenis tot een proxy-staat $o_t$:
$$o_t = \phi(W^W_t) \in \tilde{\mathcal{S}}$$
waarbij $W^W_t = (y_{t-W+1}, a_{t-W+1}, \dots, y_t)$ het recente venster van waarnemingen en acties vertegenwoordigt. Deze proxy dient als invoer voor zowel risicovoorspelling als waardeleer.

2.2 Actie-geconditioneerde Risicovoorspelling

Voor elke kandidaat-actie $a \in \mathcal{A}$ leert de controller een voorspeller $\hat{\rho}(o_t, a)$ die de waarschijnlijkheid van een veiligheidskorting binnen een korte horizon schat:
$$\hat{\rho}(o_t, a) \approx P(E_t(a) = 1 | H_t)$$
Cruciaal wordt dit risico apart berekend voor elke kandidaat-actie. Dit stelt de controller in staat onderscheid te maken tussen acties die waarschijnlijk veilig zijn en die welke kortetermijngevaar veroorzaken, zelfs onder identieke gedeeltelijke waarnemingen.

2.3 Risicogedreven Waarde-schatting

Het kader maakt gebruik van een ensemble van $M$ critici $\{Q_m(o, a)\}$ om optimistische ($Q^+$) en conservatieve ($Q^-$) waardeschattingen te leveren. De voorspelde risico $\hat{\rho}$ wordt gebruikt om te interpoleren tussen deze schattingen, waardoor een risicobewuste waardenfunctie $Q_{gate}$ ontstaat:
$$Q_{gate}(o, a) = (1 - \hat{\rho}(o, a))Q^+(o, a) + \hat{\rho}(o, a)Q^-(o, a)$$

• Laag risico: Wanneer $\hat{\rho}$ klein is, nadert $Q_{gate}$ $Q^+$, wat beloningszoekend gedrag stimuleert.
• Hoog risico: Wanneer $\hat{\rho}$ groot is, verschuift $Q_{gate}$ naar $Q^-$, wat acties met onzekere of potentieel onveilige returns ontmoedigt.

2.4 Beleidselectie en Training

Op het moment van beslissing past de controller een hard toelaatbaarheidsfilter toe op basis van een door de gebruiker gespecificeerde risicodrempel $R_{max}$:

1. Construeer de veilige actieset: $A_{safe}(o_t) = \{a \in \mathcal{A} : \hat{\rho}(o_t, a) \leq R_{max}\}$.
2. Als $A_{safe}$ niet leeg is, selecteer de actie die $Q_{gate}$ maximaliseert.
3. Als $A_{safe}$ leeg is, val terug naar de actie met het minimale voorspelde risico.

Tijdens training worden de risicovoorspeller en het ensemble van critici gezamenlijk bijgewerkt. Het beloningssignaal voor de critici wordt gevormd om een risicopein te bevatten ($\tilde{r}_t = r_t - \lambda_{risk}\hat{\rho}_t(a_t)$), zodat de waardenfunctie zowel taakprestaties als veiligheidslast weerspiegelt.

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. Een Nieuw Kader: Een veiligheidskritiek controlekader voor POMDP's dat expliciete geloofsupdates vervangt door een compacte, geschiedenisafhankelijke proxy-staat en een actie-geconditioneerde schatting van kortetermijngevaar.
2. Risicogedreven Actie-evaluatie: Een beslissingsregel die gebruikmaakt van voorspeld gevaar om te interpoleren tussen optimistische en conservatieve ensemble-waardeschattingen, waardoor de controller zijn conservatisme dynamisch kan aanpassen op basis van het specifieke risico van elke kandidaat-actie.
3. Empirische Validatie: Demonstratie in twee verschillende domeinen (glucoseregulatie en navigatie) dat dit ontwerp een gunstige balans bereikt tussen taakprestaties, veiligheid en rekenefficiëntie, vergeleken met zowel geloofsbased planning als standaard safe-RL-baselines.

4. Experimentele Resultaten

De methode werd geëvalueerd in twee veiligheidskritieke, gedeeltelijk waarneembare domeinen:

4.1 Geautomatiseerde Glucoseregulatie (UVa/Padova Simulator)

• Opzet: Getest op volwassenen- en adolescenten-cohorten met gedeeltelijke observabiliteit betreffende maaltijdborsting en insulinedynamiek.
• Prestaties: De voorgestelde methode (RiskGated) behaalde de hoogste Tijd in Bereik (TIR) voor beide cohorten (82,0% voor volwassenen, 71,6% voor adolescenten), beter dan PPO, Safe-PPO en POMDP-baselines.
• Veiligheid: Het behield concurrerende hypoglycemie- en hyperglycemie-metingen, en vermijdt de trade-offs die bij andere methoden worden gezien (bijvoorbeeld Safe-PPO die hypoglycemie vermindert maar hyperglycemie verhoogt).
• Efficiëntie: Het verminderde de reken-tijd drastisch in vergelijking met POMDP-planning (bijvoorbeeld het verminderen van de totale runtime van ~1351s naar ~144s voor volwassenen) en de per-stap latentie van ~62ms naar ~4,4ms.

4.2 Safety-Gym Navigatie

• Opzet: Geëvalueerd op SafetyPointGoal1 en SafetyPointCircle1-benchmarks.
• Prestaties: RiskGated behaalde de beste beloning-per-kostverhouding onder alle methoden.
• Trade-offs: Het verminderde de gemiddelde veiligheidskosten aanzienlijk in vergelijking met onbeperkte PPO (bijvoorbeeld 36,93 versus 109,87 op Goal1) terwijl het een niet-triviale beloning behield, en vermijdt de "beloningsinstorting" die bij sommige beperkte safe-RL-methoden wordt waargenomen.

4.3 Ablatie en Analyse

• Risicovoorspelling: De geleerde voorspeller toonde een hoge overeenstemming met gerealiseerd post-hoc risico (correlatie 0,9982) en hoge overeenstemming bij het overschrijden van de drempel (98,12%).
• Gevoeligheid: De methode was stabiel over variaties in de proxy-vensterlengte ($W$) en ensemblegrootte ($M$). De risicodrempel ($R_{max}$) fungeerde als een instelbare knop voor de veiligheids-prestatie trade-off.

5. Betekenis en Claims

Het artikel beweert dat actie-geconditioneerde kortetermijnrisico kan dienen als een effectief lokaal signaal voor benaderende risicogevoelige controle wanneer volledige planning in de geloofsruimte onpraktisch is.

• Praktisch Alternatief: De aanpak biedt een "lichtgewicht middenweg" tussen klassieke POMDP-planning (die rekenkundig duur en modelafhankelijk is) en standaard Safe RL (die vaak volledige staat-observabiliteit aanneemt).
• Beslissingsgerichte Benadering: In plaats van te proberen de volledige posterior over latente staten te reconstrueren, richt de methode zich op de specifieke grootheid die relevant is voor directe veiligheid: de waarschijnlijkheid van een kortetermijnkorting voor een specifieke actie.
• Schaalbaarheid: Door recursieve geloofsupdates te vermijden, schaalt de methode naar domeinen waar planning in de geloofsruimte onuitvoerbaar is, terwijl het toch veiligheidsgaranties biedt via het risicogedreven filtermechanisme.

De auteurs concluderen dat hoewel de proxy-representatie en gevaarfeatures deels domeinspecifiek blijven, het kader aantoont dat expliciete geloofsonderhoud niet strikt noodzakelijk is voor effectieve veiligheidskritieke controle, mits de controller actie-geconditioneerde kortetermijngevaar nauwkeurig kan schatten op basis van recente geschiedenis.