Technische Zusammenfassung: Aktionskonditioniertes Risikogating für sicherheitskritische Steuerung unter partieller Beobachtbarkeit

1. Problemstellung

Viele reale Steuerungsprobleme sind sowohl sicherheitskritisch als auch partiell beobachtbar (POMDP). In diesen Szenarien müssen Agenten Entscheidungen auf Basis unvollständiger Beobachtungen treffen (z. B. verrauschte Sensoren, verborgene Umweltdynamiken), wobei sie die Aufgabenerfüllung gegen das Risiko seltener, aber katastrophaler Ausfälle abwägen müssen. Beispiele umfassen die automatisierte Glukoseregulierung (wobei die Nahrungsaufnahme und Insulindynamik latent sind) sowie sicherheitsbeschränkte Navigation (wobei latente Störungen scheinbar sichere Handlungen gefährlich machen können).

Während das Partially Observable Markov Decision Process (POMDP)-Rahmenwerk durch die Aufrechterhaltung eines Glaubenszustands über latente Variablen einen prinzipiellen Ansatz bietet, steht es in sicherheitskritischen Domänen vor erheblichen Herausforderungen bei der Implementierung:

• Rechenkosten: Die Online-Planung im Glaubensraum ist in kontinuierlichen, hochdimensionalen Settings oft unlösbar.
• Modellabhängigkeit: Präzise Glaubensupdates erfordern genaue Übergangs- und Beobachtungsmodelle, die häufig nicht verfügbar sind.
• Informationsüberlastung: Ein vollständiger Glaubenszustand kann mehr Informationen enthalten als für Controller notwendig ist, deren Sicherheitsentscheidungen von kurzfristigen Constraints dominiert werden.

Die Arbeit geht davon aus, dass für solche Aufgaben die explizite Aufrechterhaltung eines vollständigen latenten Zustands-Glaubens unnötig sein kann. Stattdessen lautet die entscheidende Frage oft enger: „Ist eine Kandidatenhandlung wahrscheinlich, eine kurzfristige Sicherheitsverletzung zu verursachen?"

2. Methodik: Aktionskonditioniertes Risikogating

Die Autoren schlagen ein leichtgewichtiges, risikogesteuertes Reinforcement-Learning (RL)-Rahmenwerk vor, das explizite Glaubensupdates vermeidet. Die Methode stützt sich auf zwei Kernkomponenten: einen kompakten, historienabhängigen Proxy-Zustand und einen aktionskonditionierten Prädiktor für kurzfristige Gefahren.

2.1 Konstruktion des Proxy-Zustands

Anstatt einen Glaubenszustand $b_t = P(s_t | H_t)$ aufrechtzuerhalten, komprimiert der Controller die letzten $W$ Schritte der Historie in einen Proxy-Zustand $o_t$:
$$o_t = \phi(W^W_t) \in \tilde{\mathcal{S}}$$
wobei $W^W_t = (y_{t-W+1}, a_{t-W+1}, \dots, y_t)$ das aktuelle Fenster aus Beobachtungen und Aktionen darstellt. Dieser Proxy dient als Eingabe sowohl für die Risikovorhersage als auch für das Wertlernen.

2.2 Aktionskonditionierte Risikovorhersage

Für jede Kandidatenhandlung $a \in \mathcal{A}$ lernt der Controller einen Prädiktor $\hat{\rho}(o_t, a)$, der die Wahrscheinlichkeit einer Sicherheitsverletzung innerhalb eines kurzen Horizonts schätzt:
$$\hat{\rho}(o_t, a) \approx P(E_t(a) = 1 | H_t)$$
Entscheidend ist, dass dieses Risiko separat für jede Kandidatenhandlung berechnet wird. Dies ermöglicht es dem Controller, zwischen Handlungen, die wahrscheinlich sicher sind, und solchen, die kurzfristige Gefahren hervorrufen, zu unterscheiden, selbst unter identischen partiellen Beobachtungen.

2.3 Risikogesteuerte Wertabschätzung

Das Rahmenwerk nutzt ein Ensemble aus $M$ Kritikern $\{Q_m(o, a)\}$, um optimistische ($Q^+$) und konservative ($Q^-$) Wertabschätzungen bereitzustellen. Der vorhergesagte RisikoWert $\hat{\rho}$ wird verwendet, um zwischen diesen Schätzungen zu interpolieren und eine risikobewusste Wertfunktion $Q_{gate}$ zu erstellen:
$$Q_{gate}(o, a) = (1 - \hat{\rho}(o, a))Q^+(o, a) + \hat{\rho}(o, a)Q^-(o, a)$$

• Niedriges Risiko: Wenn $\hat{\rho}$ klein ist, nähert sich $Q_{gate}$ $Q^+$ an und fördert belohnungsorientiertes Verhalten.
• Hohes Risiko: Wenn $\hat{\rho}$ groß ist, verschiebt sich $Q_{gate}$ hin zu $Q^-$ und schreckt Handlungen mit unsicheren oder potenziell unsicheren Erträgen ab.

2.4 Politikauswahl und Training

Zum Entscheidungszeitpunkt wendet der Controller einen harten Zulässigkeitsfilter basierend auf einem vom Benutzer spezifizierten Risikoschwellenwert $R_{max}$ an:

1. Konstruktion der sicheren Handlungsmenge: $A_{safe}(o_t) = \{a \in \mathcal{A} : \hat{\rho}(o_t, a) \leq R_{max}\}$.
2. Wenn $A_{safe}$ nicht leer ist, wird die Handlung ausgewählt, die $Q_{gate}$ maximiert.
3. Wenn $A_{safe}$ leer ist, wird auf die Handlung mit dem minimalen vorhergesagten Risiko zurückgegriffen.

Während des Trainings werden der Risikoprädiktor und das Kritiker-Ensemble gemeinsam aktualisiert. Das Belohnungssignal für die Kritiker wird so geformt, dass es eine Risikostrafe enthält ($\tilde{r}_t = r_t - \lambda_{risk}\hat{\rho}_t(a_t)$), wodurch sichergestellt wird, dass die Wertfunktion sowohl die Aufgabenerfüllung als auch die Sicherheitsbelastung widerspiegelt.

3. Hauptbeiträge

Die Arbeit leistet drei primäre Beiträge:

1. Ein neues Rahmenwerk: Ein sicherheitskritisches Steuerungsrahmenwerk für POMDPs, das explizite Glaubensupdates durch einen kompakten, historienabhängigen Proxy-Zustand und eine aktionskonditionierte Schätzung kurzfristiger Gefahren ersetzt.
2. Risikogesteuerte Handlungsbewertung: Eine Entscheidungsregel, die die vorhergesagte Gefahr nutzt, um zwischen optimistischen und konservativen Ensemble-Wertabschätzungen zu interpolieren, wodurch der Controller seine Konservativität dynamisch an das spezifische Risiko jeder Kandidatenhandlung anpassen kann.
3. Empirische Validierung: Demonstration in zwei unterschiedlichen Domänen (Glukoseregulierung und Navigation), dass dieses Design im Vergleich sowohl zu glaubensbasierter Planung als auch zu Standard-Safe-RL-Baselines eine günstige Balance zwischen Aufgabenerfüllung, Sicherheit und Recheneffizienz erreicht.

4. Experimentelle Ergebnisse

Die Methode wurde in zwei sicherheitskritischen, partiell beobachtbaren Domänen evaluiert:

4.1 Automatisierte Glukoseregulierung (UVa/Padova-Simulator)

• Aufbau: Getestet an Erwachsenen- und Jugendkohorten mit partieller Beobachtbarkeit bezüglich Nahrungsaufnahme und Insulindynamik.
• Leistung: Die vorgeschlagene Methode (RiskGated) erzielte die höchste Time in Range (TIR) für beide Kohorten (82,0 % für Erwachsene, 71,6 % für Jugendliche) und übertraf PPO, Safe-PPO und POMDP-Baselines.
• Sicherheit: Sie hielt wettbewerbsfähige Metriken für Hypoglykämie und Hyperglykämie aufrecht und vermied die Trade-offs anderer Methoden (z. B. Safe-PPO reduziert Hypoglykämie, erhöht aber Hyperglykämie).
• Effizienz: Sie reduzierte die Rechenlaufzeit drastisch im Vergleich zur POMDP-Planung (z. B. Reduktion der Gesamtlauzeit von ~1351 s auf ~144 s für Erwachsene) und die Latenz pro Schritt von ~62 ms auf ~4,4 ms.

4.2 Safety-Gym Navigation

• Aufbau: Evaluiert auf den Benchmarks SafetyPointGoal1 und SafetyPointCircle1.
• Leistung: RiskGated erzielte das beste Verhältnis von Belohnung zu Kosten unter allen Methoden.
• Trade-offs: Sie reduzierte die durchschnittlichen Sicherheitskosten signifikant im Vergleich zum unbeschränkten PPO (z. B. 36,93 vs. 109,87 bei Goal1), während sie eine nicht-triviale Belohnung beibehielt und den bei einigen eingeschränkten Safe-RL-Methoden beobachteten „Reward Collapse" vermied.

4.3 Ablationsstudie und Analyse

• Risikovorhersage: Der gelernte Prädiktor zeigte eine hohe Übereinstimmung mit dem realisierten nachträglichen Risiko (Korrelation 0,9982) und eine hohe Übereinstimmung bei der Überschreitung des Schwellenwerts (98,12 %).
• Sensitivität: Die Methode war stabil über Variationen der Proxy-Fensterlänge ($W$) und der Ensemblegröße ($M$). Der Risikoschwellenwert ($R_{max}$) fungierte als einstellbarer Regler für den Trade-off zwischen Sicherheit und Leistung.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass aktionskonditioniertes kurzfristiges Risiko als effektives lokales Signal für eine approximative, risikosensitive Steuerung dienen kann, wenn eine vollständige Planung im Glaubensraum unpraktikabel ist.

• Praktische Alternative: Der Ansatz bietet einen „leichtgewichtigen Mittelweg" zwischen klassischer POMDP-Planung (die rechenintensiv und modellabhängig ist) und Standard-Safe-RL (das oft vollständige Zustandsbeobachtbarkeit annimmt).
• Entscheidungsorientierte Approximation: Anstatt zu versuchen, die vollständige Posteriorverteilung über latente Zustände zu rekonstruieren, konzentriert sich die Methode auf die spezifische Größe, die für die unmittelbare Sicherheit relevant ist: die Wahrscheinlichkeit einer kurzfristigen Verletzung für eine bestimmte Handlung.
• Skalierbarkeit: Durch die Vermeidung rekursiver Glaubensupdates skaliert die Methode auf Domänen, in denen die Planung im Glaubensraum unlösbar ist, und bietet dennoch Sicherheitsgarantien durch den risikogesteuerten Filtermechanismus.

Die Autoren schließen, dass, obwohl die Proxy-Repräsentation und die Gefahrenmerkmale teilweise domänenspezifisch bleiben, das Rahmenwerk zeigt, dass die explizite Aufrechterhaltung von Glaubenszuständen für eine effektive sicherheitskritische Steuerung nicht strikt notwendig ist, sofern der Controller kurzfristige Gefahren, die von der Handlung abhängen, aus der jüngsten Historie genau schätzen kann.