Riepilogo Tecnico: Soglia di Rischio Condizionata all'Azione per il Controllo Critico per la Sicurezza in Condizioni di Osservabilità Parziale

1. Enunciato del Problema

Molti problemi di controllo del mondo reale sono sia critici per la sicurezza che parzialmente osservabili (POMDP). In questi contesti, gli agenti devono prendere decisioni basate su osservazioni incomplete (ad esempio, sensori rumorosi, dinamiche ambientali nascoste) bilanciando le prestazioni del compito contro il rischio di fallimenti rari ma catastrofici. Esempi includono la regolazione automatica del glucosio (dove l'assorbimento dei pasti e le dinamiche dell'insulina sono latenti) e la navigazione vincolata alla sicurezza (dove disturbi latenti possono rendere azioni apparentemente sicure pericolose).

Sebbene il framework del Processo Decisionale di Markov Parzialmente Osservabile (POMDP) offra un approccio fondato mantenendo uno stato di credenza su variabili latenti, affronta sfide significative nel deployment in domini critici per la sicurezza:

• Costo Computazionale: La pianificazione nello spazio delle credenze online è spesso intrattabile in contesti continui e ad alta dimensionalità.
• Dipendenza dal Modello: Aggiornamenti accurati delle credenze richiedono modelli di transizione e osservazione precisi, che sono frequentemente non disponibili.
• Sovraccarico Informativo: Uno stato di credenza completo può contenere più informazioni del necessario per controllori le cui decisioni di sicurezza sono dominate da vincoli a breve orizzonte.

L'articolo ipotizza che per tali compiti, mantenere esplicitamente una credenza completa sullo stato latente possa essere non necessario. Invece, la domanda decisionale critica è spesso più ristretta: "È probabile che un'azione candidata causi una violazione della sicurezza a breve termine?"

2. Metodologia: Soglia di Rischio Condizionata all'Azione

Gli autori propongono un framework di apprendimento per rinforzo (RL) leggero e con soglia di rischio che evita aggiornamenti espliciti delle credenze. Il metodo si basa su due componenti fondamentali: uno stato proxy dipendente dalla storia e compatto, e un predittore di pericolo a breve termine condizionato all'azione.

2.1 Costruzione dello Stato Proxy

Invece di mantenere uno stato di credenza $b_t = P(s_t | H_t)$, il controller comprime i più recenti $W$ passi di storia in uno stato proxy $o_t$:
$$o_t = \phi(W^W_t) \in \tilde{\mathcal{S}}$$
dove $W^W_t = (y_{t-W+1}, a_{t-W+1}, \dots, y_t)$ rappresenta la finestra recente di osservazioni e azioni. Questo proxy serve come input sia per la previsione del rischio che per l'apprendimento del valore.

2.2 Previsione del Rischio Condizionata all'Azione

Per ogni azione candidata $a \in \mathcal{A}$, il controller impara un predittore $\hat{\rho}(o_t, a)$ che stima la probabilità di una violazione della sicurezza entro un orizzonte breve:
$$\hat{\rho}(o_t, a) \approx P(E_t(a) = 1 | H_t)$$
Crucialmente, questo rischio è calcolato separatamente per ogni azione candidata. Ciò permette al controller di distinguere tra azioni che sono probabilmente sicure e quelle che inducono pericoli a breve termine, anche sotto osservazioni parziali identiche.

2.3 Stima del Valore con Soglia di Rischio

Il framework utilizza un insieme di $M$ critici $\{Q_m(o, a)\}$ per fornire stime di valore ottimistiche ($Q^+$) e conservative ($Q^-$). Il rischio previsto $\hat{\rho}$ viene utilizzato per interpolare tra queste stime, creando una funzione di valore consapevole del rischio $Q_{gate}$:
$$Q_{gate}(o, a) = (1 - \hat{\rho}(o, a))Q^+(o, a) + \hat{\rho}(o, a)Q^-(o, a)$$

• Rischio Basso: Quando $\hat{\rho}$ è piccolo, $Q_{gate}$ si avvicina a $Q^+$, incoraggiando comportamenti di ricerca della ricompensa.
• Rischio Alto: Quando $\hat{\rho}$ è grande, $Q_{gate}$ si sposta verso $Q^-$, scoraggiando azioni con ritorni incerti o potenzialmente non sicuri.

2.4 Selezione della Politica e Addestramento

Al momento della decisione, il controller applica un filtro di ammissibilità rigido basato su una soglia di rischio specificata dall'utente $R_{max}$:

1. Costruire l'insieme delle azioni sicure: $A_{safe}(o_t) = \{a \in \mathcal{A} : \hat{\rho}(o_t, a) \leq R_{max}\}$.
2. Se $A_{safe}$ non è vuoto, selezionare l'azione che massimizza $Q_{gate}$.
3. Se $A_{safe}$ è vuoto, ricorrere all'azione con il rischio previsto minimo.

Durante l'addestramento, il predittore di rischio e l'insieme dei critici vengono aggiornati congiuntamente. Il segnale di ricompensa per i critici è modellato per includere una penalità di rischio ($\tilde{r}_t = r_t - \lambda_{risk}\hat{\rho}_t(a_t)$), assicurando che la funzione di valore rifletta sia le prestazioni del compito che il carico di sicurezza.

3. Contributi Chiave

L'articolo apporta tre contributi principali:

1. Un Nuovo Framework: Un framework di controllo critico per la sicurezza per POMDP che sostituisce gli aggiornamenti espliciti delle credenze con uno stato proxy compatto dipendente dalla storia e una stima di pericolo a breve termine condizionata all'azione.
2. Valutazione delle Azioni con Soglia di Rischio: Una regola al momento della decisione che utilizza il pericolo previsto per interpolare tra stime di valore ottimistiche e conservative di un insieme, permettendo al controller di adattare il proprio conservatorismo dinamicamente in base al rischio specifico di ogni azione candidata.
3. Validazione Empirica: Dimostrazione in due domini distinti (regolazione del glucosio e navigazione) che questo design raggiunge un equilibrio favorevole tra prestazioni del compito, sicurezza ed efficienza computazionale rispetto sia alla pianificazione basata su credenze che alle baseline standard di Safe-RL.

4. Risultati Sperimentali

Il metodo è stato valutato in due domini parzialmente osservabili critici per la sicurezza:

4.1 Regolazione Automatica del Glucosio (Simulatore UVa/Padova)

• Configurazione: Testato su coorti di adulti e adolescenti con osservabilità parziale riguardo all'assorbimento dei pasti e alle dinamiche dell'insulina.
• Prestazioni: Il metodo proposto (RiskGated) ha raggiunto il più alto Tempo nel Intervallo (TIR) per entrambe le coorti (82,0% per gli adulti, 71,6% per gli adolescenti), superando PPO, Safe-PPO e le baseline POMDP.
• Sicurezza: Ha mantenuto metriche competitive di ipoglicemia e iperglicemia, evitando i compromessi osservati in altri metodi (ad esempio, Safe-PPO riduce l'ipoglicemia ma aumenta l'iperglicemia).
• Efficienza: Ha drasticamente ridotto il tempo di esecuzione computazionale rispetto alla pianificazione POMDP (ad esempio, riducendo il tempo di esecuzione totale da ~1351s a ~144s per gli adulti) e la latenza per passo da ~62ms a ~4,4ms.

4.2 Navigazione Safety-Gym

• Configurazione: Valutato sui benchmark SafetyPointGoal1 e SafetyPointCircle1.
• Prestazioni: RiskGated ha raggiunto il miglior rapporto ricompensa-per-costo tra tutti i metodi.
• Compromessi: Ha ridotto significativamente i costi medi di sicurezza rispetto a PPO senza vincoli (ad esempio, 36,93 vs 109,87 su Goal1) mantenendo una ricompensa non banale, evitando il "collasso della ricompensa" osservato in alcuni metodi Safe-RL vincolati.

4.3 Ablazione e Analisi

• Previsione del Rischio: Il predittore appreso ha mostrato un'alta allineamento con il rischio realizzato a posteriori (correlazione 0,9982) e un'alta concordanza sul superamento della soglia (98,12%).
• Sensibilità: Il metodo è stato stabile attraverso variazioni nella lunghezza della finestra proxy ($W$) e nella dimensione dell'insieme ($M$). La soglia di rischio ($R_{max}$) ha agito come una manopola regolabile per il compromesso sicurezza-prestazioni.

5. Significato e Affermazioni

L'articolo afferma che il rischio a breve termine condizionato all'azione può servire come segnale locale efficace per un controllo approssimato sensibile al rischio quando la pianificazione completa nello spazio delle credenze è impraticabile.

• Alternativa Pratica: L'approccio offre una "via di mezzo leggera" tra la pianificazione POMDP classica (che è costosa dal punto di vista computazionale e dipendente dal modello) e il Safe RL standard (che spesso assume piena osservabilità dello stato).
• Approssimazione Orientata alla Decisione: Piuttosto che tentare di ricostruire l'intera posterior sulle stati latenti, il metodo si concentra sulla quantità specifica rilevante per la sicurezza immediata: la probabilità di una violazione a breve termine per un'azione specifica.
• Scalabilità: Evitando aggiornamenti ricorsivi delle credenze, il metodo scala a domini in cui la pianificazione nello spazio delle credenze è intrattabile, fornendo comunque garanzie di sicurezza attraverso il meccanismo di filtraggio con soglia di rischio.

Gli autori concludono che, sebbene la rappresentazione proxy e le caratteristiche di pericolo rimangano parzialmente specifiche del dominio, il framework dimostra che il mantenimento esplicito delle credenze non è strettamente necessario per un controllo efficace critico per la sicurezza se il controller può stimare accuratamente i pericoli a breve termine condizionati all'azione dalla storia recente.