Resumo Técnico: Gateamento de Risco Condicionado à Ação para Controle Crítico de Segurança sob Observabilidade Parcial

1. Declaração do Problema

Muitos problemas de controle do mundo real são simultaneamente críticos para a segurança e parcialmente observáveis (POMDP). Nestes cenários, os agentes devem tomar decisões com base em observações incompletas (por exemplo, sensores ruidosos, dinâmicas ambientais ocultas) enquanto equilibram o desempenho da tarefa contra o risco de falhas raras, mas catastróficas. Exemplos incluem a regulação automatizada da glicose (onde a absorção de refeições e as dinâmicas da insulina são latentes) e a navegação com restrições de segurança (onde perturbações latentes podem tornar ações aparentemente seguras perigosas).

Embora o framework de Processo de Decisão de Markov Parcialmente Observável (POMDP) forneça uma abordagem fundamentada ao manter um estado de crença sobre variáveis latentes, ele enfrenta desafios significativos de implantação em domínios críticos para a segurança:

• Custo Computacional: O planejamento online no espaço de crenças é frequentemente intratável em configurações contínuas e de alta dimensionalidade.
• Dependência de Modelo: Atualizações precisas de crença exigem modelos de transição e observação precisos, que frequentemente não estão disponíveis.
• Sobrecarga de Informação: Um estado de crença completo pode conter mais informações do que o necessário para controladores cujas decisões de segurança são dominadas por restrições de horizonte curto.

O artigo postula que, para tais tarefas, manter explicitamente uma crença de estado latente completa pode ser desnecessário. Em vez disso, a questão decisiva crítica é frequentemente mais estreita: "É provável que uma ação candidata cause uma violação de segurança de curto prazo?"

2. Metodologia: Gateamento de Risco Condicionado à Ação

Os autores propõem um framework de aprendizado por reforço (RL) leve e com gateamento de risco que evita atualizações explícitas de crença. O método baseia-se em dois componentes principais: um estado proxy dependente de histórico compacto e um preditor de perigo de curto prazo condicionado à ação.

2.1 Construção do Estado Proxy

Em vez de manter um estado de crença $b_t = P(s_t | H_t)$, o controlador comprime os $W$ passos mais recentes do histórico em um estado proxy $o_t$:
$$o_t = \phi(W^W_t) \in \tilde{\mathcal{S}}$$
onde $W^W_t = (y_{t-W+1}, a_{t-W+1}, \dots, y_t)$ representa a janela recente de observações e ações. Este proxy serve como entrada tanto para a previsão de risco quanto para o aprendizado de valor.

2.2 Previsão de Risco Condicionada à Ação

Para cada ação candidata $a \in \mathcal{A}$, o controlador aprende um preditor $\hat{\rho}(o_t, a)$ que estima a probabilidade de uma violação de segurança dentro de um horizonte curto:
$$\hat{\rho}(o_t, a) \approx P(E_t(a) = 1 | H_t)$$
Crucialmente, este risco é computado separadamente para cada ação candidata. Isso permite que o controlador distinga entre ações que são provavelmente seguras e aquelas que induzem perigos de curto prazo, mesmo sob observações parciais idênticas.

2.3 Estimativa de Valor com Gateamento de Risco

O framework utiliza um ensemble de $M$ críticos $\{Q_m(o, a)\}$ para fornecer estimativas de valor otimistas ($Q^+$) e conservadoras ($Q^-$). O risco previsto $\hat{\rho}$ é usado para interpolar entre essas estimativas, criando uma função de valor consciente do risco $Q_{gate}$:
$$Q_{gate}(o, a) = (1 - \hat{\rho}(o, a))Q^+(o, a) + \hat{\rho}(o, a)Q^-(o, a)$$

• Baixo Risco: Quando $\hat{\rho}$ é pequeno, $Q_{gate}$ aproxima-se de $Q^+$, incentivando comportamentos de busca por recompensa.
• Alto Risco: Quando $\hat{\rho}$ é grande, $Q_{gate}$ desvia-se para $Q^-$, desencorajando ações com retornos incertos ou potencialmente inseguros.

2.4 Seleção de Política e Treinamento

No momento da decisão, o controlador aplica um filtro de admissibilidade rígido baseado em um limite de risco especificado pelo usuário $R_{max}$:

1. Construa o conjunto de ações seguras: $A_{safe}(o_t) = \{a \in \mathcal{A} : \hat{\rho}(o_t, a) \leq R_{max}\}$.
2. Se $A_{safe}$ não estiver vazio, selecione a ação que maximiza $Q_{gate}$.
3. Se $A_{safe}$ estiver vazio, recorra à ação com o risco previsto mínimo.

Durante o treinamento, o preditor de risco e o ensemble de críticos são atualizados conjuntamente. O sinal de recompensa para os críticos é moldado para incluir uma penalidade de risco ($\tilde{r}_t = r_t - \lambda_{risk}\hat{\rho}_t(a_t)$), garantindo que a função de valor reflita tanto o desempenho da tarefa quanto o ônus de segurança.

3. Contribuições Principais

O artigo faz três contribuições primárias:

1. Um Framework Novel: Um framework de controle crítico para segurança para POMDPs que substitui atualizações explícitas de crença por um estado proxy dependente de histórico compacto e uma estimativa de perigo de curto prazo condicionada à ação.
2. Avaliação de Ação com Gateamento de Risco: Uma regra no momento da decisão que usa o perigo previsto para interpolar entre estimativas de valor de ensemble otimistas e conservadoras, permitindo que o controlador adapte seu conservadorismo dinamicamente com base no risco específico de cada ação candidata.
3. Validação Empírica: Demonstração em dois domínios distintos (regulação de glicose e navegação) de que este design alcança um equilíbrio favorável entre desempenho da tarefa, segurança e eficiência computacional, comparado tanto ao planejamento baseado em crença quanto a baselines padrão de Safe-RL.

4. Resultados Experimentais

O método foi avaliado em dois domínios parcialmente observáveis críticos para a segurança:

4.1 Regulação Automatizada de Glicose (Simulador UVa/Padova)

• Configuração: Testado em coortes de adultos e adolescentes com observabilidade parcial em relação à absorção de refeições e dinâmicas da insulina.
• Desempenho: O método proposto (RiskGated) alcançou o maior Tempo no Intervalo (TIR) para ambas as coortes (82,0% para adultos, 71,6% para adolescentes), superando PPO, Safe-PPO e baselines POMDP.
• Segurança: Mantiveu métricas competitivas de hipoglicemia e hiperglicemia, evitando os trade-offs observados em outros métodos (por exemplo, Safe-PPO reduzindo hipoglicemia mas aumentando hiperglicemia).
• Eficiência: Reduziu drasticamente o tempo de execução computacional em comparação com o planejamento POMDP (por exemplo, reduzindo o tempo de execução total de ~1351s para ~144s para adultos) e a latência por passo de ~62ms para ~4,4ms.

4.2 Navegação Safety-Gym

• Configuração: Avaliado nos benchmarks SafetyPointGoal1 e SafetyPointCircle1.
• Desempenho: O RiskGated alcançou a melhor razão recompensa-custo entre todos os métodos.
• Trade-offs: Reduziu significativamente os custos médios de segurança em comparação com o PPO sem restrições (por exemplo, 36,93 vs. 109,87 em Goal1) enquanto mantinha recompensas não triviais, evitando o "colapso de recompensa" observado em alguns métodos de Safe-RL restritos.

4.3 Ablação e Análise

• Previsão de Risco: O preditor aprendido mostrou alta alinhamento com o risco realizado post-hoc (correlação 0,9982) e alta concordância na travessia de limiar (98,12%).
• Sensibilidade: O método foi estável em variações no comprimento da janela do proxy ($W$) e no tamanho do ensemble ($M$). O limite de risco ($R_{max}$) atuou como um botão ajustável para o trade-off segurança-desempenho.

5. Significado e Alegações

O artigo alega que o risco de curto prazo condicionado à ação pode servir como um sinal local eficaz para controle aproximado sensível ao risco quando o planejamento completo no espaço de crenças é impraticável.

• Alternativa Prática: A abordagem oferece um "meio-termo leve" entre o planejamento POMDP clássico (que é computacionalmente caro e dependente de modelo) e o Safe RL padrão (que frequentemente assume observabilidade total do estado).
• Aproximação Orientada à Decisão: Em vez de tentar reconstruir o posterior completo sobre estados latentes, o método foca na quantidade específica relevante para a segurança imediata: a probabilidade de uma violação de curto prazo para uma ação específica.
• Escalabilidade: Ao evitar atualizações recursivas de crença, o método escala para domínios onde o planejamento no espaço de crenças é intratável, enquanto ainda fornece garantias de segurança através do mecanismo de filtragem com gateamento de risco.

Os autores concluem que, embora a representação proxy e os recursos de perigo permaneçam parcialmente específicos do domínio, o framework demonstra que a manutenção explícita de crença não é estritamente necessária para um controle eficaz crítico para a segurança se o controlador puder estimar com precisão perigos de curto prazo condicionados à ação a partir do histórico recente.