Safe-Support Q-Learning: Learning without Unsafe Exploration

1. Declaração do Problema

Agentes de Aprendizado por Reforço (RL) tipicamente descobrem políticas ótimas através da exploração, o que inerentemente envolve visitar pares estado-ação que podem levar a resultados inseguros ou catastróficos. Embora os métodos existentes de "RL Seguro" tentem mitigar riscos através de restrições, penalidades ou objetivos sensíveis ao risco (por exemplo, Valor Condicional em Risco), eles geralmente não eliminam a visita a estados inseguros durante o treinamento. Frequentemente, eles dependem de limites probabilísticos ou restrições baseadas em expectativa, o que significa que violações de segurança ainda podem ocorrer.

Os autores abordam um requisito de segurança mais estrito: o processo de aprendizado nunca deve produzir trajetórias que visitem estados inseguros. O desafio central é como permitir exploração suficiente e melhoria da política dentro de um "conjunto seguro" ($S_{safe}$) restrito, sem depender de comportamento quase ótimo ou arriscar transições inseguras.

2. Metodologia: Safe-Support Q-Learning

O framework proposto é uma abordagem baseada em Q-learning que restringe todos os componentes de aprendizado ao suporte de um conjunto seguro. Ele opera sob a suposição de que existe uma política de comportamento ($\pi_b$) que é suportada inteiramente em $S_{safe}$ (ou seja, ela nunca visita estados inseguros). Esta política não precisa ser ótima, mas deve ser estocástica para permitir a exploração dentro da região segura.

O framework consiste em três componentes principais:

A. Construção da Política de Comportamento

O método utiliza uma política de comportamento $\pi_b$ suportada em $S_{safe}$. Duas estratégias de instanciação são propostas:

1. HC Safe (Hand-Crafted/Feito à Mão): Utiliza regras ou controladores de bom desempenho (por exemplo, PID, MPC) convertidos em políticas estocásticas. Em espaços contínuos, isso é implementado via Mean-Noise (política determinística + ruído Gaussiano) ou parametrizações Distributional (Gaussiana dependente do estado).
2. DS Safe (Dataset-Based/Baseado em Conjunto de Dados): Treina uma política via estimativa de máxima verossimilhança em um conjunto de dados pré-coletado contendo apenas transições seguras. Isso atua como uma configuração de RL offline onde a política é restrita ao suporte do conjunto de dados.

B. Alvo de Bellman Regularizado por KL

Para evitar que a função Q atribua altos valores a ações Fora de Distribuição (OOD) ou inseguras, os autores modificam o alvo de Bellman padrão. Em vez de usar uma priora uniforme (como no Soft Q-Learning) ou um operador max, eles introduzem um termo de regularização de divergência KL que alinha a função Q com a política de comportamento $\pi_b$.

O valor alvo seguro $y_k^{safe}$ para ações discretas é definido como:
$$y_k^{safe} = r_{k+1} + \mathbb{1}(s_{k+1})\gamma \lambda \ln \left( \sum_{a \in A} \tilde{\pi}_b(a|s_{k+1}) \exp\left(\frac{Q(s_{k+1}, a)}{\lambda}\right) \right)$$
Onde:

• $\tilde{\pi}_b$ é uma versão suavizada da política de comportamento para garantir probabilidades estritamente positivas.
• $\lambda$ é um parâmetro de temperatura.
• Esta formulação efetivamente penaliza desvios da distribuição de comportamento segura, garantindo que a função Q permaneça dentro do suporte de ações seguras.

Garantia Teórica: Os autores provam que o operador de Bellman resultante é uma contração, garantindo um ponto fixo único ($Q^*_\lambda$). A política ótima induzida por esta função Q é um softmax regularizado por KL sobre a política de comportamento:
$$\pi^*_\lambda(a|s) = \frac{\tilde{\pi}_b(a|s) \exp(Q^*_\lambda(s, a)/\lambda)}{\sum_{a'} \tilde{\pi}_b(a'|s) \exp(Q^*_\lambda(s, a')/\lambda)}$$

C. Extração da Política

• Espaços de Ação Discretos: A política ótima é derivada diretamente usando a expressão softmax de forma fechada acima.
• Espaços de Ação Contínuos: Como a integral no denominador é intratável, os autores propõem uma política substituta ($\pi_\phi$) parametrizada como uma Gaussiana. Esta substituta é treinada minimizando a divergência KL entre ela mesma e a política ótima teórica, usando amostragem de Monte Carlo para aproximar a expectativa.

O framework é unificado e adaptável tanto a configurações online quanto offline, bem como a espaços de ação discretos e contínuos.

3. Contribuições Principais

1. Garantia de Segurança Estrita: Diferentemente de métodos anteriores de RL Seguro que limitam o risco, esta abordagem impõe segurança no nível do suporte da trajetória, garantindo que nenhum estado inseguro seja visitado durante o treinamento.
2. Q-Learning Regularizado por KL: Introdução de um novo alvo de Bellman que restringe a função Q ao suporte de uma política de comportamento segura via divergência KL, substituindo a regularização de entropia padrão.
3. Framework de Dois Estágios: Uma separação entre o treinamento da função Q e a extração da política, permitindo aprendizado estável mesmo quando a política de comportamento é subótima, mas segura.
4. Variantes Unificadas: O método fornece um único framework adaptável a vários cenários (Ações Discretas/Contínuas, Políticas de comportamento Feitas à Mão/Baseadas em Conjunto de Dados).

4. Resultados Experimentais

Os autores avaliaram o método nos ambientes FrozenLake e CartPole, comparando-o com Q-learning padrão e baselines de última geração (CQL, BCQ, IQL, TD3+BC, BEAR).

• Estabilidade e Convergência: O método proposto demonstrou convergência mais rápida e menor variância em comparação com as baselines, particularmente em configurações discretas onde outros métodos frequentemente falharam em aprender políticas eficazes.
• Calibração de Valor: Os valores Q aprendidos pelo método proposto foram bem calibrados, correspondendo estreitamente aos retornos de Monte Carlo. Em contraste, as baselines exibiram problemas como colapso de valor, superestimação (divergência acima da diagonal) ou conservadorismo excessivo.
• Segurança vs. Desempenho:
  • No ambiente CartPole, o método proposto alcançou comportamento mais seguro (menores ângulos máximos do pêndulo) em níveis de retorno comparáveis às baselines.
  • Embora algumas baselines tenham alcançado retornos altos, elas frequentemente o fizeram com maior variância ou trajetórias inseguras.
  • O método mostrou uma compensação: quando a política de comportamento era imperfeita (por exemplo, em configurações altamente restritas), o desempenho era limitado, mas a segurança era estritamente mantida.

5. Significado

Este trabalho representa uma mudança significativa no RL Seguro, passando da mitigação de risco (permitindo alguma exploração insegura) para a eliminação de risco (proibindo estritamente a exploração insegura). Ao alavancar uma política de comportamento suportada em um conjunto seguro e regularizar o objetivo do Q-learning, o método fornece uma maneira principial de aprender políticas ótimas em ambientes de alto risco (por exemplo, robótica, direção autônoma) onde até mesmo uma única interação insegura é inaceitável. A garantia teórica de um ponto fixo único e o sucesso prático em manter estimativas de valor bem calibradas tornam este um framework robusto para aplicações críticas de segurança.