Resumo Técnico: Aproveitamento de Gradientes Analíticos em Aprendizado por Reforço Provavelmente Seguro

Declaração do Problema

A implantação de robôs autônomos em aplicações críticas para a segurança exige garantias rigorosas de segurança. Embora o Aprendizado por Reforço (RL) frequentemente supere o controle clássico em ambientes incertos e de alta dimensionalidade, ele carece de garantias de segurança inerentes. Um desafio crítico surge ao treinar agentes em simulação para implantação no mundo real (a lacuna "sim-to-real"). Se o treinamento ocorrer sem salvaguardas, o agente pode convergir para políticas que dependem de estados ou ações inseguras. Quando uma salvaguarda é posteriormente aplicada durante a implantação, ela pode restringir a política a regiões subótimas ou causar falha em paisagens de objetivos não convexas, porque o agente nunca aprendeu soluções seguras alternativas.

Embora várias abordagens de salvaguarda existam para RL baseado em amostragem (por exemplo, PPO, SAC), que dependem de teoremas de gradiente de política, há uma falta de mecanismos de salvaguarda para RL baseado em gradientes analíticos. Esses métodos analíticos (por exemplo, Short-Horizon Actor-Critic, SHAC) utilizam simuladores diferenciáveis para calcular gradientes exatos de primeira ordem da recompensa em relação às ações via retropropagação. As salvaguardas existentes, frequentemente projetadas como etapas de pós-processamento para métodos baseados em amostragem, não podem ser aplicadas ingenuamente a paradigmas baseados em gradientes analíticos porque podem interromper o grafo computacional diferenciável necessário para a retropropagação ou falhar em fornecer os sinais de gradiente necessários para a otimização da política.

Metodologia

Os autores propõem um framework para otimização de política provadamente segura usando gradientes analíticos. A abordagem central integra uma camada de salvaguarda diferenciável entre a saída da política e a dinâmica do ambiente.

1. Framework e Diferenciabilidade

O framework trata a salvaguarda como um mapa diferenciável $g: \mathcal{A} \to \mathcal{A}_s$, onde $\mathcal{A}$ é o espaço de ações viável e $\mathcal{A}_s$ é o conjunto de ações seguras. A política $\pi$ produz uma ação $a_i$, que é transformada em uma ação segura $a_{s,i} = g(a_i)$. O ambiente então transita para $s_{i+1}$ e gera uma recompensa $r_i$. Para treinar a política, o gradiente da recompensa em relação aos parâmetros da política é calculado via retropropagação através de toda a cadeia, incluindo a salvaguarda:
$$\frac{\partial r_i}{\partial a_i} = \left( \frac{\partial r_i}{\partial a_{s,i}} + \frac{\partial r_i}{\partial s_{i+1}}\frac{\partial s_{i+1}}{\partial a_{s,i}} \right) \frac{\partial a_{s,i}}{\partial a_i}$$
Isso exige que a salvaguarda seja subdiferenciável (idealmente $C^1$) e forneça jacobianos de posto completo para evitar a diminuição do sinal de aprendizado.

2. Conjuntos de Ações Seguras e Representação

Os autores utilizam zonótopos para representar conjuntos seguros devido à sua compacidade e fechamento sob mapas lineares. Eles distinguem entre:

• Conjuntos de Ações Seguras Especificados: Restrições definidas diretamente.
• Conjuntos de Ações Seguras Derivados: Computados via análise de alcançabilidade (por exemplo, conjuntos invariantes de controle robusto) para garantir que a execução de uma ação mantenha o sistema dentro de um conjunto de estados seguros $S_s$.

3. Mecanismos de Salvaguarda e Modificações

O artigo analisa e adapta dois métodos existentes de salvaguarda diferenciável:

• Projeção de Fronteira (BP): Mapeia uma ação insegura para o ponto mais próximo na fronteira do conjunto seguro.

  • Problema: Não é $C^1$ em todos os lugares e possui jacobianos de posto deficiente na direção da projeção, eliminando efetivamente os gradientes para ações paralelas à direção de projeção.
  • Modificação: Os autores introduzem um termo de regularização na função de perda ($l(a, s, a_s) = l_r(a_s, s) + c_d \|a_s - a\|_2^2$). Isso aumenta o gradiente na direção do mapeamento, compensando a deficiência de posto e incentivando a política a preferir ações seguras.

• Máscara de Raio (RM): Mapeia ações radialmente em direção a um "centro seguro" $c_{As}$ dentro do conjunto seguro.

  • Problema: A máscara de raio linear padrão altera significativamente ações seguras e possui gradientes diminuídos na direção do mapeamento.
  • Modificações:
    1. Regularização: Similar à BP, para incentivar a segurança.
    2. Passagem Direta (Passthrough): Substituindo o jacobiano por uma matriz identidade para computação mais rápida e propagação de gradiente sem impedimentos (válido apenas se a ação ótima for conhecida como segura).
    3. Máscara de Raio Hiperbólica (HRM): Uma nova função de mapeamento usando uma tangente hiperbólica ($\tanh$) para mapear ações inseguras próximas à fronteira enquanto perturba minimamente ações seguras. Isso mantém um jacobiano completo e um mapeamento suave.

4. Aproximação do Centro Seguro

Para conjuntos de ações seguras derivados onde o centro não é explicitamente definido, o artigo propõe dois métodos de aproximação:

• Aproximação Zonotópica: Maximização do volume de um zonótopo contido.
• Aproximação Ortogonal: Perfurar o conjunto seguro ortogonalmente à fronteira e tomar o ponto médio.
  Experimentos sugerem que a abordagem zonotópica produz convergência superior e políticas finais devido às suas propriedades de mapeamento contínuo.

Principais Contribuições

1. Primeiro RL de Gradiente Analítico Provavelmente Seguro: O artigo apresenta a primeira abordagem de salvaguarda eficaz projetada especificamente para aprendizado por reforço baseado em gradientes analíticos.
2. Análise Teórica: Uma análise aprofundada de salvaguardas diferenciáveis, identificando propriedades necessárias (segurança, subdiferenciabilidade, jacobianos de posto completo, intervenção mínima, velocidade) e demonstrando como métodos existentes falham em atendê-las sem modificação.
3. Adaptações Algorítmicas: O desenvolvimento de modificações direcionadas, incluindo funções de perda regularizadas para projeção de fronteira e uma nova máscara de raio hiperbólica, para garantir propagação de gradiente eficaz.
4. Avaliação Empírica: Uma avaliação abrangente em três tarefas de controle (pêndulo, quadrotor e gerenciamento de energia) comparando métodos de gradiente analítico (SHAC) contra baselines baseadas em amostragem (PPO, SAC) sob treinamento inseguro e salvaguardado.

Resultados

Os autores avaliaram sua abordagem usando o algoritmo SHAC contra as baselines PPO e SAC em três ambientes:

• Eficiência de Amostragem: Em tarefas de equilíbrio (pêndulo, quadrotor), o aprendizado com gradiente analítico salvaguardado (SHAC) alcançou retornos finais superiores ou comparáveis com menos interações com o ambiente do que os métodos baseados em amostragem.
• Preservação de Desempenho: Contrariamente ao medo de que salvaguardas degradem o desempenho, as salvaguardas modificadas (especificamente BP regularizada e HRM) permitiram que o SHAC alcançasse retornos equivalentes ou superiores ao treinamento inseguro em tarefas de equilíbrio.
• Tarefa de Sistema de Energia: Na tarefa de gerenciamento de energia (caracterizada por alto ruído), o SHAC inicialmente teve desempenho inferior ao PPO em configurações inseguras. No entanto, no treinamento salvaguardado, o SHAC mostrou melhoria significativa, estreitando a lacuna de desempenho com o PPO. Os autores atribuem isso ao efeito estabilizador de gradientes diminuídos em ambientes ruidosos.
• Convergência: A introdução de regularização reduziu significativamente o número de execuções não convergentes, particularmente para a projeção de fronteira na tarefa de pêndulo unidimensional, onde a perda de gradiente era anteriormente fatal.
• Sobrecarga Computacional: A salvaguarda introduz custos computacionais. A projeção de fronteira aumentou o tempo de treinamento em aproximadamente 5x, e a Máscara de Raio em quase 10x em comparação com o treinamento inseguro, principalmente devido aos solucionadores de otimização (CVXPY) necessários para as restrições do conjunto seguro.

Significado e Alegações

O artigo afirma preencher uma lacuna crítica no aprendizado por reforço seguro, permitindo treinamento provadamente seguro para o paradigma de alto desempenho baseado em gradientes analíticos. Os autores afirmam que:

• As salvaguardas podem ser integradas diretamente no loop de treinamento do RL de gradiente analítico sem comprometer o desempenho, desde que as salvaguardas sejam diferenciáveis e os gradientes sejam preservados.
• As modificações propostas (regularização e mapeamento hiperbólico) são essenciais para superar a deficiência de posto e os problemas de supressão de gradiente inerentes a aplicações ingênuas de salvaguardas existentes.
• Essa abordagem facilita a transferência "sim-to-real" garantindo que os agentes aprendam comportamentos seguros durante a simulação, reduzindo o risco de falha ao serem implantados em cenários do mundo real críticos para a segurança.

O trabalho conclui que, embora a sobrecarga computacional permaneça um desafio, o trade-off é justificado pela capacidade de treinar agentes com garantias formais de segurança, desbloqueando o potencial do RL de gradiente analítico para robótica crítica para a segurança.