CALOS: Control-Affine Lyapunov On-manifold Safety Layer for Safe Deep Reinforcement Learning for Quadrotors

Resumo Técnico: CALOS – Camada de Segurança em Variedade de Lyapunov de Afinidade de Controle

Declaração do Problema
O Aprendizado por Reforço Profundo (DRL) demonstrou uma capacidade significativa no controle de quadricópteros, porém as políticas aprendidas carecem de garantias formais em relação a restrições de segurança durante o treinamento ou implantação. As abordagens atuais de DRL seguro enfrentam uma tensão persistente: Processos de Decisão de Markov Restritos (CMDPs) podem desestabilizar o aprendizado, enquanto filtros de tempo de execução (blindagem ou funções de barreira de controle) frequentemente degradam os sinais de gradiente se corrigirem as ações de forma muito agressiva. Além além disso, limitações arquiteturais atuais impedem a otimização conjunta de múltiplos certificados de segurança. Métodos como o ATACOM projetam ações em variedades de restrição, mas carecem de certificados baseados em energia para dissipação rotacional, enquanto métodos baseados em Lyapunov frequentemente tratam as restrições de forma independente, correndo o risco de violar uma restrição ao satisfazer outra. A composição sequencial desses métodos falha em garantir a viabilidade conjunta, particularmente quando grandes erros de rastreamento exigem autoridade máxima de controle, o que a escala sequencial frequentemente anula.

Metodologia
O artigo propõe o CALOS (Control-Affine Lyapunov On-manifold Safety), uma camada de segurança de tempo de execução que opera transparentemente sobre uma política padrão de DRL (especificamente PPO - Proximal Policy Optimization) sem modificar o algoritmo de aprendizado subjacente. O CALOS unifica restrições de inclinação de atitude e uma condição de estabilidade de Lyapunov em um único Programa Quadrático (QP) para calcular a correção de norma mínima para a saída de torque nominal.

1. Restrições de Inclinação (Projeção de Inclinação Preditiva):
   A atitude é representada pelo vetor da gravidade no referencial do corpo ($g_b$) para evitar singularidades de ângulos de Euler. Usando uma discretização de Euler simplética, o futuro vetor da gravidade é modelado como uma função afim do torque de controle. Esta formulação permite a imposição de limites de roll e pitch ($\phi_{max} = \theta_{max} = 60^\circ$) como quatro desigualdades lineares ($A_{PTP}\tau \le b_{PTP}$).

2. Restrição de Lyapunov:
   Uma função candidata de Lyapunov $V(x)$ é definida com base no erro de inclinação e velocidade angular. A camada impõe uma condição de decaimento $\dot{V} \le -cV$, que, devido à natureza de afinidade de controle das dinâmicas rotacionais, traduz-se em uma única desigualdade linear ($A_L\tau \le b_L$). Isso garante a dissipação de energia rotacional.

3. Formulação Unificada:
   Ao contrário das abordagens sequenciais que aplicam a projeção de inclinação seguida pela escala de Lyapunov (o que pode levar à anulação de torque quando os erros são grandes), o CALOS empilha as cinco restrições lineares (quatro de inclinação, uma de Lyapunov) em um único sistema. A camada de segurança resolve:
   $$\tau^\star = \arg \min_{\tau \in \mathbb{R}^3} \frac{1}{2} \|\tau - \tau_0\|^2 \quad \text{sujeito a} \quad A(x)\tau \le b(x)$$
   onde $\tau_0$ é o torque nominal da política.

4. Solvers:

   • CALOS-P: Uma aproximação projetada usando uma correção de pseudo-inversa amortecida. Ele impõe todas as restrições conjuntamente sem garantir a solução de norma mínima exata, priorizando a velocidade para o treinamento paralelo de larga escala.
   • CALOS-QP: Um solver exato que explora o espaço de torque tridimensional. Ele enumera todos os possíveis conjuntos ativos (26 candidatos) para encontrar a solução de norma mínima exata que satisfaça as condições de Karush–Kuhn–Tucker (KKT). Se nenhuma solução viável existir, o sistema retorna à ação da política não corrigida com o clamping do atuador.

Principais Contribuições

• Camada de Segurança Unificada: A primeira camada de tempo de execução que otimiza conjuntamente as restrições de inclinação e a estabilidade de Lyapunov em um único passo de QP, evitando os problemas de viabilidade da composição sequencial.
• Escalabilidade em Tempo Real: O solver exato (CALOS-QP) é computacionalmente eficiente o suficiente para rodar em milhares de ambientes de simulação paralelos, um requisito para o treinamento moderno de DRL massivamente paralelo.
• Zero Violações em Trajetórias de Treinamento: O método impõe as restrições estritamente durante o treinamento, impedindo que o agente explore regiões inseguras do espaço de estados.

Resultados Experimentais
Avaliado no NVIDIA Isaac Lab em tarefas de rastreamento de trajetória, o CALOS foi comparado com PPO sem restrições, projeção de inclinação isolada (PTP), escala de Lyapunov isolada e uma cascata sequencial de ambos.

• Desempenho de Rastreamento: O CALOS-P e o CALOS-QP reduziram o erro de rastreamento lateral em 55–60% em relação à linha de base PPO sem restrições nas trajetórias de treinamento. Em trajetórias não vistas com grandes deslocamentos iniciais de posição, as variantes CALOS mantiveram erros abaixo de 0,08 m, enquanto os métodos de Lyapunov e Cascata falharam no rastreamento devido à anulação de torque.
• Métricas de Segurança: Na trajetória de treinamento, o CALOS-QP alcançou zero violações de restrição de atitude. Sob deslocamentos iniciais extremos, as violações foram limitadas a no máximo 3 passos consecutivos (CALOS-P) ou 9 passos (CALOS-QP), comparado a até 27 passos para os métodos sequenciais.
• Convergência e Eficiência de Dados: Ao restringir a exploração para regiões seguras, o CALOS acelerou a convergência do treinamento.
• Comportamento Internalizado: Políticas treinadas com CALOS retiveram comportamento mais seguro e preciso mesmo quando a camada de segurança era desativada no teste, mostrando 55–74% menos erro lateral do que as políticas treinadas com PPO. Isso indica que a política internalizou com sucesso as restrições de segurança.

Significância
O artigo afirma que o CALOS resolve o compromisso entre a imposição de segurança e a eficiência de aprendizado. Ao formular a segurança como um único QP de baixa dimensão, ele garante que o sinal de gradiente não seja degradado por correções sequenciais agressivas. O método permite que a política aprenda comportamentos ótimos dentro da variedade segura, resultando em políticas inerentemente mais seguras e eficientes em termos de dados sem sacrificar o desempenho de rastreamento. Os autores observam que o conjunto viável do QP permaneceu não vazio em todos os testes, confirmando a robustez da formulação conjunta.

Trabalhos Futuros
Os autores identificam três direções para pesquisas futuras:

1. Desenvolvimento de certificados de Lyapunov aprendidos e conscientes da tarefa para evitar intervenções desnecessárias quando o drone rastreia uma atitude de referência não nula, mas viável.
2. Extensão do framework para dinâmicas não de afinidade de controle (ex: modelos incluindo dinâmicas de velocidade do rotor ou efeitos de flapping de pá).
3. Investigação de transferência sim-to-real usando randomização de domínio e filtros de segurança baseados em dados para lidar com incerteza de modelo em hardware físico.