Resumo Técnico: Otimização de Política Constrained via Projeção no Espaço de Pesos Baseada em Amostragem (SCPO)

1. Declaração do Problema

O artigo aborda o desafio da aprendizagem crítica para segurança, especificamente a necessidade de melhorar o desempenho de controladores baseados em aprendizado sem violar restrições de segurança ou sair de um regime operacional seguro conhecido. Os autores focam em um cenário onde:

• Restrições de Segurança são Baseadas em Rollout: A segurança é definida por métricas em nível de trajetória (por exemplo, restrições de estado, margens de estabilidade) que podem ser avaliadas via simulação (rollouts), mas não são analiticamente diferenciáveis em relação aos parâmetros da política.
• Restrições de Caixa Preta: As funções de restrição $g(\theta)$ carecem de Jacobianos em forma fechada, tornando os métodos padrão de otimização com restrições (como aqueles que exigem gradientes explícitos das restrições) inaplicáveis.
• Objetivo: Realizar otimização de política com restrições que garanta viabilidade recursiva (permanecer seguro a cada etapa de treinamento) e melhoria monótona do objetivo da tarefa, começando a partir de uma inicialização segura certificada.

2. Metodologia: SCPO

Os autores propõem o SCPO (Otimização de Política Constrained Baseada em Amostragem), um método que impõe segurança diretamente no espaço de pesos da rede da política.

2.1 Arquitetura e Inicialização

Inspirado pela Adaptação de Baixo RANK (LoRA), a política $\pi_\theta$ é estruturada como uma combinação de um controlador baseline certificado ($\pi_{safe}$) e uma rede neural residual ($\phi_\theta$):
$$\pi_\theta(x) = \begin{cases} \pi_{safe}(x) + \phi_\theta(x) & x \notin X_f \\ \pi_{safe}(x) & x \in X_f \end{cases}$$

• $\pi_{safe}$: Um controlador estabilizador não paramétrico (por exemplo, LQR com clipping) que garante segurança e estabilidade dentro de uma região $\Omega$.
• $\phi_\theta$: Uma rede neural inicializada para produzir zero ($\phi_{\theta_0} \equiv 0$). Isso garante que a política inicial seja idêntica à baseline segura.
• Objetivo de Aprendizado: O processo de treinamento é visto como "adaptação segura" na vizinhança de $\pi_{safe}$, onde $\phi_\theta$ aprende a melhorar o desempenho enquanto o mecanismo de projeção garante que a política combinada permaneça estabilizadora.

2.2 Construção de Região Segura Local

Como $g(\theta)$ é não diferenciável, o SCPO constrói um conjunto seguro local no espaço de pesos usando:

1. Avaliações Pontuais: Métricas de segurança são avaliadas em um conjunto finito de atualizações candidatas de pesos (rollouts).
2. Limites de Suavidade: O método assume continuidade Lipschitz local das restrições de segurança. Utiliza um limite superior quadrático para aproximar a superfície de restrição:
   $$g_i(\theta_t + \Delta\theta) \leq g_i(\theta_t) + \nabla g_i(\theta_t)^\top \Delta\theta + \frac{L_i}{2}\|\Delta\theta\|^2$$
   onde $L_i$ são constantes de curvatura estimadas a partir de atualizações amostradas.

2.3 Projeção Baseada em Amostragem

Em vez de resolver diretamente um problema de otimização com restrições de alta dimensão, o SCPO restringe a atualização ao espaço gerado por atualizações candidatas amostradas ($D$).

• Banco de Candidatos: Um buffer $D$ armazena atualizações recentes e suas respectivas avaliações de segurança $G$.
• Projeção de Baixa Dimensão: A atualização é parametrizada como $\Delta\theta = Dc$, onde $c \in \mathbb{R}^m$ é um vetor de coeficientes.
• Otimização Convexa: O problema reduz-se a um Programa de Cone de Segunda Ordem (SOCP) (ou Programa Quadrático com Restrições Quadráticas) no espaço de baixa dimensão $c$:
  $$\min_c \|c - e_m\|_S^2 \quad \text{s.t.} \quad (1 - \mathbf{1}^\top c)g(\theta_t) + Gc + \frac{1}{2}(c^\top Sc + |c|^\top \text{diag}(S))L \leq 0$$
  Isso projeta a atualização de gradiente bruta em um conjunto seguro local conservador, garantindo que os novos pesos satisfaçam as restrições de segurança.

2.4 Garantias Teóricas

• Seguro por Indução: Começando a partir de uma inicialização segura ($g(\theta_0) \leq 0$), a projeção garante $g(\theta_{t+1}) \leq 0$ para todas as etapas subsequentes, desde que a projeção seja viável.
• Estabilidade: Para sistemas dinâmicos lineares, o método preserva a margem de Lyapunov, garantindo que o sistema em malha fechada permaneça localmente assintoticamente estável e que a região segura $\Omega$ seja invariante para frente.
• Melhoria Monótona: Usando uma busca linear de retrocesso estilo Armijo, o algoritmo garante uma diminuição na perda da tarefa $L(\theta)$ sem violar restrições.

3. Contribuições Principais

1. Projeção no Espaço de Pesos: Um método inovador baseado em amostragem que realiza projeção de segurança diretamente no espaço de parâmetros, sem exigir gradientes das funções de restrição.
2. Mecanismo Seguro por Indução: Um framework de aprendizado que garante viabilidade recursiva e melhoria monótona do objetivo, começando a partir de qualquer inicialização segura.
3. Análise Teórica de Controle: Uma prova formal de que o SCPO mantém a estabilidade em malha fechada para sistemas lineares, preservando margens de Lyapunov.
4. Validação Empírica: Demonstração de robustez contra supervisão prejudicial e exploração segura em tarefas de regressão com restrições e aprendizado por imitação.

4. Resultados Experimentais

Os autores avaliam o SCPO em duas tarefas:

4.1 Regressão com Restrições

• Configuração: Um problema de regressão 1D onde a função alvo viola uma restrição rígida ($|y| \leq 1.4$) em certas regiões.
• Resultado: O SCPO ajusta com sucesso a função alvo em regiões seguras, saturando suavemente na fronteira da restrição. Diferentemente de uma baseline de restrição suave (que requer restrições diferenciáveis e ajuste de hiperparâmetros), o SCPO impõe estritamente a restrição rígida sem violação.

4.2 Aprendizado por Imitação de Integrador Duplo

• Configuração: Uma tarefa de controle onde uma rede neural tenta imitar um "especialista malicioso" (uma política agressiva que desestabiliza o sistema) enquanto começa a partir de uma baseline segura LQR.
• Resultado:
  • Rejeição de Atualizações Prejudiciais: O SCPO rejeita atualizações que levariam à instabilidade, impedindo que a política imite o comportamento desestabilizador do especialista.
  • Preservação da Estabilidade: A política aprendida mantém a região estabilizadora do controlador seguro original, enquanto o especialista malicioso falha em estabilizar o sistema em grande parte do espaço de estados.
  • Desempenho: A política alcança melhoria significativa no objetivo de imitação, permanecendo dentro do regime operacional seguro.

5. Significado e Limitações

Significado:
O artigo afirma que o SCPO fornece uma abordagem prática e orientada por dados para aprendizado seguro que não depende de custos explícitos de restrição ou filtros de segurança diferenciáveis. Ao tratar um controlador de backup certificado como uma base congelada e projetar atualizações no espaço de pesos, ele permite adaptação segura além de baselines conservadoras. Isso é particularmente relevante para domínios como direção autônoma e robótica, onde garantias formais são difíceis de derivar, mas a segurança é não negociável.

Limitações:
Os autores reconhecem que o método é conservador. A etapa de projeção não gera novas direções para melhoria; ela apenas seleciona a melhor direção segura entre os candidatos amostrados existentes. Os autores observam que trabalhos futuros visam integrar outras técnicas para modificar o objetivo visando uma exploração segura aprimorada, abordando essa conservadorismo.

Conclusão:
O SCPO oferece um framework rigoroso para otimização de política com restrições que preenche a lacuna entre aprendizado de alto desempenho e requisitos estritos de segurança, garantindo que controladores baseados em aprendizado permaneçam seguros e estáveis ao longo de todo o processo de treinamento.