Resumo Técnico: Alcance Conformal para Controle Seguro em Ambientes Desconhecidos

1. Definição do Problema

O artigo aborda o desafio de projetar políticas de controle provadamente seguras para sistemas autônomos operando em ambientes dinâmicos desconhecidos. Embora o Aprendizado por Reforço (RL) tenha avançado a autonomia, as abordagens padrão frequentemente carecem de garantias de segurança rigorosas, tipicamente otimizando para o desempenho médio ou baseando-se em uma segurança empírica que falha em cenários críticos de segurança.

As técnicas existentes de verificação e síntese enfrentam limitações significativas:

• Suposições de Sistemas Conhecidos/Determinísticos: Muitos métodos assumem que a dinâmica do sistema é conhecida ou determinística, o que raramente é verdade na prática.
• Espaços de Estados/Ações Finitos: Abordagens frequentemente exigem espaços de estados ou ações finitos, limitando a aplicabilidade a sistemas contínuos.
• Escalabilidade e Suavidade: Métodos formais como a alcancabilidade de Hamilton-Jacobi não escalam bem com a complexidade do sistema, e muitos métodos baseados em aprendizado assumem dinâmicas suaves ou formas de modelo específicas (ex: Processos Gaussianos).
• Garantias Aproximadas: Os métodos atuais de RL seguro oferecem segurança apenas "em média" (ex: via MDPs Restritos) ou no limite, em vez de oferecerem garantias probabilísticas de horizonte finito para dinâmicas potencialmente estocásticas e desconhecidas.

O problema central é aprender uma política que maximize a recompensa cumulativa enquanto garante que o sistema permaneça dentro de um conjunto seguro $S_s$ para um horizonte de decisão $K$ com uma garantia rigorosa de alta probabilidade, apesar de não possuir conhecimento prévio da dinâmica do sistema $P$ ou da função de recompensa $r$.

2. Metodologia: ReCORS

Os autores propõem o ReCORS (Reachability with COnformal uncertainty sets for Reinforcement learning with Safety guarantees), um framework que integra RL baseado em modelo e livre de modelo com Predição Conformal (CP) e análise de alcancabilidade.

2.1 Aproximação da Dinâmica do Sistema

O método aprende um modelo de dinâmica paramétrico de tempo discreto $\hat{f}_\beta$ (uma rede neural) que mapeia pares estado-ação para o próximo estado previsto.

• Treinamento Consciente de Segurança: Diferente do aprendizado de dinâmica padrão, a função de perda para $\hat{f}_\beta$ incorpora pesos de segurança. Dimensões do espaço de estados que são mais críticas para as restrições de segurança (ex: proximidade de obstáculos) recebem pesos maiores na perda $\ell_2$. Isso prioriza a precisão da previsão em dimensões críticas de segurança, mesmo que aumente ligeiramente o erro de previsão global.
• Pipeline de Treinamento: O modelo é pré-treinado em ações aleatórias e depois refinado iterativamente junto com a política usando dados coletados da política atual.

2.2 Análise de Segurança Conformal (CSA)

Para fornecer garantias probabilísticas sem assumir distribuições específicas de dinâmica, o ReCORS utiliza a Predição Conformal (CP).

• Quantificação de Incerteza: A CP é usada para gerar intervalos de previsão válidos (conjuntos de incerteza) para o modelo de dinâmica. Para um dado estado e ação, o próximo estado real está garantido dentro do intervalo $[\hat{f}(s,a) - \eta, \hat{f}(s,a) + \eta]$ com probabilidade $1-\alpha$.
• Limites de Nível de Trajetória: Para evitar limites de união excessivamente conservadores sobre os passos de tempo, os autores utilizam um escore de não conformidade de nível de trajetória (baseado em Cleaveland et al. [12]). Isso otimiza os pesos para cada passo de tempo para produzir limites mais estreitos ao longo de todo o horizonte $K$.
• Verificação de Alcancabilidade: Usando a dinâmica aprendida $\hat{f}_\beta$ e os limites de incerteza conformal $\eta$, o sistema realiza a análise de alcancabilidade direta (forward reachability analysis). Ele verifica se o conjunto de estados alcançáveis em qualquer tempo $t \in [1, K]$ intercepta o conjunto inseguro $S_u$.
• Distribuição do Estado Inicial: O framework contabiliza a incerteza na distribuição do estado inicial $\rho$ aplicando limites de cauda de amostra finita (desigualdade de Hoeffding) aos resultados de verificação empírica, garantindo que a garantia de segurança se aplique a toda a distribuição, e não apenas aos estados iniciais amostrados.

2.3 Pipeline de Treinamento Diferenciável

Uma inovação fundamental é tornar o processo de verificação de segurança diferenciável para permitir a otimização da política de ponta a ponta.

• Preditor Conformal Neural: Uma rede neural separada $\eta_\omega$ é treinada para prever os limiares de conformidade $\eta$. Isso substitui o cálculo de quantil não diferenciável no CP padrão.
• Funções de Perda:
  • Perda Conformal: Combina um termo de eficiência (minimizando o tamanho do conjunto de previsão) e um termo de cobertura (garantindo que a cobertura empírica atenda ao alvo $1-\alpha$).
  • Perda de Segurança: Penaliza explicitamente a violação máxima de segurança ao longo do horizonte e incentiva a melhoria dos escores de segurança do passo inicial ao final.
• Otimização Conjunta: A política (ator), o crítico, o modelo de dinâmica e o preditor conformal são otimizados conjuntamente. A perda total combina o objetivo de recompensa padrão de RL com as perdas conformal e de segurança.
• Aprendizado de Currículo: O algoritmo emprega uma estratégia de currículo, começando com um horizonte de segurança curto $K_0$ e aumentando incrementalmente conforme a política alcança segurança provável, permitendo que o sistema aprenda comportamentos complexos gradualmente.

3. Principais Contribuições

1. Análise de Segurança Conformal (CSA): Um framework inovador que combina predição conformal com análise de alcancabilidade para controladores baseados em aprendizado em sistemas dinâmicos desconhecidos. Ele fornece garantias de segurança probabilísticas rigorosas sem assumir suavidade ou formas específicas das dinâmicas subjacentes.
2. Aprendizado de Política Segura Provável: Um framework de treinamento que integra RL livre de modelo (para maximização de recompensa) com estimativa de alcancabilidade baseada em modelo (para segurança). Ele impõe restrições de segurança rígidas via funções de perda diferenciáveis derivadas de conjuntos de incerteza conformal.
3. Avaliação Abrangente: Experimentos extensos em sete ambientes (incluindo Cartpole, Lane Following, Quadrotors 2D/3D, CarGoal e HalfCheetah) com especificações de segurança lineares (afins) e não lineares.

4. Resultados Experimentais

Os autores avaliaram o ReCORS contra cinco baselines de última geração (PPOLag, PCPO, CRPO, P3O, RESPO).

• Segurança Verificada: O ReCORS alcançou garantias de segurança prováveis significativamente mais fortes do que todos os baselines. Por exemplo, no ambiente Cartpole, os baselines falharam em fornecer garantias úteis além de um horizonte de $K=20$, enquanto o ReCORS manteu garantias de segurança de alta probabilidade até $K \ge 50$.
• Trade-off Recompensa vs. Segurança: Embora alguns baselines tenham alcançado recompensas maiores, eles o fizeram à custa de propriedades de segurança ruins (violações frequentes). O ReCORS foi o único método a alcançar consistentemente tanto alto desempenho quanto segurança verificada. Em alguns domínios (ex: Quadrotor 2D), o ReCORS superou todos os baselines tanto em recompensa quanto em segurança.
• Restrições Não Lineares: A abordagem lidou com sucesso com restrições de segurança não lineares (ex: distância segura em Quadrotor 2D), superando baselines que ou falharam em verificar a segurança ou resultaram em comportamentos conservadores (ex: drones permanecendo estacionários).
• Estudos de Ablação: Os resultados confirmaram a importância dos pesos de consciência de segurança no treinamento da dinâmica e da otimização conjunta dos modelos de dinâmica e incerteza.

5. Significância e Alegações

O artigo afirma apresentar uma abordagem inovadora que preenche a lacuna entre alto desempenho de aprendizado e verificação de segurança rigorosa em ambientes desconhecidos. Sua significância reside em:

• Remoção de Suposições Restritivas: Ao contrário de trabalhos anteriores, ele não assume dinâmicas conhecidas, determinísticas ou suaves, nem requer espaços de estados finitos.
• Garantias Independentes de Distribuição: Ao utilizar a predição conformal, ele fornece quantificação de incerteza estatisticamente calibrada e independente de distribuição, tornando as garantias de segurança robustas a erros de modelo e estocasticidade desconhecida.
• Escalabilidade: A formulação de alcancabilidade de passos finitos em tempo discreto escala melhor com a complexidade do sistema em comparação com métodos de Hamilton-Jacobi baseados em EDPs.
• Aplicabilidade Prática: O método é demonstrado como eficaz em diversos domínios, oferecendo um caminho viável para a autonomia confiável onde a segurança não pode ser comprometida pelo desempenho.

Os autores reconhecem limitações, observando que a abordagem atual assume a observabilidade perfeita do estado do sistema, o que permanece um problema aberto para trabalhos futuros.