Solving Parameter-Robust Avoid Problems with Unknown Feasibility using Reinforcement Learning

Título: Solução de Problemas de Evitação Robusta a Parâmetros com Viabilidade Desconhecida usando Aprendizado por Reforço

1. O Problema

O artigo aborda uma lacuna fundamental na aplicação de Aprendizado por Reforço (RL) profundo à síntese de controladores seguros ótimos.

• Desalinhamento Fundamental: A síntese de controladores seguros baseia-se na análise de Hamilton-Jacobi (HJ), que busca maximizar o conjunto de estados iniciais dos quais um sistema permanece seguro indefinidamente (segurança no pior caso). Em contraste, o RL padrão otimiza o retorno esperado sobre uma distribuição de estados iniciais especificada pelo usuário. Isso resulta em políticas que performam bem em estados frequentes na distribuição, mas falham catastróficamente em regiões de baixa probabilidade que ainda estão dentro do conjunto de operação seguro.
• Otimização Robusta e Viabilidade Desconhecida: Uma alternativa natural é formular o problema como uma otimização robusta sobre um conjunto de condições iniciais (parâmetros $\theta$ que definem estado inicial, dinâmica e conjunto seguro). No entanto, existe um desafio crítico: não se sabe a priori quais parâmetros são viáveis (ou seja, para quais parâmetros existe algum controlador que possa manter o sistema seguro).
  • Se o conjunto de parâmetros for inviável (nenhum controlador funciona para todos), qualquer política terá o mesmo objetivo ótimo (falha), tornando o problema trivial e inútil.
  • O objetivo real é encontrar simultaneamente o maior subconjunto viável de parâmetros e uma política que garanta a segurança para esse subconjunto.

2. Metodologia: Exploração Guiada pela Viabilidade (FGE)

Os autores propõem o FGE (Feasibility-Guided Exploration), um framework que intercala a estimativa do conjunto viável e a otimização robusta da política. O método consiste em três componentes principais:

A. Estimação do Conjunto Viável de Parâmetros ($\Theta^*$)

• Desafio: Os rótulos de viabilidade são assimétricos. Se um parâmetro é observado como seguro, ele é viável (rótulo positivo confiável). Se é observado como inseguro, pode ser devido a uma política subótima, não necessariamente à inviabilidade do parâmetro (rótulo negativo ruidoso).
• Solução: Os autores treinam um classificador de viabilidade conservador ($q_\psi$) que nunca marca um parâmetro inviável como viável (zero falsos positivos), mas permite falsos negativos controlados.
• Mecanismo: Utiliza uma distribuição de mistura ($p_{mix}$) que combina:
  1. Parâmetros observados como seguros (rótulos positivos confiáveis).
  2. Amostras "on-policy" (que podem conter falsos negativos, mas revelam a fronteira do conjunto viável).
• O classificador é treinado via inferência variacional para aproximar a probabilidade de viabilidade, permitindo a rejeição de parâmetros claramente inviáveis durante a exploração.

B. Otimização Robusta com Busca de Ponto de Sela

• Uma vez estimado o conjunto viável $\Theta^*$, o problema torna-se um jogo minimax: encontrar a política que minimiza o custo no pior caso dentro de $\Theta^*$.
• Abordagem: Em vez de usar adversários simples (como no RARL), o FGE utiliza métodos de aprendizado online para encontrar pontos de sela.
  • O "adversário" (que seleciona o pior parâmetro $\theta$) é restrito explicitamente ao conjunto viável estimado.
  • A política é atualizada usando Follow-the-Regularized-Leader (FTRL) com um regularizador quadrático. Isso estabiliza as atualizações da política e evita oscilações quando o parâmetro pior muda, garantindo convergência teórica (em média) sob certas condições de convexidade/concavidade.

C. Expansão do Conjunto Viável (Exploração)

• Para evitar que a política fique presa em um conjunto viável pequeno (devido a um feedback negativo onde uma política fraca não explora parâmetros difíceis), o FGE introduz uma distribuição de exploração.
• Usando o classificador de viabilidade, o algoritmo realiza amostragem por rejeição em regiões que o classificador estima como inviáveis (mas que podem ser viáveis). Isso força a política a tentar resolver parâmetros difíceis, expandindo o conjunto de parâmetros conhecidos como seguros ($D_f$) e refinando o classificador ao longo do tempo.

O algoritmo final mistura três distribuições para o treinamento:

1. Base: Distribuição original.
2. Exploração: Parâmetros difíceis/inviáveis estimados para expandir o conjunto.
3. Repetição (Rehearsal): Parâmetros viáveis onde a política atual tem baixo desempenho (para garantir robustez).

3. Contribuições Principais

1. Formulação Formal: Definição do problema de "evitação robusta a parâmetros com viabilidade desconhecida", que une a seleção de uma região viável máxima e a síntese de uma política segura.
2. Framework Prático (FGE): Um método que intercala:
   • Expansão do conjunto viável guiada por restrições (exploração ativa).
   • Otimização robusta da política usando técnicas de ponto de sela e aprendizado online.
3. Desempenho Superior: Demonstração empírica de que o FGE aprende políticas com conjuntos seguros significativamente maiores do que métodos existentes, especialmente em condições iniciais desafiadoras.

4. Resultados Experimentais

Os testes foram realizados no simulador MuJoCo e em cenários de voo e direção autônoma, comparando o FGE com métodos de RL Robusto (Domain Randomization, RARL), Aprendizado de Currículo (VDS, PLR) e Design de Ambiente Não Supervisionado (UED - PAIRED, FARR, etc.).

• Métricas: O desempenho foi medido pela Taxa de Segurança (segurança em parâmetros viáveis), Ganho de Cobertura (quantos parâmetros "difíceis" foram descobertos como seguros) e Perda de Cobertura (quantos parâmetros "fáceis" foram perdidos).
• Desempenho Geral: O FGE alcançou consistentemente as maiores taxas de segurança, superando o método mais próximo em mais de 50% na cobertura de parâmetros difíceis em várias tarefas.
• Análise de Casos:
  • Em tarefas como Dubins (carro autônomo) e Hopper (robô saltitante), o FGE conseguiu resolver condições iniciais extremamente raras e difíceis (ex: ultrapassagens apertadas, recuperação de quedas em plataformas) que outros métodos falharam.
  • O FGE demonstrou capacidade de concentrar amostras eficientemente em regiões de alta dificuldade, enquanto métodos baseados em heurísticas de UED falharam em focar corretamente.
• Escalabilidade: O método escalou bem para observações de alta dimensão (imagens RGB) e espaços de parâmetros de alta dimensão (9D), mantendo a superioridade sobre Domain Randomization e outras técnicas de currículos.
• Estudos de Ablação:
  • Remover a distribuição de exploração reduziu drasticamente o ganho de cobertura.
  • Remover o buffer de repetição (rehearsal) causou instabilidade no treinamento.
  • O uso de um classificador de viabilidade (em vez de modelos de densidade) provou ser superior para identificar a fronteira de segurança.

5. Significado e Conclusão

O trabalho resolve um problema crítico na síntese de controladores seguros: a dependência de distribuições de amostragem arbitrárias que ignoram regiões de baixa probabilidade mas críticas para a segurança.

• Inovação: Ao tratar a viabilidade como uma variável a ser aprendida simultaneamente à política, o FGE evita o colapso de políticas em cenários inviáveis e garante que o sistema aprenda a operar no maior conjunto possível de condições operacionais.
• Impacto: O método oferece uma abordagem mais rigorosa e eficiente para garantir segurança em sistemas de alta dimensão (como aviação e direção autônoma), onde a segurança no pior caso é essencial e a viabilidade não é conhecida a priori.
• Limitações Futuras: O método assume dinâmicas determinísticas; estendê-lo para dinâmicas estocásticas (usando restrições de chance) é um desafio futuro. Além disso, as garantias teóricas de convergência dependem de suposições (como convexidade) que podem não ser estritamente satisfeitas em problemas não lineares complexos, embora os resultados empíricos sejam robustos.

Em resumo, o FGE representa um avanço significativo na interseção entre RL e controle ótimo seguro, permitindo que agentes aprendam a navegar com segurança em um espaço de parâmetros muito mais amplo do que as abordagens anteriores.