Trajectory Planning for Safe Dual Control with Active Exploration

1. Problema Abordado

O artigo aborda o desafio fundamental de planejar trajetórias seguras na presença de incerteza de modelo em sistemas robóticos. Existem duas abordagens tradicionais que, isoladamente, apresentam limitações:

• Planejamento Robusto: Garante a segurança considerando as piores realizações da incerteza, mas ignora a redução da incerteza durante a execução. Isso resulta em comportamentos excessivamente conservadores e degradação do desempenho da tarefa nominal.
• Controle Dual (Redução de Incerteza Ativa): Foca em reduzir a incerteza dos parâmetros do modelo durante a execução da tarefa. No entanto, a maioria dos métodos existentes trata a exploração como um termo ponderado no custo, sem garantias formais de segurança ou consideração sobre quando a exploração é realmente benéfica. Além disso, muitos não respeitam restrições orçamentárias de desempenho.

O problema central deste trabalho é formular uma solução para o controle dual com restrição orçamentária, onde o sistema deve:

1. Satisfazer restrições de estado e entrada sob incerteza de modelo limitada (Segurança).
2. Reduzir ativamente a incerteza paramétrica através da exploração.
3. Garantir que o custo total da missão permaneça dentro de um orçamento prescrito, que limita a degradação aceitável no desempenho da tarefa devido às ações exploratórias.

2. Metodologia: Framework "Dual-gatekeeper"

Os autores propõem o framework Dual-gatekeeper, uma arquitetura que integra planejamento robusto, exploração ativa e viabilidade orçamentária. A ideia central é tratar a exploração não como uma otimização implícita, mas como uma decisão verificável.

Funcionamento do Framework:

O sistema opera em um ciclo de replanejamento recorrente (receding-horizon):

1. Política de Backup Robusta: Em cada ciclo de replanejamento ($t_k$), o sistema primeiro calcula uma trajetória de backup conservadora e robusta que garante a segurança e a conclusão da missão sob a incerteza atual (pior caso).
2. Geração de Candidatos: Paralelamente, são gerados conjuntos de trajetórias candidatas:
   • Candidatos Conservadores: Mantêm o comportamento da política de backup.
   • Candidatos Informativos: Projetados especificamente para excitar o sistema e reduzir a incerteza dos parâmetros desconhecidos (exploração ativa).
3. Filtragem e Validação (O "Gatekeeper"):
   • Verificação de Segurança: Cada candidato informativo é testado para garantir que, mesmo sob a incerteza atual, ele não violará as restrições de segurança. Se não for seguro, é rejeitado.
   • Verificação de Orçamento: O custo previsto da execução do candidato informativo é comparado ao custo da trajetória conservadora. Se o custo adicional exceder o orçamento de exploração restante, o candidato é rejeitado.
4. Seleção e Comprometimento:
   • Entre os candidatos viáveis (seguros e dentro do orçamento), aquele que oferece a maior redução prevista de incerteza (descontada pelo horizonte de tempo) é selecionado.
   • Se nenhum candidato informativo for viável, o sistema executa a trajetória conservadora de backup.
5. Atualização: Após a execução, os dados coletados são usados para atualizar o conjunto de parâmetros viáveis (usando Identificação por Pertencimento ao Conjunto - SMID), reduzindo a incerteza e permitindo comportamentos menos conservadores nos ciclos futuros.

Mecanismos de Segurança (Duas Implementações):

O artigo demonstra a modularidade do framework através de duas instâncias:

1. Tube MPC (Model Predictive Control em Tubo): A segurança é garantida mantendo o estado do sistema dentro de um "tubo" robusto ao redor de uma trajetória nominal, com restrições enrijecidas.
2. Gatekeeper (Filtro de Segurança): Utiliza simulações de rolagem (rollouts) forward com amostragem de incertezas para verificar probabilisticamente se uma trajetória candidata satisfaz as restrições antes de ser comprometida.

Previsão de Redução de Incerteza:

O framework utiliza dois métodos para prever o encolhimento do conjunto de incerteza:

• Baseado em Simulação: Executa múltiplas simulações forward com parâmetros e perturbações amostrados para estimar a redução média da largura do conjunto de parâmetros.
• Baseado em Consistência de Dados: Analisa diretamente a trajetória planejada e a matriz de regressão para determinar quão restritivo o conjunto de parâmetros consistentes com os dados será, sem simulação explícita.

3. Principais Contribuições

• Arquitetura de Decisão Separada: Diferente de métodos que ponderam a exploração no custo, este framework separa a decisão de explorar como um processo de verificação de viabilidade (segurança + orçamento).
• Garantias Formais: O framework fornece garantias teóricas de que a segurança (restrições de estado/entrada) e o orçamento de exploração serão respeitados ao longo de toda a missão.
• Modularidade: A arquitetura é agnóstica ao mecanismo de segurança específico, sendo demonstrada tanto com Tube MPC quanto com filtros de segurança baseados em Gatekeeper.
• Eficiência Orçamentária: O sistema só executa exploração quando há uma melhoria verificável, evitando desperdício de recursos em explorações que não justificam o custo ou o risco.

4. Resultados e Estudos de Caso

Os autores validaram o framework em dois cenários distintos sob incerteza paramétrica:

A. Navegação de Quadrotor (Instância Tube MPC)

• Cenário: Um drone com coeficiente de arrasto aerodinâmico desconhecido.
• Resultados: O método proposto conseguiu reduzir significativamente as fronteiras do parâmetro desconhecido (incerteza) em comparação com uma abordagem conservadora de base.
• Desempenho: O custo total da missão foi de 82,5% do custo da base conservadora (ou seja, mais eficiente), permanecendo dentro do orçamento de 110%. A redução de incerteza permitiu que o drone operasse com margens de segurança menores e mais eficientes.

B. Corrida de Carros Autônomos (Instância Gatekeeper)

• Cenário: Um carro de corrida autônomo com coeficiente de atrito pneu-estrada ($\mu$) desconhecido.
• Comparação: O framework foi comparado com várias bases, incluindo controle nominal puro (sem segurança), controle ponderado (exploração vs. desempenho) e apenas fallback conservador.
• Resultados:
  • Métodos sem verificação de segurança (Bases 1 e 2) falharam em 70-80% das corridas.
  • O método puramente conservador (Fallback) foi seguro, mas extremamente lento.
  • O Dual-gatekeeper proposto alcançou 100% de corridas seguras, com uma redução de incerteza de 95,5% e um tempo de volta médio de 8,07s (muito superior ao conservador de 17s e próximo ao nominal ideal, mas com segurança garantida).
  • O framework utilizou apenas 23,8% do orçamento de exploração, demonstrando que poucas trajetórias informativas foram suficientes para reduzir a incerteza e permitir alta performance.

5. Significado e Conclusão

O trabalho representa um avanço significativo na interseção entre controle robusto e aprendizado/identificação de modelos.

• Segurança Garantida: Resolve o dilema clássico de que a exploração ativa geralmente compromete a segurança, oferecendo um mecanismo formal para garantir que a exploração nunca viole restrições críticas.
• Otimização de Recursos: Ao introduzir um orçamento de exploração, o framework evita a "exploração cega", garantindo que o custo adicional de se mover para reduzir a incerteza seja justificado pelo ganho de desempenho futuro.
• Aplicabilidade Prática: A demonstração em sistemas dinâmicos complexos (drones e carros de corrida) mostra que a abordagem é viável para aplicações do mundo real onde a segurança é não negociável, mas a eficiência e a adaptação são essenciais.

Em suma, o Dual-gatekeeper permite que sistemas robóticos aprendam sobre seu ambiente de forma segura e economicamente viável, transitando de um comportamento conservador para um comportamento de alto desempenho à medida que a incerteza é reduzida.