Falsification-driven reinforcement learning for maritime motion planning

Resumo Técnico: Aprendizado por Reforço Orientado à Falsificação para Planejamento de Movimento Marítimo

Declaração do Problema
Garantir que embarcações autônomas cumpram as regras de tráfego marítimo, especificamente o Regulamento Internacional para Evitar Abalroamentos no Mar (COLREGs), é crítico para a segurança, mas desafiador para agentes de Aprendizado por Reforço (RL). A dificuldade central reside na natureza não estruturada dos ambientes de mar aberto e nas dependências situacionais e temporais das regras de tráfego, que são difíceis de codificar diretamente em políticas de controle. O treinamento padrão de RL frequentemente depende de geração de cenários aleatórios ou não adversariais, o que falha em expor suficientemente o agente aos modos de falha de "cauda longa" onde ocorrem violações de regras. Consequentemente, os agentes podem aprender a priorizar a chegada ao destino em detrimento do cumprimento das regras ou falhar em realizar manobras necessárias ao encontrar situações de tráfego complexas.

Metodologia
Os autores propõem um framework de RL orientado à falsificação que integra a geração de contraexemplos baseada em otimização diretamente no loop de treinamento de RL. A abordagem opera da seguinte forma:

1. Especificações Formais: As regras de tráfego marítimo (encontros de cruzamento, frente a frente e ultrapassagem) são formalizadas usando Lógica Temporal de Sinais (STL). Os autores estendem as formalizações existentes com STL Consciente de Interface (IA-STL) para avaliar separadamente a robustez do antecedente (a condição de encontro) e do consequente (a manobra requerida). Essa distinção permite ao sistema diferenciar entre satisfação "vazia" (onde nenhum encontro ocorre) e conformidade "não vazia" (onde um encontro ocorre e é tratado corretamente).
2. Processo de Falsificação: Em vez de amostragem aleatória, o sistema emprega algoritmos de otimização numérica (especificamente CMA-ES, PSO e Recozimento Simulado) para gerar cenários de treinamento adversariais. O objetivo é encontrar sequências de entrada para uma embarcação adversária que minimizem a robustez da especificação STL em relação à política de RL atual.
   • A otimização visa a robustez de entrada (para forçar encontros não vazios) e a robustez de saída (para forçar violações de regras).
   • Um método "Big-M" é utilizado para priorizar a descoberta de cenários não vazios onde o agente realmente enfrenta uma situação de tráfego.
3. Loop de Treinamento: Os contraexemplos gerados (cenários onde a política atual falha ou cumpre as regras apenas marginalmente) são adicionados a um pool de cenários FIFO (First-In-First-Out). O agente de RL, treinado usando Otimização de Política Proximal (PPO), é então atualizado usando dados amostrados desse pool, que é enriquecido com esses cenários difíceis e violadores de regras.
4. Medidas de Robustez: O artigo introduz medidas específicas de robustez para predicados atômicos (posição, orientação, velocidade) escalonadas ao domínio do tempo para prevenir efeitos de mascaramento no processo de otimização. Essas medidas quantificam a margem de segurança ou violação.

Principais Contribuições

• Framework Algorítmico: Os autores propõem um algoritmo de RL orientado à falsificação eficiente e prático que gera contraexemplos para regras de tráfego complexas de lógica temporal e as utiliza como cenários de treinamento.
• Extensão da Formalização: O trabalho estende as formalizações de regras de tráfego marítimo com medidas de robustez avaliáveis de forma eficiente, adaptando especificamente o IA-STL para lidar com as estruturas de implicação inerentes aos COLREGs.
• Validação Empírica: A abordagem é avaliada usando múltiplos métodos de falsificação (CMA-ES, PSO, SA) contra um agente de RL de base treinado em cenários aleatórios.

Resultados
Experimentos conduzidos em cenários de navegação em mar aberto envolvendo duas embarcações (uma embarcação ego e uma embarcação adversária) demonstram:

• Maior Engajamento: Agentes orientados à falsificação exibem taxas de "engajamento" significativamente mais altas (33–37% vs. 21% para a base), o que significa que encontram e interagem com situações de tráfego definidas pelos COLREGs com mais frequência durante os testes.
• Conformidade com Regras: Em uma distribuição de avaliação de base, agentes orientados à falsificação alcançaram taxas de conformidade com regras não vazias de aproximadamente 89–90%, comparado a 78,3% para a base.
• Robustez: As políticas orientadas à falsificação mantiveram valores de robustez de saída mais altos, indicando uma maior margem de segurança. Em contraste, a política de base mostrou robustez de saída negativa (indicando violações) quando testada na distribuição adversária (falsificação).
• Significância Estatística: Testes t de Welch confirmaram que as melhorias na robustez de entrada (durante o treinamento) e na robustez de saída (durante os testes) são estatisticamente significativas ($p < 0,001$).
• Compromisso: Os resultados destacam um compromisso onde agentes orientados à falsificação às vezes alcançam taxas de chegada ao destino mais baixas (por exemplo, 45% vs. 75% na distribuição de base) em troca de uma adesão significativamente maior às regras de segurança, priorizando manobras corretas em vez de comportamento puramente direcionado ao objetivo em situações críticas.

Significância e Alegações
O artigo alega ser a primeira aplicação de RL orientado à falsificação ao planejamento de movimento marítimo. Sua principal significância reside em demonstrar que integrar métodos formais (falsificação) com controle baseado em aprendizado pode abordar sistematicamente a escassez de cenários de falha críticos nos dados de treinamento. Ao gerar cenários adversariais que visam especificamente as fraquezas da política atual, a abordagem produz agentes com conformidade de regras mais consistente.

Os autores notam modestamente que, embora a abordagem melhore a conformidade, ela não garante conformidade em todos os cenários de implantação. Eles sugerem que, para garantias absolutas de segurança, a política aprendida deve ser combinada com um controlador de salvaguarda. Além disso, o trabalho atual foca em interações satisfatóveis entre duas embarcações; os autores reconhecem que a escalabilidade para cenários multiagente com obstáculos estáticos requer desenvolvimento adicional de conjuntos de regras formais satisfatóveis, pois extensões ingênuas de regras de duas embarcações podem levar a restrições insatisfatóveis. O trabalho se posiciona como um passo para fechar a lacuna entre simulação e implantação no mundo real, garantindo que os agentes sejam treinados nas interações de alto risco mais relevantes.