Interacting safely with cyclists using Hamilton-Jacobi reachability and reinforcement learning

Título: Interação Segura com Ciclistas Utilizando Atingibilidade Hamilton-Jacobi e Aprendizado por Reforço

Autores: Aarati Andrea Noronha e Jean Oh (Carnegie Mellon University, 2020)

1. Problema Definido

A interação entre veículos autônomos (VA) e ciclistas apresenta desafios únicos devido à imprevisibilidade, lentidão e comportamento não determinístico dos ciclistas em comparação com outros agentes viários.

• Limitações Atuais: Os algoritmos de navegação existentes tendem a ser excessivamente cautelosos ao interagir com ciclistas, sacrificando a eficiência temporal (otimalidade) para garantir segurança. Por outro lado, condutores humanos muitas vezes adotam manobras agressivas.
• Falta de Garantias: Muitos algoritmos falham em quantificar matematicamente a segurança da interação e não oferecem garantias de completude ou otimalidade.
• Objetivo: Desenvolver um framework que equilibre segurança garantida e navegação eficiente no tempo, permitindo que o VA interaja com ciclistas de forma otimizada, mantendo distâncias e velocidades razoáveis.

2. Metodologia Proposta

O trabalho propõe um framework híbrido que integra Análise de Atingibilidade Hamilton-Jacobi (HJ) com Aprendizado por Reforço (Deep Q-Learning - DQN). O problema é formulado como um jogo diferencial de soma zero com dois agentes: o veículo autônomo (agente de controle) e o ciclista (entrada de perturbação).

Componentes Principais:

• Análise de Atingibilidade (Safety Guarantees):

  • Utiliza a análise HJ para calcular conjuntos de estados atingíveis (backward reachable sets) que levam a zonas de falha (colisão).
  • Define uma função de valor como solução de uma desigualdade de Hamilton-Jacobi-Bellman (HJB) dependente do tempo. Esta função fornece uma medida quantitativa de segurança para cada estado do sistema.
  • Estados com valor positivo são classificados como seguros; valores negativos ou zero indicam estados perigosos onde a colisão é inevitável.

• Modelagem da Perturbação (Comfort do Ciclista):

  • Diferente de trabalhos anteriores que tratavam o ciclista apenas como uma perturbação física, este método modela a entrada de perturbação ($d$) como uma função da resposta latente do ciclista (conforto/desconforto) em relação ao estado do VA.
  • Utiliza-se um Autoencoder treinado com dados do banco Safety Pilot Michigan. O modelo aprende a reconstruir estados "seguros". Se a taxa de erro de reconstrução for alta, o estado é classificado como "perigoso" (incomum/ameaçador para o ciclista).
  • Isso permite que o sistema preveja como o ciclista reagirá (ex: frear ou desviar) se o VA estiver muito próximo, mesmo que fisicamente não haja colisão iminente.

• Navegação via Deep Q-Learning (DQN):

  • A função de valor HJ é incorporada como um sinal de recompensa estruturado no framework de RL.
  • O DQN busca maximizar a recompensa cumulativa, equilibrando a segurança (evitar estados de baixo valor HJ) e a otimalidade (chegar ao objetivo no menor tempo).
  • O espaço de estados inclui: alcance longitudinal, taxa de alcance longitudinal, alcance lateral, limites da pista e distância até o objetivo.

3. Principais Contribuições

1. Extensão para Dois Agentes: Expansão da abordagem proposta por Fisac et al. (2019), que era limitada a um único agente, para um sistema de dois agentes (VA + Ciclista).
2. Quantificação do Conforto do Ciclista: Introdução de um modelo que define quantitativamente o nível de conforto do ciclista em relação ao estado do VA, utilizando aprendizado de máquina (autoencoder) para mapear respostas latentes.
3. Equilíbrio Segurança-Otimalidade: Criação de um algoritmo de navegação que permite interações ótimas em termos de tempo e segurança, evitando a cautela excessiva que impede o VA de atingir seu objetivo.
4. Quantificação de Segurança: Definição clara de segurança como a capacidade de ultrapassar um ciclista a uma velocidade e distância razoáveis, não apenas evitando colisões físicas.

4. Resultados Experimentais

O framework foi avaliado usando o banco de dados Safety Pilot Michigan (34 milhões de milhas de dados naturais) e comparado com:

• Condutores humanos (Ground Truth).
• O método de estado da arte de Fisac et al. (2019).

Métricas de Desempenho (Baseado em 60 trajetórias de teste):

• Segurança: O framework proposto obteve o melhor Fator de Segurança (-2.01), superando tanto os condutores humanos (-2.31) quanto o método de Fisac '19 (-2.18). Um valor menos negativo indica maior segurança.
• Estados Inseguros: O método proposto reduziu a porcentagem de estados inseguros encontrados para 31,6%, comparado a 36,8% (Fisac '19) e 39,0% (Humanos).
• Tempo de Trajetória: O método foi mais rápido que os condutores humanos (233s vs 253s), mas ligeiramente mais lento que o método de Fisac '19 (199s).
  • Análise: O tempo ligeiramente maior em relação ao método de Fisac '19 é atribuído ao fato de que o método original não considerava o conforto do ciclista, sendo excessivamente agressivo. O novo método sacrifica um pouco de tempo para garantir uma interação mais natural e segura.
• Colisões e Conclusão: Nenhuma colisão ocorreu em nenhum dos métodos testados, e a taxa de chegada ao objetivo foi de 100% para todos.

Visualização: A análise das funções de valor mostrou que o novo método identifica corretamente estados onde o VA está muito próximo do ciclista em baixa velocidade como "ameaçadores" para a percepção humana, algo que o método anterior ignorava.

5. Significância e Conclusão

Este trabalho representa um avanço significativo na navegação autônoma em ambientes mistos (veículos e ciclistas).

• Humanização da IA: Ao modelar a resposta latente do ciclista, o sistema não apenas evita colisões físicas, mas também evita situações que causam desconforto ou medo ao usuário vulnerável, essencial para a aceitação social dos VAs.
• Solução Híbrida Eficiente: Demonstra que a combinação de garantias matemáticas rigorosas (HJ) com a flexibilidade de otimização (RL) é superior a abordagens puramente cautelosas ou puramente baseadas em dados.
• Escalabilidade: O método foi validado em um sistema de duas dimensões espaciais e velocidade, com potencial para ser estendido para sistemas multiagente mais complexos, conforme indicado pelos autores.

Em resumo, o framework proposto oferece uma via para veículos autônomos interagirem com ciclistas de forma segura, eficiente e socialmente aceitável, preenchendo uma lacuna crítica entre a segurança teórica e a prática de navegação no mundo real.