Resumo Técnico: HyPlan - Planejamento Híbrido Assistido por Aprendizado sob Incerteza para Direção Autônoma Segura

1. Definição do Problema

O artigo aborda o problema de Navegação Livre de Colisões (CFN) para veículos autônomos (AVs) operando em ambientes de tráfego parcialmente observáveis. O objetivo é minimizar o tempo para atingir um destino enquanto evita colisões com agentes exógenos (pedestres, ciclistas, outros carros).

Este problema é modelado como um Processo de Decisão de Markov Parcialmente Observável (POMDP). As características principais incluem:

• Espaço de Estados ($S$): Composto pelo estado completo do carro ego e os estados parciais de $n$ agentes exógenos. Enquanto o estado do carro ego é totalmente observável, os agentes exógenos são apenas parcialmente observáveis (posição apenas, se estiverem ocluídos).
• Ações ($A$): Entradas de controle consistindo em um ângulo de esterçamento e escolhas discretas de aceleração (Acelerar, Desacelerar, Manter).
• Restrições: O ambiente envolve incerteza em relação às intenções dos agentes e oclusões.
• A Lacuna: Os métodos existentes enfrentam um compromisso (trade-off). Métodos de Aprendizado Profundo (DL) puro são rápidos, mas carecem de garantias de segurança. Planejadores POMDP explícitos online (ex: IS-DESPOT) oferecem segurança e provabilidade, mas sofrem com altos tempos de execução, tornando-os inadequados para controle em tempo real em comparação com as bases de DL.

2. Metodologia: HyPlan

O HyPlan é um planejador POMDP online híbrido assistido por aprendizado projetado para preencher a lacuna entre a segurança do planejamento explícito e a velocidade do aprendizado profundo. Ele integra quatro componentes principais:

A. Arquitetura do Sistema

O HyPlan opera em um ciclo onde, para cada observação da cena:

1. Predição de Comportamento Multiagente: Utiliza o modelo MABP AutoBots para prever as trajetórias de agentes exógenos.
2. Planejamento de Trajetória (Path Planning): Um planejador Hybrid A* ponderado gera um caminho seguro para o carro ego usando um mapa de custo enriquecido com os caminhos previstos dos agentes. Isso determina o ângulo de esterçamento.
3. Planejamento de Velocidade (Inovação Central): Um planejador POMDP online aprimorado, IS-DESPOT*, determina a aceleração ideal.

B. O Planejador IS-DESPOT*

O IS-DESPOT* é uma extensão do planejador IS-DESPOT padrão. Sua novidade reside em como ele guia a árvore de busca usando um componente de Aprendizado por Reforço Profundo (DRL):

• NavPPO (Aprendiz): Uma rede neural baseada em Proximal Policy Optimization (PPO) atua como um crítico. Ela estima o valor dos estados de crença (limites superiores heurísticos) para guiar o planejador.
• Entrada para o NavPPO:
  • Uma "imagem de intenção" ($I$) combinando o mapa de custo do carro ego, caminhos previstos dos agentes e o caminho planejado do carro.
  • Características de estado não visuais (recompensa anterior, última ação, velocidade atual).
  • Estados ocultos de LSTM para manter o contexto temporal.
• Treinamento: O NavPPO é treinado para imitar a política do planejador IS-DESPOT* (aprendizado por imitação) enquanto aprende a estimar os valores de estado. Ele utiliza uma função de perda baseada em PPO que equilibra a imitação de política e a precisão da estimativa de valor.

C. Poda Vertical Baseada em Confiança

Para reduzir o tempo de execução, o HyPlan introduz um mecanismo de poda vertical durante a implantação:

• Estimativa de Incerteza: O NavPPO realiza múltiplas passagens estocásticas para frente (usando Monte Carlo dropout) para gerar uma média ($\mu$) e variância ($\sigma^2$) para as estimativas de valor dos estados de crença.
• Calibração: O sistema utiliza CRUDE para calibrar essas estimativas, garantindo que os níveis de confiança sejam confiáveis e reduzindo falsos positivos.
• Lógica de Poda: O planejador calcula um limite inferior heurístico ponderado pela confiança: $L(b) = (1-\phi)L_{tr}(b) + \phi U(b)$, onde $\phi$ é a confiança derivada da variância.
  • Se o planejador atinge um estado de crença com uma estimativa de alto valor e alta confiança, ele encerra a tentativa de planejamento precocemente (poda vertical).
  • Isso evita a exploração excessiva de regiões familiares do espaço de crença onde o resultado é previsível, acelerando significativamente a tomada de decisão sem comprometer a segurança.

3. Principais Contribuições

1. Estrutura HyPlan: Uma arquitetura híbrida inovadora que combina predição multiagente, planejamento de trajetória explícito e planejamento POMDP guiado por DRL.
2. Algoritmo IS-DESPOT:* Um planejador POMDP online aproximado que utiliza um aprendiz baseado em PPO (NavPPO) para fornecer estimativas de valor heurístico e métricas de confiança.
3. Estratégia de Poda Vertical: Um mecanismo para podar dinamicamente a árvore de busca com base na confiança do aprendiz em suas estimativas de valor, reduzindo drasticamente o tempo de planejamento.
4. Mecanismo de Calibração: A integração do CRUDE para calibrar as estimativas de confiança do aprendiz DRL, garantindo que as decisões de poda sejam seguras e não baseadas em previsões excessivamente otimistas.

4. Resultados Experimentais

Os autores avaliaram o HyPlan no benchmark CARLA-CTS2, um conjunto de dados de 23.000 cenários críticos de tráfego envolvendo travessias de pedestres.

Métricas de Desempenho

• Segurança: O HyPlan alcançou o maior índice de segurança entre todos os métodos testados (incluindo DL puro, planejamento explícito puro e outras abordagens híbridas). Teve a menor taxa de colisão (12,36%) e de quase colisão (8,04%).
• Tempo de Execução: O HyPlan foi significativamente mais rápido (redução de até 40%) do que outros planejadores POMDP explícitos e híbridos (ex: IS-DESPOTp, LEADER, HyLEAP). No entanto, permaneceu de 3 a 4 vezes mais lento que as bases de aprendizado profundo puro (NavPPO, NavA2C).
• Eficiência de Planejamento: O HyPlan exigiu menos tentativas de planejamento, profundidades de busca menores e menos nós de crença para avaliar em comparação com planejadores alternativos.
• Compromissos (Trade-offs):
  • Métodos de DL puro (NavPPO) foram os mais rápidos, mas tiveram o pior registro de segurança.
  • Planejadores explícitos puros foram os mais lentos.
  • O HyPlan ofereceu o melhor equilíbrio, priorizando a segurança enquanto melhora significativamente a velocidade do planejamento explícito.

Estudo de Ablação

• Sem Poda Vertical: O sistema foi o mais seguro, mas teve o maior tempo de execução.
• Sem Calibração de Confiança: O sistema foi o mais rápido, mas sofreu a pior segurança devido à poda excessivamente otimsa.
• HyPlan Completo: A combinação de todos os componentes forneceu o equilíbrio ideal entre segurança e tempo de execução.

5. Significância e Alegações

O artigo afirma que o HyPlan aborda com sucesso a lacuna de desempenho entre o aprendizado profundo e o planejamento explícito na direção autônoma.

• Segurança em Primeiro Lugar: Demonstra que métodos híbridos podem navegar de forma mais segura do que tanto as bases de aprendimento profundo puro quanto as de planejamento explícito puro em cenários críticos de pedestres.
• Eficiência: Prova que a poda assistida por aprendizado pode tornar o planejamento POMDP online viável para aplicações em tempo real, reduzindo significativamente o tempo de execução sem sacrificar as garantias de segurança inerentes ao planejamento explícito.
• Escopo Modesto: Os autores reconhecem que, embora o HyPlan seja mais rápido que outros planejadores explícitos, ainda não fechou a lacuna de velocidade com o aprendizado profundo puro. Eles também observam que a avaliação atual é limitada ao benchmark CARLA-CTS2, com trabalhos futuros planejados para cenários mais amplos como o nuPlan.

O trabalho é apresentado como um passo em direção ao planejamento de ações provavelmente corretas sob incerteza que não sofre com os custos computacionais proibitivos tradicionalmente associados aos POMDPs online.