Offline Reinforcement Learning using Human-Aligned Reward Labeling for Autonomous Emergency Braking in Occluded Pedestrian Crossing

Resumo Técnico: Aprendizado por Reforço Offline utilizando Rotulagem de Recompensa Alinhada ao Humano para Frenagem de Emergência Autônoma em Travessias de Pedestres Ocluídas

Formulação do Problema

O artigo aborda um gargalo crítico na implementação de sistemas de Condução Autônoma (AD): a escassez de rótulos de recompensa significativos em conjuntos de dados do mundo real necessários para o Aprendizado por Reforço Offline (Offline RL). Embora os conjuntos de dados do mundo real (ex: Waymo, nuScenes, A2D2) ofereçam dados ricos e de alta fidelidade, eles tipicamente carecem dos sinais de recompensa necessários para treinar agentes a distinguir entre comportamentos desejáveis e indesejáveis. As soluções existentes frequentemente dependem de simulação, que sofre com o hiato "sim-to-real" (simulação-para-real), ou utilizam representações de estado de baixa dimensão que ignoram a riqueza perceptiva das observações baseadas em imagens.

A tarefa específica investigada é o controle longitudinal de veículos dentro de um cenário de travessia de pedestres ocluída. Neste ambiente de alto risco, um veículo autônomo (AV) deve navegar em uma faixa de pedestres onde pedestres podem estar escondidos por outros veículos (oclusão) e surgir subitamente. O desafio reside em gerar rótulos de recompensa que se alinhem aos valores de segurança humanos (priorizando a segurança sobre a eficiência em cenários de potencial colisão) sem a necessidade de anotação humana direta de cada quadro, permitendo assim o treinamento de agentes de Offline RL baseados em percepção diretamente a partir de conjuntos de dados estáticos.

Metodologia

A solução proposta introduz um novo pipeline de rotulagem de recompensa que transforma conjuntos de dados de AD não rotulados em dados prontos para treinamento de Offline RL. A metodologia consiste em três estágios primários:

1. Segmentação Semântica e Avaliação de Risco:

   • Mapeamento Semântico: Imagens de câmera brutas são processadas através de um modelo ResNet18 UNet para gerar mapas de segmentação semântica ao nível de pixel. Esses mapas identificam 28 classes, incluindo pedestres, veículos, faixas de pedestres e marcações de estrada.
   • Componente de Segurança Adaptativo ($c_t$): O sistema analisa camadas específicas do mapa semântico para computar um sinalizador de segurança adaptativo ($c_t$). Este sinalizador é determinado por três fatores de risco:
     • Presença de Pedestre ($F_p$): Detecta se um pedestre está na via versus na calçada.
     • Oclusão da Faixa de Pedestres ($F_c$): Avalia se uma faixa de pedestres está parcialmente ocluída pelo tráfego, criando incerteza.
     • Histórico de Pedestre ($F_h$): Utiliza um banco de memória para rastrear pedestres que aparecem e depois desaparecem (indicando oclusão), sinalizando-os como risco médio.
   • Lógica de Decisão: Estes fatores são somados e passados por uma função sigmoide escalonada. Se a probabilidade resultante exceder um limiar ($\psi = 0,75$), $c_t$ é definido como 1, ativando o componente de recompensa de segurança e desativando o componente de eficiência.

2. Construção da Função de Recompensa:
   O sinal de recompensa final ($R_{final}$) é uma soma ponderada de três componentes, alternados dinamicamente com base em $c_t$:

   • Segurança ($g_{safe}$): Penaliza altas velocidades próximas a pedestres e colisões. Ativado quando $c_t=1$.
   • Eficiência ($g_{efficient}$): Incentiva velocidades mais altas quando nenhuma colisão é iminente. Ativado quando $c_t=0$.
   • Suavidade ($g_{smooth}$): Penaliza acelerações bruscas, sempre ativo.
   • Integração de Sensores: Para dados do mundo real, a distância até os pedestres é inferida usando o modelo de câmera pinhole combinado com segmentação semântica, enquanto velocidade e aceleração são derivadas do barramento CAN e do IMU do veículo.

3. Treinamento de Offline RL com Atenção Espacial:
   Para treinar o agente, o artigo propõe um pipeline baseado em percepção que utiliza os mapas semânticos para guiar a extração de características:

   • Extração de Características: Imagens de câmera passam por um autoencoder ResNet18 para produzir embeddings de características latentes.
   • Atenção Espacial: As camadas semânticas relevantes para a tarefa (pedestre, faixa de pedestres, veículo) são isoladas e utilizadas para aplicar atenção espacial às características latentes. Isso é alcançado via multiplicação cruzada ponderada, onde as características de pedestres recebem o maior peso ($\omega_{ped}=1,0$), seguidas pelas faixas de pedestres ($\omega_{cross}=0,75$) e veículos ($\omega_{veh}=0,50$). Este mecanismo força o agente a focar em objetos salientes relevantes para a prevenção de colisões.

Principais Contribuições

O artigo delineia três contribuições principais:

1. Rotulagem de Recompensa Alinhada ao Humano: Uma abordagem inovadora para gerar rótulos de recompensa para conjuntos de dados de AD existentes, permitindo seu uso em Offline RL de ponta a ponta sem exigir nova coleta de dados.
2. Mecanismo de Segurança Adaptativo: Uma função de recompensa que incorpora um componente de segurança adaptativo derivado de mapas de segmentação semântica. Isso permite que o agente priorize dinamicamente a segurança sobre a eficiência com base em fatores de risco em tempo real, como localização de pedestres e oclusão.
3. Atenção Espacial via Mapas Semânticos: Um método para utilizar camadas de segmentação semântica para fornecer níveis variados de atenção espacial a diferentes classes de objetos dentro da observação da imagem, melhorando a tomada de decisão do agente ao focar em elementos de cena salientes.

Resultados Experimentais

O método foi avaliado em dois cenários: uma simulação CARLA e um subconjunto do conjunto de dados de condução autônoma da Audi (A2D2) do mundo real.

• Simulação (CARLA):

  • Algoritmos Testados: Os dados rotulados foram usados para treinar CQL, IQL e BPPO.
  • Baselines: O método proposto ("Gen") foi comparado contra o Compartilhamento de Dados Não Rotulados (UDS) (atribuindo recompensas zero) e uma abordagem de Modelo de Linguagem de Visão (VLM).
  • Desempenho: A configuração IQL (Gen) alcançou o maior desempenho, com taxas de sucesso de 98-100% em cenários de oclusão parcial. O método proposto geralmente produziu comportamentos mais estáveis e confiáveis do que as bases UDS ou VLM.
  • Limitações: O desempenho degradou em cenários altamente congestionados e de oclusão total, particularmente para CQL e BPPO, sugerindo que a visão da câmera frontal possui limitações em tráfego denso.

• Mundo Real (A2D2):

  • Comparação: Os rótulos de recompensa gerados foram comparados com os anotados manualmente por um humano.
  • Descobertas: Embora a distribuição geral das recompensas tenha sido semelhante, houve uma disparidade moderada em classificações de segurança específicas. Notavelmente, o método sinalizou certos estados inseguros (ex: pedestres fortemente ocluídos) que o anotador humano deixou passar. Por outro lado, o método às vezes falhou em identificar pedestres claramente visíveis devido a limitações nos fatores de risco específicos utilizados (ex: confusão entre marcações de estrada e superfícies de estrada).

Significância e Alegações

O artigo alega que sua principal significância reside em preencher a lacuna entre os grandes conjuntos de dados de AD não rotulados do mundo real e os requisitos de Offline RL. Ao automatizar a geração de rótulos de recompensa alinhados ao humano, o método permite o treinamento de agentes baseados em percepção sem o custo proibitivo da anotação manual ou os problemas de fidelidade da simulação.

Os autores enfatizam que, embora o método gere sinais de recompensa significativos e melhore o desempenho da política em simulação, ele não é um substituto perfeito para o julgamento humano. Os resultados do A2D2 destacam que o método pode detectar perigos que os humanos ignoram (devido à sua análise sistemática de mapas semânticos), mas também carece do raciocínio contextual matizado dos motoristas humanos. O artigo conclui que esta abordagem fornece um ponto de partida viável para Offline RL em cenários complexos, embora trabalhos futuros devam abordar o raciocínio temporal e a integração de múltiplas visões para lidar com ambientes de tráfego denso de forma mais robusta.