Beyond Scalar Rewards: Distributional Reinforcement Learning with Preordered Objectives for Safe and Reliable Autonomous Driving

1. Problema e Lacuna de Pesquisa

O aprendizado por reforço (RL) para direção autônoma enfrenta um desafio fundamental: a definição de funções de recompensa que capturam múltiplos objetivos frequentemente conflitantes, como segurança, eficiência e conforto.

• Limitação das Abordagens Atuais: A prática comum é agregar esses objetivos em um único sinal de recompensa escalar (via soma ponderada). Isso colapsa as prioridades relativas entre os objetivos, levando a políticas que podem violar restrições críticas de segurança (ex: priorizar a eficiência em detrimento da segurança) e tornando o ajuste de pesos altamente dependente do contexto e difícil de otimizar.
• Falhas em MORL e HRL: Abordagens de Aprendizado por Reforço Multi-Objetivo (MORL) e Hierárquico (HRL) existentes frequentemente ainda dependem de agregação escalar ou filtragem sequencial rígida, falhando em preservar a estrutura de prioridade semântica durante todo o processo de aprendizado e inferência.
• A Lacuna: Existe uma necessidade de agentes de RL que possam representar semanticamente múltiplos objetivos e enforçar suas prioridades relativas diretamente no processo de aprendizado, garantindo que objetivos críticos (como segurança) guiem tanto a tomada de decisão quanto a atualização da política.

2. Metodologia Proposta

Os autores propõem um framework que integra relações de pré-ordem (preorder) diretamente na estrutura de decisão e aprendizado do agente.

A. Formulação do Problema: Pr-MOMDP

O trabalho estende o Processo de Decisão de Markov Multi-Objetivo (MOMDP) para o Pr-MOMDP (Preordered Multi-Objective MDP).

• Adiciona uma relação de pré-ordem ($\succeq$) sobre os componentes de recompensa.
• Diferente de regras rígidas (lexicográficas), essa relação permite hierarquias flexíveis (ordem total ou parcial), onde um objetivo $r_i$ tem prioridade sobre $r_j$.
• Isso permite definir relações semânticas entre ações: Dominância (uma ação é melhor em um objetivo prioritário e não pior nos outros), Indiferença e Incomparabilidade.

B. Arquitetura e Estimativa de Valor

• Arquitetura Multi-Head: Utiliza uma rede neural com um codificador comum (Latent Representation) e múltiplas "cabeças" (heads), onde cada cabeça estima a função de valor para um objetivo específico. Isso evita a perda de informações ao fundir objetivos precocemente.
• RL Distribucional (IQN): Em vez de estimar um valor esperado único, o modelo utiliza Implicit Quantile Networks (IQN) para estimar a distribuição completa do retorno (return distribution) para cada objetivo. Isso captura a incerteza e a variabilidade dos retornos.

C. Comparação de Ações: Quantile Dominance (QD)

Para comparar ações sem reduzir as distribuições a estatísticas únicas (como média ou CVaR), os autores propõem a Quantile Dominance (QD):

1. Normalização: As estimativas de quantis são normalizadas (Z-score) para garantir invariância de escala entre objetivos.
2. Perfil Ideal: Define-se um perfil de retorno ideal (máximo retorno em cada quantil entre todas as ações).
3. Distância: A qualidade de uma ação é medida pela distância de Wasserstein-1 até esse perfil ideal.
4. Tolerância ($\epsilon$): Introduz-se um parâmetro de tolerância para evitar comparações excessivamente rígidas devido ao ruído de estimativa. Duas ações são consideradas indiferentes se a diferença na dominância for menor que $\epsilon$.

D. Seleção de Ações e Treinamento Guiado por Pré-ordem

• Algoritmo de Seleção (Algoritmo 1): Um algoritmo eficiente que percorre a hierarquia de objetivos (ordenação topológica). Ele herda as relações de dominância dos objetivos de maior prioridade e filtra o conjunto de ações, mantendo apenas o subconjunto ótimo (ações não dominadas) para cada nível da hierarquia.
• Treinamento (Pr-IQN): Durante o treinamento, a seleção de alvos para o erro de diferença temporal (TD) é restrita ao subconjunto ótimo derivado da pré-ordem. Isso impede que o agente aprenda a maximizar um objetivo de baixa prioridade se isso violar um objetivo de alta prioridade.
• Inferência: O agente seleciona uma ação uniformemente do subconjunto ótimo associado aos objetivos folha (ou um nó global virtual).

3. Contribuições Principais

1. Pr-MOMDP: Uma formalização que estende MOMDPs com relações de pré-ordem, permitindo raciocínio sobre ações baseado em uma hierarquia de objetivos.
2. Quantile Dominance (QD): Uma nova métrica de comparação de ações baseada em distribuições que avalia retornos completos sem colapsá-los em estatísticas únicas, sendo robusta a ruídos.
3. Subconjuntos Ótimos para Tomada de Decisão: Um método para extrair e utilizar subconjuntos de ações não dominadas, integrando a informação de precedência tanto na seleção de ações quanto nas atualizações de treinamento.
4. Pr-IQN: A implementação concreta do framework utilizando IQNs, demonstrando compatibilidade com métodos de RL distribucional.

4. Resultados Experimentais

Os experimentos foram realizados no simulador CARLA em cenários urbanos complexos (interseções não sinalizadas) com diversas densidades de tráfego.

• Comparativos: O método proposto (Pr-IQN) foi comparado com:
  • IQN: RL distribucional padrão com soma ponderada de recompensas.
  • Ensemble-IQN: Variante com múltiplas cabeças, mas com agregação escalar para decisão.
  • MA-IQN: Agregação de médias de múltiplos objetivos.
• Métricas de Desempenho:
  • Taxa de Sucesso: O Pr-IQN superou consistentemente as baselines, com ganhos de +7,7% a +20,3% sobre o IQN e +11,0% a +14,7% sobre o Ensemble-IQN, dependendo da densidade de tráfego.
  • Segurança: Redução significativa nas taxas de colisão e saídas da pista (off-road).
  • Recompensas Individuais: O Pr-IQN obteve melhorias de até 61% em violações de segurança, 41% em exposição ao risco e 37% em recompensas de manutenção de faixa.
• Robustez Estatística: Utilizando a biblioteca RLiable, o Pr-IQN demonstrou o maior Interquartile Mean (IQM) e o menor Optimality Gap, indicando maior estabilidade e confiabilidade entre diferentes sementes de treinamento e execuções.
• Ablação: A remoção da pré-ordem durante o treinamento ou o uso de métricas escalares (CVaR/MV) em vez de QD resultou em degradação significativa, confirmando a importância de preservar a estrutura hierárquica e distribucional.

5. Significado e Impacto

Este trabalho representa um avanço significativo para a direção autônoma segura e confiável ao:

• Resolver o Dilema da Agregação Escalar: Demonstra que é possível e necessário manter a estrutura de prioridades dos objetivos durante todo o ciclo de aprendizado, evitando que objetivos secundários "compensem" falhas críticas.
• Segurança por Design: Ao garantir que políticas respeitem a pré-ordem de recompensas, o sistema prioriza intrinsecamente a segurança sobre eficiência ou conforto, alinhando-se melhor com a ética e a segurança humana.
• Escalabilidade e Flexibilidade: A abordagem permite adicionar novos objetivos (cabeças) e definir hierarquias complexas (parciais ou totais) sem reestruturar completamente o algoritmo de aprendizado.

Em suma, o framework Pr-IQN oferece uma solução robusta para o problema de múltiplos objetivos em RL, transformando a hierarquia de recompensas de uma simples função de agregação em uma estrutura ativa que guia a exploração e a otimização do agente, resultando em comportamentos de direção mais seguros e previsíveis.