Resumo Técnico: DecisionPerceiver para Tomada de Decisão de Alto Nível em Condução Autónoma

Declaração do Problema

A tomada de decisão fiável baseada em aprendizagem para condução autónoma (especificamente mudanças de faixa e controlo de velocidade) enfrenta dois desafios primários:

1. Dimensões de Entrada Variáveis: Cenas de tráfego do mundo real envolvem um número dinamicamente variável de agentes circundantes, exigindo que as políticas neurais lidem com entradas de tamanho não fixo sem sensibilidade à ordenação de entrada (sensibilidade à permutação).
2. Modelagem de Interação vs. Escalabilidade: As abordagens existentes têm dificuldade em equilibrar a modelagem explícita de interação de tráfego com a eficiência computacional.
   • DeepSets e variantes lidam com entradas variáveis através de codificadores partilhados e agregação invariante à permutação (ex: pooling), mas sofrem de "colapso de características" (feature collapse), perdendo detalhes explícitos de interação entre agentes cruciais para cenários de negociação intensa, como cruzamentos.
   • Métodos baseados em Atenção (ex: Transformers) capturam eficazmente dependências globais e interações, mas incorrem em complexidade computacional e de memória quadrática em relação ao tamanho da entrada, limitando a implementação em tempo real. Além disso, oferecem controlo limitado sobre a granularidade da representação de características.

Metodologia

O artigo propõe o DecisionPerceiver, uma arquitetura baseada em atenção e consciente de interações, desenhada para projetar características dinâmicas de agentes num espaço latente de tamanho fixo. O sistema é treinado utilizando um framework de Aprendizagem por Reforço (RL).

1. Arquitetura: DecisionPerceiver

Inspirado no Perceiver IO, a rede desacopla o custo computacional do tamanho da entrada:

• Codificação de Entrada: Os estados dinâmicos dos agentes são codificados via um MLP (Perceptron Multicamadas) e Normalização de Camada (Layer Normalization) para gerar Chaves ($K$) e Valores ($V$). O estado do veículo ego é tratado como uma entrada estática.
• Gargalo Latente (Latent Bottleneck): Em vez de atender diretamente a todos os agentes, a rede projeta estas características num espaço latente de tamanho fixo ($z \in \mathbb{R}^{N \times D}$) utilizando um conjunto de consultas de tokens latentes ($Q$).
• Mecanismo de Atenção: A atenção multi-cabeça é computada entre as consultas latentes e as características codificadas dos agentes. Isto permite que o modelo regule a granularidade das características através do número de consultas latentes ($N$), limitando a complexidade à dimensão latente em vez do número de agentes.
• Fusão e Saída: A representação latente consciente de interações resultante é fundida com o estado do ego através de um MLP adicional. Cabeças de rede separadas então regridem a função de valor ($V_\theta$) e a política ($\pi_\theta$).
• Sem Pooling: Ao contrário do DeepSets, não são utilizados operadores de colapso invariantes à permutação (como pooling), preservando a capacidade de aprender interações entre agentes.

2. Framework de Treino

• Algoritmo: A política é otimizada utilizando Otimização de Política Próxima (PPO) dentro de um framework Actor-Critic.
• Objetivo: A função de perda combina um objetivo de substituição cortado (clipped surrogate objective) para a política, uma perda de erro quadrático para a função de valor e um termo de regularização de entropia para incentivar a exploração.
• Ambiente: O treino e a avaliação são conduzidos no simulador highway-env através de três cenários: Autoestrada (ultrapassagem), Cruzamento (conversões à esquerda não protegidas) e Rotunda (fusão/saída).

3. Conjunto de Ações Discretas Refinado

Para reduzir a carga sobre os controladores laterais e longitudinais de baixo nível, o conjunto padrão de ações discretas é estendido com uma discretização mais fina:

• As ações padrão (ex: "virar à esquerda") são divididas em níveis intermédios (ex: "virar meio à esquerda", "virar totalmente à esquerda").
• Isto resulta num espaço de ações aumentado ($A_{new}$) de nove meta-ações discretas.
• Este refinamento visa melhorar o seguimento de trajetória, fornecendo referências intermédias, reduzindo o esforço de controlo e criando um espaço de busca mais compacto com variância de gradiente reduzida.

Principais Contribuições

1. Arquitetura DecisionPerceiver: Uma nova arquitetura de planeamento comportamental que mapeia entradas de tamanho dinâmico num espaço latente compacto. Isto permite uma modelagem de interação escalável enquanto evita o crescimento de complexidade quadrática associado aos mecanismos de atenção padrão.
2. Discretização de Ação Mais Fina: A introdução de um conjunto de ações discretas expandido com referências laterais e de velocidade intermédias. Isto melhora o desempenho do controlo de baixo nível e a estabilidade da inferência do planeador sem sacrificar as capacidades de tempo real.

Resultados Experimentais

O método proposto foi testado contra baselines de estado da arte: DeepSet, LFFDS (uma variante do DeepSet) e Ego-attention.

Métricas de Desempenho

• Cenário de Autoestrada: O DecisionPerceiver alcançou a maior velocidade média (29.25 m/s), superando o DeepSet em ~6.2% e o LFFDS em ~4.2%. Demonstrou uma convergência rápida, atingindo um desempenho estável em $1 \times 10^5$ passos, enquanto o Ego-attention exigiu $5 \times 10^5$ passos.
• Cenário de Cruzamento: O DecisionPerceiver obteve a maior velocidade média (8.243 m/s), um ganho relativo de 15.4% sobre o segundo melhor baseline (LFFDS). Embora o Ego-attention tenha alcançado uma recompensa ligeiramente superior e uma menor taxa de terminação precoce, o DecisionPerceiver manteve uma política de alta velocidade mais agressiva.
• Cenário de Rotunda: O DecisionPerceiver alcançou uma velocidade de 9.951 m/s. Embora ligeiramente inferior em velocidade ao DeepSet e LFFDS (por ~5% e ~1% respetivamente), registou uma taxa de terminação precoce significativamente menor (próxima de zero comparada com ~5% nos outros), e uma pontuação de recompensa mais elevada, indicando uma política mais segura.

Estudos de Ablação

• Discretização de Ação: No cenário de Autoestrada, a discretização mais fina levou a um aumento constante na recompensa acumulada e velocidades médias mais altas em comparação com o conjunto de ações original, atribuído a tempos de reação reduzidos e menor probabilidade de colisão no controlador de baixo nível.
• Escalabilidade: O modelo manteve um desempenho estável e competitivo à medida que o número de veículos observáveis aumentou de 5 para 20. Embora a velocidade média tenha diminuído 15–30% devido ao aumento da densidade de tráfego e risco de colisão, a arquitetura não sofreu uma degradação catastrófica, demonstrando escalabilidade para tráfego denso.

Significância e Alegações

O artigo alega que o DecisionPerceiver oferece uma solução equilibrada para o planeamento comportamental de alto nível ao:

• Permitir a Modelagem de Interação Escalável: Ao projetar interações num espaço latente fixo, o modelo captura dependências de tráfego complexas sem as proibições computacionais dos mecanismos de atenção total.
• Melhorar a Eficiência de Controlo: A discretização de ação mais fina preenche a lacuna entre o planeamento de alto nível e a execução de baixo nível, reduzindo o esforço de controlo e melhorando o seguimento de trajetória.
• Demonstrar Robustez: O método supera consistentemente ou iguala os baselines de conjunto e de atenção de estado da arte em diversas condições operacionais, mostrando especial força em cenários de negociação intensa (cruzamentos) e ultrapassagens de alta velocidade (autoestradas).

Os autores concluem que a abordagem produz um desempenho superior em ambientes de tráfego complexos, oferecendo melhor escalabilidade e flexibilidade de representação em comparação com os métodos existentes.