Reward-Conditioned Attention: How Reward Design Shapes What Autonomous Driving Agents See

Resumo Técnico: Atenção Condicionada à Recompensa na Condução Autónoma

Problema
Embora o Aprendizado por Reforço (RL) tenha alcançado um desempenho de nível especialista em simulações de condução autónoma (AD), os mecanismos internos que impulsionam estas políticas permanecem opacos. Existe uma lacuna crítica na compreensão de como a função de recompensa — o principal sinal que guia os agentes de RL — molda os padrões de atenção interna do agente. Embora a validade dos pesos de atenção como explicações post-hoc para as decisões do modelo seja debatida, este artigo propõe uma questão distinta: será que o design da recompensa determina previsivelmente o que o codificador observa? Compreender esta relação é essencial para verificar se as funções de recompensa ensinam os agentes a monitorizar os aspetos corretos da cena de condução e para avançar no engenharia de recompensas fundamentada em sistemas críticos de segurança.

Metodologia
O estudo utiliza o framework V-Max, empregando três agentes Soft Actor-Critic (SAC treinados no Waymo Open Motion Dataset (WOMD). Todos os três agentes partilham uma arquitetura idêntica de codificador de Consulta-Latente (LQ) baseado em Perceiver, que processa 280 tokens de entrada (representando o veículo ego, outros agentes, geometria da estrada, semáforos e pontos de referência de GPS) num espaço latente compacto através de atenção cruzada (cross-attention).

O design experimental central isola o efeito do design da recompensa comparando três agentes treinados nos mesmos dados, com sementes de inicialização idênticas, mas com configurações de recompensa distintas:

1. Básica (Basic): Penaliza apenas violações de segurança (colisão, saída de estrada, sinal vermelho).
2. Mínima (Minimal): Adiciona incentivos de navegação (adesão à rota e progresso frontal).
3. Completa (Complete): Adiciona penalizações de proximidade contínuas baseadas em Tempo para Colisão (TTC), limites de velocidade e conforto.

Inovação Metodológica Chave: Correlação Intra-Episódio
Uma contribuição metodológica central é a rejeição do "agrupamento ingénuo" (naïve pooling — agregar todos os passos temporais de todos os episódios) para analisar a relação entre atenção e risco. Os autores demonstram que o agrupamento confunde a dinâmica intra-episódio com a heterogeneidade entre episódios (ex: perfis de risco urbano vs. suburbano), levando a uma subestimação significativa do elo entre atenção e risco.

Em vez disso, o estudo utiliza a correlação de rank de Spearman intra-episódio ($\rho_i$) entre o risco de colisão ($R$) e a atenção direcionada pelo agente para cada cenário individualmente. Estas correlações são agregadas entre cenários utilizando a transformada z de Fisher. Esta abordagem lida corretamente com a variância inerente aos episódios de RL heterogéneos e revela sinais estatísticos robustos que as métricas agrupadas ocultam.

Resultos Principais
A análise, realizada em 50 cenários do mundo real (3.676 passos temporais para o modelo completo), produz três descobertas primárias:

1. Validação da Análise Intra-Episódio:
   Para o modelo de recompensa completa, a correlação intra-episódio entre o risco de colisão e a atenção a "Outros Agentes" é robustamente positiva ($\bar{\rho} = +0,291$, IC 95% $[+0,125, +0,442]$). Nos 16 cenários mais reativos ao risco, esta correlação fortalece-se significativamente ($\bar{\rho} = +0,522$), com os agentes aumentando a atenção para ameaças dinâmicas em 77% sob ameaça. Em contraste, o agrupamento ingénuo produz uma correlação de apenas $+0,088$, uma subestimação de 3,3×.

2. O Conteúdo da Recompensa Molda as Linhas de Base da Atenção:
   Os componentes específicos da função de recompensa ditam diretamente a alocação dos recursos de atenção. Agentes treinados com recompensas de navegação (Modelos Mínimo e Completo) alocam significativamente mais atenção aos tokens de caminho de GPS do que aqueles treinados com penalizações de segurança básicas.

   • Mínimo vs. Completo: O modelo Mínimo aloca 33,5% de atenção aos caminhos de GPS, comparado com 16,4% para o modelo Completo (uma diferença de 2,0×).
   • Básico vs. Mínimo: O intervalo varia de 7,1% (Básico) a 33,5% (Mínimo), uma diferença de 4,7×.
     Isto confirma que o conteúdo da recompensa determina quais os elementos da cena que o codificador prioriza.

3. Recompensas de Segurança Contínua Criam um Prior de Vigilância:
   A inclusão de penalizações de proximidade contínuas baseadas em TTC no modelo Completo estabelece um "prior de vigilância aprendido". Mesmo durante fases livres de colisão, o modelo Completo mantém uma "vigilância de repouso" elevada sobre outros agentes em comparação com o modelo Mínimo.

   • Em 16 de 26 cenários qualificáveis, o modelo Completo mantém uma média de +151% mais vigilância de repouso de agentes do que o modelo Mínimo.
   • Este nível elevado de base está presente desde o primeiro passo temporal, sugerindo que o agente aprende um estado de prontidão constante em vez de reagir apenas quando o risco aumenta.

4. Reversão Qualitativa de Estratégia:
   Em vários cenários, os modelos Completo e Mínimo exibem direções opostas de correlação entre atenção e risco. Isto demonstra que o design da recompensa pode reverter qualitativamente a estratégia de atenção de um agente, não apenas modular a magnitude da sua resposta.

Significância e Alegações
O artigo alega que a análise de atenção serve como uma ferramenta de diagnóstico prática para verificar se uma função de recompensa produz o comportamento representacional pretendido em sistemas de RL críticos para a segurança. Ao estabelecer que o design da recompensa molda diretamente os padrões de atenção interna, os autores argumentam que:

• Os profissionais podem usar métricas de atenção para verificar se um agente está a monitorizar os elementos de cena corretos.
• A "correlação de intra-episódio com a transformada z de Fisher" é o padrão estatístico apropriado para a análise de atenção em ambientes de RL heterogéneos, uma vez que as métricas agregadas ocultam a heterogeneidade comportamental crítica.
• A engenharia de recompensas deve considerar como os componentes da recompensa alteram não apenas as ações da política, mas o foco representacional fundamental do agente.

O estudo conclui que, embora os pesos de atenção nem sempre expliquem por que uma decisão foi tomada, eles revelam de forma fiável o que o agente foi treinado para observar, tornando-os um componente vital para a validação do design de recompensa.