Neuro-Cognitive Reward Modeling for Human-Centered Autonomous Vehicle Control

Título: Modelagem de Recompensa Neuro-Cognitiva para Controle de Veículos Autônomos Centrados no Humano

1. Problema e Motivação

O avanço recente na visão computacional impulsionou o desenvolvimento de veículos autônomos, especialmente através de abordagens de Aprendizado por Reforço (RL) e Aprendizado por Imitação (IL). No entanto, existem desafios significativos:

• Alinhamento com Expectativas Humanas: Modelos de IL tendem a replicar trajetórias de especialistas, mas falham em cenários fora da distribuição de treinamento (out-of-distribution) e carecem de raciocínio humano real.
• Limitações do RLHF Tradicional: O Reinforcement Learning with Human Feedback (RLHF) convencional depende de anotações humanas manuais (classificação de trajetórias ou comparações), o que é demorado, indireto e pode não capturar as respostas cognitivas naturais e instantâneas do cérebro.
• Necessidade de Feedback Implícito: Há uma lacuna em métodos que possam integrar o estado cognitivo humano (como o nível de alerta ou surpresa diante de um perigo) no processo de treinamento de RL sem interromper a operação ou exigir feedback explícito contínuo.

2. Metodologia Proposta

Os autores propõem um framework inovador que utiliza sinais de Eletroencefalografia (EEG) para modelar recompensas cognitivas, eliminando a necessidade de coletar dados de EEG durante a fase de inferência (treinamento do agente).

A. Coleta de Dados e Cenários:

• Dataset Multimodal: Coletado com 20 participantes em um simulador de direção realista (CARLA + HTC Vive Pro Eye VR).
• Dados Capturados: Sinais de EEG (64 canais), rastreamento ocular (eye-tracking), dados de controle ativo (volante, aceleração, freio) e imagens da cena.
• Cenários:
  1. Frenagem de Emergência: Um veículo líder freia inesperadamente, exigindo reação rápida.
  2. Curva à Esquerda: Manobras em interseções com tráfego cruzado.
• Análise de ERP: Foco nas Potenciais Relacionados a Eventos (ERPs), especificamente o componente P3 (pico positivo 300-500ms após o estímulo), que indica processamento cognitivo de eventos inesperados ou difíceis.

B. Modelo de Recompensa Cognitiva (Human Cognitive Reward Model):

• Previsão de EEG a partir de Imagens: Em vez de usar EEG em tempo real durante a direção autônoma, os autores treinaram uma rede neural leve (CNN) para prever a probabilidade de ocorrência de um ERP (alto ou baixo) baseada apenas nas imagens da cena visual.
• Arquitetura: Uma CNN leve com camadas de convolução e pooling médio, projetada para inferência rápida (204 fps).
• Objetivo: O modelo aprende a mapear características visuais da cena para o estado cognitivo esperado do motorista (ex: uma situação de colisão iminente gera uma "recompensa" de alto esforço cognitivo).

C. Formulação do Problema de RL:

• MDP (Processo de Decisão de Markov): O agente controla aceleração e frenagem.
• Função de Recompensa Híbrida:
  $$r_t = \beta \cdot r_{cog}(s_t) + r_{colisão} + r_{inativo} + r_{distância}$$
  • $r_{cog}(s_t)$: Recompensa cognitiva prevista pelo modelo (baseada na previsão de ERP). Um peso negativo ($\beta = -1$) é aplicado para penalizar estados que o modelo prevê como causando alto esforço cognitivo ou dificuldade (indicando risco ou falha de percepção).
  • Termos ambientais: Penalidades por colisão, inatividade e recompensas por manter distância segura.
• Política (Policy Network): Utiliza um mecanismo de Self-Attention sobre uma sequência de três imagens de segmentação semântica para prever a ação (aceleração/freio) e o Tempo até Colisão (TTC).

3. Contribuições Principais

1. Novo Dataset Multimodal: O primeiro conjunto de dados a integrar EEG, rastreamento ocular e dados de controle ativo de motoristas em um simulador VR realista.
2. Modelo de Recompensa Cognitiva: Desenvolvimento de um modelo que prevê características de EEG (ERP) diretamente a partir de imagens de cena, permitindo a integração de feedback cognitivo no RL sem a necessidade de hardware de EEG durante a operação.
3. Framework de RLHF Neuro-Cognitivo: Demonstração de que a integração de sinais cognitivos inferidos (em vez de manuais) melhora a segurança e o alinhamento humano em cenários complexos de direção.

4. Resultados Experimentais

Os experimentos foram realizados no simulador CARLA, comparando o método proposto ("Ours") com várias baselines (RL Vanilla, Behavior Cloning, PHIL, TD3-lag, e RLHF tradicional com anotação humana).

• Desempenho em Frenagem de Emergência:
  • Conclusão de Rota: 85% (vs. 73% do RLHF tradicional e 65% do BC).
  • Pontuação de Direção: 79 (vs. 66 do RLHF).
  • Penalidade de Infração: 0.84 (maior é melhor, indicando menos penalidades).
• Desempenho em Curva à Esquerda:
  • Conclusão de Rota: 67% (vs. 63% do RLHF).
  • Pontuação de Direção: 57 (vs. 49 do RLHF).
• Eficiência Computacional: O modelo de previsão de EEG é significativamente mais rápido (204 fps) do que modelos de classificação de imagem padrão como ResNet-18, economizando tempo de treinamento.
• Análise de Atenção: A visualização da atenção da máquina mostrou que o modelo proposto foca consistentemente no veículo líder durante a frenagem de emergência, enquanto as baselines têm uma atenção mais dispersa.
• Correlação Cognitiva: Foi encontrada uma correlação estatisticamente significativa ($p=0.0438$) entre a latência do pico do ERP e o tempo de reação do motorista, validando que o ERP é um biomarcador confiável para a dificuldade da tarefa.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na interseção entre neurociência e veículos autônomos:

• Escalabilidade: Ao remover a necessidade de coletar EEG durante a inferência, o método torna o RLHF baseado em biologia viável para aplicações em larga escala.
• Segurança e Alinhamento: A incorporação de "recompensas cognitivas" (baseadas no que o cérebro humano considera perigoso ou difícil) leva a agentes de RL que tomam decisões mais seguras e alinhadas com a intuição humana, superando métodos puramente baseados em imitação ou recompensas manuais.
• Futuro: Embora limitado a dois cenários e 20 participantes, o estudo estabelece a base para sistemas de direção autônoma que aprendem não apenas a evitar colisões, mas a operar de forma que minimize a carga cognitiva e o estresse humano, utilizando sinais neurais como guia implícito.

Em suma, a pesquisa demonstra que sinais cognitivos humanos, mesmo quando inferidos indiretamente a partir de imagens, fornecem um guia valioso para treinar sistemas autônomos mais seguros e centrados no ser humano.