Neuro-Cognitive Reward Modeling for Human-Centered Autonomous Vehicle Control

Título: Modelado de Recompensas Neuro-Cognitivas para el Control de Vehículos Autónomos Centrado en el Humano

1. Problema

A pesar de los avances en visión por computadora y el aprendizaje profundo, entrenar vehículos autónomos (AIV) para conducir de manera que se alinee con las expectativas y la intuición humana sigue siendo un desafío significativo.

• Limitaciones del Aprendizaje por Imitación (IL): Los métodos actuales basados en IL tienden a replicar trayectorias expertas sin desarrollar capacidades de razonamiento humano, fallando en escenarios fuera de distribución (OOD) y careciendo de habilidades de toma de decisiones genuinas.
• Limitaciones del Aprendizaje por Refuerzo (RL) y RLHF Tradicional: El RL puro a menudo no se alinea con los valores humanos si no hay mecanismos explícitos. El Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF) convencional depende de que los humanos clasifiquen manualmente las salidas generadas, un proceso que es lento, costoso e indirecto, ya que no captura las respuestas cognitivas naturales e involuntarias del cerebro.
• Necesidad de Retroalimentación Inmediata: Se requiere un método que integre la cognición humana en el bucle de aprendizaje sin interrumpir la conducción ni requerir una recolección de datos fisiológicos en tiempo real durante la inferencia.

2. Metodología

Los autores proponen un marco de trabajo novedoso que utiliza señales de electroencefalografía (EEG) para modelar la cognición humana y guiar el aprendizaje por refuerzo, sin necesidad de EEG en tiempo real durante la operación del vehículo.

• Recolección de Datos (Dataset):
  • Se recopiló un conjunto de datos multimodal con 20 participantes en un simulador de conducción realista (CARLA) utilizando gafas VR (HTC Vive Pro Eye) y un volante Logitech.
  • Se registraron: señales de EEG (64 canales), seguimiento ocular (gaze), datos de control activo y secuencias de imágenes de la escena.
  • Escenarios: Se diseñaron dos escenarios críticos:
    1. Frenado de Emergencia: Un vehículo líder frena repentinamente, requiriendo una reacción rápida.
    2. Giros a la Izquierda: Navegación en intersecciones con tráfico cruzado.
• Análisis de Potenciales Relacionados con Eventos (ERP):
  • Se analizaron las señales de EEG para identificar componentes ERP, específicamente la onda P3 (un pico positivo 300-500 ms tras el estímulo), que indica procesamiento cognitivo ante eventos inesperados o de alta carga cognitiva.
  • Se encontró una correlación significativa entre la latencia del pico de ERP y el tiempo de reacción del conductor, y una mayor amplitud de ERP en condiciones de reacción activa frente a condiciones pasivas.
• Modelo de Predicción de Características de EEG (Cognitive Reward Model):
  • Para evitar la necesidad de recolectar EEG durante la inferencia (lo cual no es escalable), se desarrolló una Red Neuronal Convolucional (CNN) ligera.
  • Entrada: Imágenes de la escena de conducción (segmentación semántica).
  • Salida: Probabilidad de que la escena induzca un ERP (alta carga cognitiva/peligro).
  • El modelo se entrena para predecir si una situación visual provocaría una respuesta de alto esfuerzo cognitivo en un humano.
• Formulación del Aprendizaje por Refuerzo (RL):
  • Se utiliza el algoritmo TD3 (Twin Delayed DDPG) para el control continuo (aceleración/frenado).
  • Función de Recompensa Híbrida: La recompensa total ($r_t$) combina:
    1. Recompensa Ambiental: Penalizaciones por colisiones, tiempo de inactividad y recompensas por mantener una distancia de seguimiento óptima.
    2. Recompensa Cognitiva ($r_{cog}$): Basada en la predicción del modelo de EEG. Se aplica un peso negativo a las situaciones donde el modelo predice una alta probabilidad de ERP (indicando que la situación es cognitivamente difícil o peligrosa para un humano), penalizando así al agente por entrar en estados que requieren un alto esfuerzo cognitivo humano.
• Arquitectura de la Red de Política:
  • Utiliza un mecanismo de auto-atención (Self-Attention) sobre secuencias de imágenes de segmentación semántica para capturar el contexto temporal y espacial, prediciendo tanto la acción de control como el Tiempo hasta la Colisión (TTC).

3. Contribuciones Clave

1. Nuevo Dataset Multimodal: Presentación del primer conjunto de datos que integra simultáneamente EEG, seguimiento ocular, datos de control activo y vistas de la escena en un entorno de simulación VR realista para 20 conductores.
2. Modelo de Recompensa Cognitiva: Desarrollo de un modelo que predice características de EEG (probabilidad de ERP) directamente a partir de imágenes de la escena, eliminando la necesidad de hardware de EEG durante la fase de inferencia del vehículo autónomo.
3. Marco RLHF Neuro-Cognitivo: Propuesta de un marco de RLHF que integra estas señales cognitivas predichas en la función de recompensa, demostrando que esto mejora la toma de decisiones en escenarios complejos sin intervención humana en tiempo real.

4. Resultados

• Análisis de EEG: Se confirmó una correlación estadísticamente significativa ($p=0.0438$) entre la latencia del pico de ERP y el tiempo de reacción. La amplitud de ERP fue significativamente mayor en condiciones de frenado de emergencia activo.
• Rendimiento del Modelo de Predicción:
  • El modelo CNN ligero alcanzó una precisión promedio del 82% en la predicción de la presencia de ERP (validación cruzada de 5 pliegues).
  • Logró una velocidad de procesamiento de 204 fps, superando a modelos base como ResNet-18, Swin-ViT y ConvNeXt, lo que lo hace viable para inferencia en tiempo real.
• Rendimiento de Conducción (CARLA):
  • En comparación con métodos de línea base (RL Vanilla, Clonación de Comportamiento, RLHF tradicional con clasificación humana, y TD3-lag), el método propuesto ("Ours") obtuvo los mejores resultados:
    • Frenado de Emergencia: Puntuación de finalización de ruta del 85% (vs. 73% de RLHF tradicional) y puntuación de conducción de 79.
    • Giros a la Izquierda: Puntuación de finalización de ruta del 67% y puntuación de conducción de 57.
  • Visualización de Atención: El análisis de la atención de la máquina mostró que el modelo propuesto se enfoca consistentemente en el vehículo líder, mientras que los modelos base mostraban una atención más dispersa, lo que sugiere una mejor alineación con la atención humana.

5. Significado e Impacto

• Escalabilidad: Al predecir las respuestas cognitivas a partir de imágenes en lugar de requerir EEG en tiempo real, el método hace que la alineación con la cognición humana sea escalable y práctica para la implementación en vehículos reales.
• Seguridad y Alineación Humana: Demuestra que las señales cognitivas humanas, incluso cuando se infieren indirectamente, pueden guiar a los agentes de RL para desarrollar comportamientos de conducción más seguros y alineados con la intuición humana, especialmente en situaciones críticas de emergencia.
• Avance en RLHF: Extiende el paradigma de RLHF más allá de la clasificación manual, introduciendo un "feedback implícito" basado en la neurociencia que captura la carga cognitiva y el riesgo percibido por el cerebro humano.
• Fundamento para Futuras Investigaciones: Establece una base para el uso de biomarcadores neurales en la ingeniería de recompensas para sistemas autónomos, abriendo la puerta a vehículos que no solo evitan colisiones, sino que también minimizan el estrés cognitivo y la incertidumbre percibida por los pasajeros y otros usuarios de la vía.