Knowledge-Data-Dual-Driven Reinforcement Learning for Autonomous Vehicle Control in Mixed Traffic

Resumen Técnico: Aprendizaje por Refuerzo de Doble Impulso Basado en Conocimiento y Datos para el Control de Vehículos Autónomos en Tráfico Mixto

Planteamiento del Problema
El artículo aborda tres desafíos interrelacionados en la toma de decisiones de vehículos autónomos (AV) dentro de entornos de tráfico mixto (interacciones entre AV y vehículos conducidos por humanos, HDV):

1. Limitaciones de los Priores Basados en la Física: Los modelos existentes de aprendizaje por refuerzo (RL) informados por la física (ej. ecuaciones cinemáticas, MOBIL) dependen de modelos físicos deterministas que no logran capturar las intenciones interactivas latentes y las diversas conductas de los conductores. Esto limita la capacidad del agente para razonar proactivamente sobre la evolución futura de los vehículos.
2. No Estacionariedad y Eventos de Cola Larga: Los escenarios críticos de seguridad causados por maniobras abruptas de los vehículos circundantes provocan cambios en la distribución. El RL estándar tiene dificultades con estas condiciones no estacionarias, dejando eventos de seguridad raros pero críticos (eventos de cola larga) poco explorados.
3. Inestabilidad del Espacio de Acción Híbrido: El control de un AV requiere gestionar maniobras de seguimiento de vehículos (longitudinales) continuas y cambios de carril (laterales) discretos. Estos operan en escalas temporales fundamentalmente diferentes. Forzarlos en actualizaciones sincrónicas desestabiliza el entrenamiento, mientras que el simple desacoplamiento aisla contextos de decisión interdependientes.

Metodología: Marco de Trabajo KDDRL
Los autores proponen el Aprendizaje por Refuerzo de Doble Impulso Basado en Conocimiento y Datos (KDDRL), un marco que cambia de la percepción-reacción pasiva a la predicción-razonamiento proactiva. La arquitectura consta de tres componentes sinérgicos:

1. Submódulo de Generación de Trayectorias Consciente de la Intención:

   • En lugar de utilizar observaciones puras, el sistema genera trayectorias futuras de los vehículos que lideran, las cuales codifican intenciones interactivas.
   • Emplea una Red Generativa Antagónica Condicional (cGAN), denominada trajGAN.
   • Proceso: Un Modelo de Conductor Inteligente (IDM) genera primero una trayectoria previa determinista basada en la física. Esta sirve como una secuencia de condicionamiento ($T_{CT}$) para la trajGAN, que la refina en múltiples trayectorias físicamente plausibles y conscientes de la intención ($T_{GT}$) mediante el aprendizaje de las distribuciones de datos del mundo real.
   • Salida: Se extraen distancias relativas clave en pasos de tiempo futuros específicos (pasos 10 y 20) para proporcionar una previsión estructurada sin que la dimensionalidad del estado explote.

2. Submódulo de Generación de Comportamiento de Cambio de Carril:

   • Este módulo fusiona conocimientos basados en datos con restricciones físicas para guiar las decisiones de cambio de carril.
   • Componente Basado en Datos: Una lcGAN aprende patrones empíricos de cambio de carril a partir de conjuntos de datos del mundo real, emitiendo una distribución de probabilidad ($P_{lcGAN}$) condicionada por los estados de tráfico y las trayectorias conscientes de la intención. Utiliza una pérdida Focal para abordar el desequilibrio de clases entre las maniobras frecuentes de mantenimiento de carril y las raras maniobras de cambio de carril.
   • Componente Basado en el Conocimiento: El modelo MOBIL proporciona un prior basado en la física ($P_{MOBIL}$) al imponer restricciones duras de distancia de seguridad y calcular la utilidad basada en criterios de eficiencia y seguridad.
   • Fusión: Una capa de incrustación (embedding) comprime $P_{lcGAN}$ y $P_{MOBIL}$ en una distribución de prior compartida y compacta ($P_{lc}$), que sirve como un sesgo inductivo para el agente de RL.

3. Módulo de Control de Vehículo (RL Jerárquico):

   • El marco emplea una base de estado predictivo-conocimiento unificada que integra observaciones puras, trayectorias conscientes de la intención y el prior fusionado de cambio de carril.
   • Optimización Asincrónica de Multiescala Temporal:
     • Cambio de Carril Discreto: Gestionado por un agente D3QN (Dueling Double Deep Q-Network) que opera a una baja frecuencia (intervalos de 2 segundos). Selecciona acciones (Izquierda, Mantener, Derecha) basadas en el estado unificado.
     • Seguimiento de Vehículo Continuo: Gestionado por un agente TD3 (Twin Delayed Deep Deterministic Policy Gradient) que opera a una alta frecuencia (intervalos de 0.1 segundos). Emite comandos de aceleración continua.
   • Los dos agentes comparten la misma representación de estado pero se actualizan de forma asincrónica, preservando la información mutua mientras estabilizan el entrenamiento para espacios de acción heterogéneos.

Contribuciones Clave

• Generación de Trayectorias Mejorada y Consciente de la Intención: El artículo introduce un modelo basado en cGAN que codifica intenciones interactivas para sintetizar múltiples trayectorias físicamente plausibles, convirtiendo la percepción pasiva en estados predictivos proactivos.
• Paradigma de Doble Impulso Basado en Conocimiento y Datos: Un enfoque de entrenamiento novedoso que fusiona conocimientos probabilísticos basados en datos (de lcGAN) con límites físicos interpretables (de MOBIL) sobre estados predictivos. Esto estabiliza la optimización de la política en regímenes no estacionarios y mejora la eficiencia de exploración en eventos raros de seguridad crítica.
• Base de Estado Predictivo-Conocimiento Compartida: Un módulo de acoplamiento que comprime las trayectorias conscientes de la intención y las restricciones físicas en incrustaciones compartidas. Esto permite la optimización asincrónica de acciones continuas y discretas, resolviendo la inestabilidad de los espacios de acción híbridos mientras mantiene un control coordinado.

Resultados
Las evaluaciones se realizaron en un entorno de simulación calibrado con el conjunto de datos HighD (trayectorias de autopistas alemanas del mundo real) integrado en el simulador de tráfico SUMO. El marco KDDRL se comparó con métodos de línea base convencionales. Los resultados demuestran que KDDRL:

• Maneja eficazmente la incertidumbre de la intención.
• Acelera la convergencia del entrenamiento.
• Supera a los modelos de referencia en términos de seguridad (reducción de colisiones), eficiencia (mantenimiento de la velocidad) y confort (reducción de sacudidas/jerk y maniobras innecesarias).

Significancia y Reivindicaciones
El artículo afirma que KDDRL representa un avance significativo al abordar el acoplamiento estructural de la predicción, las restricciones de seguridad y la frecuencia de control en el tráfico mixto. Al cambiar el paradigma de "percepción-reacción pasiva" a "predicción-razonamiento proactivo", el marco permite que los AV anticipen las conductas de los conductores humanos en lugar de simplemente reaccionar ante ellas. Los autores sostienen que su enfoque unificado logra cerrar la brecha entre la adaptabilidad basada en datos y las garantías de seguridad basadas en la física, ofreciendo una solución robusta para la naturaleza compleja y estocástica de la toma de decisiones en el flujo de tráfico mixto.