Integrated Automated Car Following and Lane-changing control based on a Parametrized Deep Q-network with Hybrid Action Space

Resumen Técnico: Control Integrado de Seguimiento de Vehículos y Cambio de Carril Automatizado basado en una Red Q Profunda Parametrizada

Planteamiento del Problema
Los enfoques actuales para el control de vehículos automatizados suelen tratar el cambio de carril y el seguimiento de vehículos como tareas independientes. Los modelos tradicionales basados en reglas, como el Modelo de Minimización de la Desaceleración Total Inducida por Cambios de Carril (MOBIL) combinado con el Modelo de Conductor Inteligente (IDM), dependen de reglas predefinidas y aproximaciones de trayectoria explícitas. Estos métodos tienen dificultades para gestionar la naturaleza dinámica y estocástica del tráfico, particularmente cuando las decisiones de cambio de carril dependen de interacciones complejas con los vehículos circundantes (por ejemplo, ajustar la velocidad para utilizar un hueco aceptable). Además, los enfoques existentes de Aprendizaje por Refuerzo (RL) suelen abordar estas subtareas por separado o intentan integrarlas mediante la discretización de acciones continuas (como la aceleración), lo que puede provocar una pérdida de la estructura natural del espacio de acciones y una reducción de la eficiencia. El desafío central radica en la gestión de un espacio de acción híbrido donde las decisiones de cambio de carril son discretas, mientras que la aceleración y la ejecución de la trayectoria son continuas.

Metodología
El estudio propone un marco de control integrado para Vehículos Conectados y Automatizados (CAV) utilizando una Red Q Profunda Parametrizada (P-DQN). Este algoritmo está diseñado para operar directamente sobre un espacio de acción híbrido discreto-continuo sin discretizar las variables continuas.

• Espacio de Estados: El estado del sistema ($S_t$) comprende dos componentes:
  1. Interacciones de Vehículos ($S^1_t$): Incluye posiciones y velocidades relativas laterales/longitudinales de cuatro vehículos circundantes (delanteros/traseros en los carriles actuales y adyacentes).
  2. Contexto de la Carretera ($S^2_t$): Incluye la distancia del vehículo propio a los límites de la carretera, la línea central ideal del carril y la diferencia de índice de carril entre el carril actual y el ideal.
• Espacio de Acciones: El marco emplea un espacio de acción híbrido $A_t = [A^h_t, A^l_t]^T$:
  • Acción Discreta de Alto Nivel ($k_t$): Determina la decisión de cambio de carril (0: izquierda, 1: mantenerse, 2: derecha).
  • Acciones Continuas de Bajo Nivel ($A^l_t$): Controla las aceleraciones lateral ($a_{x,0}$) y longitudinal ($a_{y,0}$). El rango de las acciones continuas está parametrizado por la decisión discreta (por ejemplo, la aceleración lateral se restringe a valores negativos para un cambio de carril a la izquierda).
• Función de Recompensa: La recompensa total ($R_{total}$) es una suma ponderada de cinco componentes diseñados para equilibrar la seguridad, la eficiencia y el confort:
  1. Seguridad: Penaliza la proximidad a los vehículos circundantes y a los límites de la carretera mediante funciones de penalización logarítmicas.
  2. Seguimiento de Vehículo: Fomenta el mantenimiento de un intervalo de tiempo deseado con el vehículo delantero.
  3. Mantenimiento de Carril: Penaliza la desviación de la línea central del carril cuando no se realizan cambios de carril.
  4. Cambio de Carril: Recompensa la alineación con el "carril ideal" (determinado por la velocidad de los vehículos líderes en los carriles adyacentes).
• Algoritmo: La P-DQN utiliza una red crítica para estimar la función de valor de acción $Q(S, k, A_l)$ y una red de actor para producir los parámetros continuos óptimos $A_l$ para una dada acción discreta $k$. La red se entrena para maximizar las recompensas acumuladas utilizando una función de pérdida de mínimos cuadrados y el descenso de gradiente estocástico.

Contribuciones Clave

1. Marco de Control Integrado: El estudio presenta una estrategia de control unificada que gestiona simultáneamente el cambio de carril y el seguimiento de vehículos, tratándolos como procesos interdependientes en lugar de subtareas aisladas.
2. Implementación de Espacio de Acción Híbrido: El artículo implementa P-DQN para manejar el desafío específico de los espacios de acción híbridos en el control de CAV, evitando las limitaciones de la discretización de acciones continuas.
3. Optimización Multiobjetivo: El marco integra con éxito cuatro subobjetivos —evitación de colisiones, seguimiento de vehículo, mantenimiento de carril y eficiencia en el cambio de carril— en una única política de aprendizaje.

Resultados
Se realizaron experimentos numéricos en cuatro escenarios con diferentes niveles de complejidad, incluyendo velocidades constantes y dinámicas de los vehículos circundantes.

• Convergencia: El algoritmo P-DQN logró la convergencia dentro de 2,000 a 3,000 episodios de entrenamiento.
• Desempeño Conductual: A diferencia de los métodos tradicionales (por ejemplo, MOBIL) que podrían rechazar un cambio de carril debido a restricciones inmediatas de brecha, la P-DQN aprendió a ajustar la velocidad longitudinal (acelerar o desacelerar) para crear o utilizar huecos, permitiendo cambios de carril exitosos. El agente mantuvo distancias seguras tanto de los vehículos delanteros como traseros durante las maniobras y se adhirió a las líneas centrales de los carriles.
• Análisis Comparativo: Al compararse con un modelo base MOBIL+IDM:
  • Seguridad: La P-DQN demostró valores de Tiempo de Colisión Inverso (Inverse-TTC) significativamente menores (por ejemplo, 0.075 vs. 0.214 en el Escenario 1), lo que indica un menor riesgo de colisión.
  • Confort: La P-DQN logró métricas de incomodidad de conducción sustancialmente menores (basadas en la magnitud de la aceleración), con valores que oscilaron entre 0.599 y 1.260, en comparación con los 1.596 a 3.712 del modelo base MOBIL+IDM.

Significancia y Reivindicaciones
El artículo afirma que el marco P-DQN propuesto resuelve las limitaciones de las estrategias de control separadas y los modelos basados en reglas al integrar eficazmente los comportamientos de cambio de carril y seguimiento de vehículos. Al aprovechar un espacio de acción híbrido, el modelo permite que los CAV tomen decisiones coordinadas donde los ajustes de velocidad facilitan cambios de carril seguros, imitando comportamientos de conducción humana realistas. El estudio concluye que este enfoque integrado ofrece un rendimiento superior en términos de seguridad de conducción y confort en comparación con la combinación establecida de MOBIL e IDM, proporcionando una solución más adaptable para escenarios de tráfico complejos sin depender de reglas predefinidas rígidas.