PALCAS: A Priority-Aware Intelligent Lane Change Advisory System for Autonomous Vehicles using Federated Reinforcement Learning

A continuación se presenta un resumen técnico detallado del artículo "PALCAS: Un Sistema de Asesoramiento Inteligente para Cambios de Carril con Conciencia de Prioridad para Vehículos Autónomos utilizando Aprendizaje por Refuerzo Federado."

1. Declaración del Problema

El cambio de carril en autopistas urbanas, particularmente aquellas con frecuentes entradas y salidas, es una tarea compleja de toma de decisiones que implica la coordinación de los controles laterales y longitudinales del vehículo. Los enfoques actuales enfrentan varios desafíos:

• Seguridad y Eficiencia: Los cambios de carril inadecuados contribuyen a más del 10% de los accidentes en autopistas y al 10% de la congestión del tráfico. Los conductores humanos a menudo fallan en tomar decisiones críticas debido a errores de percepción.
• Limitaciones de la IA Existente:
  • Sistemas de Agente Único: A menudo se centran en la eficiencia del vehículo ego, descuidando la coordinación global del tráfico.
  • Sistemas Multiagente Centralizados (MARL): Si bien mejoran la coordinación, sufren de riesgos de privacidad de datos, alta sobrecarga computacional y falta de escalabilidad en redes grandes y heterogéneas.
  • Brechas en el Aprendizaje Federado (FL): Las aplicaciones existentes de FL en la conducción autónoma se centran principalmente en el control de movimiento de bajo nivel (por ejemplo, evitación de colisiones) en lugar de la toma de decisiones integrada de alto nivel para cambios de carril multiagente que equilibran maniobras obligatorias y discrecionales.

2. Metodología: Marco PALCAS

Los autores proponen PALCAS, un Sistema de Asesoramiento para Cambios de Carril con Conciencia de Prioridad construido sobre un marco de Aprendizaje por Refuerzo Multiagente Federado (Fed-MARL).

Arquitectura del Sistema

• Infraestructura: La autopista se segmenta en clústeres, cada uno gestionado por una Unidad de Carretera (RSU). Las RSU actúan como agentes que coordinan Vehículos Conectados y Automatizados (CAV) dentro de su cobertura.
• Comunicación:
  • V2X (Vehículo-a-Todo): Los CAV se comunican con su RSU local.
  • I2I (Infraestructura-a-Infraestructura): Las RSU se comunican entre sí para compartir estadísticas globales del tráfico.
  • Aprendizaje Federado: Las RSU entrenan modelos locales utilizando datos locales y cargan periódicamente parámetros a un servidor central para su agregación (FedAvg), luego descargan el modelo global actualizado. Esto preserva la privacidad de los datos mientras habilita el intercambio de conocimientos.

Formulación Matemática

• Tipo de Problema: El sistema se formula como un Proceso de Decisión de Markov Parcialmente Observable Descentralizado (Dec-POMDP).
• Algoritmo: El sistema utiliza Redes de Q Profundas Parametrizadas (PDQN) para manejar un espacio de acciones híbrido:
  • Acciones Discretas: Cambio de carril a la izquierda, cambio de carril a la derecha o mantener el carril.
  • Acciones Continuas: Comandos de aceleración o desaceleración.
• Espacio de Estados: Una representación jerárquica que fusiona:
  • Microscópico: Estado del vehículo ego (posición, velocidad, aceleración) y estados de los vehículos circundantes.
  • Macroscópico: Densidad de tráfico a nivel de clúster y velocidad promedio.
  • Global: Estadísticas agregadas de tráfico compartidas mediante comunicación I2I.

Diseño de la Función de Recompensa

La innovación central es una función de recompensa guiada por prioridades ($R_k$) diseñada para equilibrar seguridad, eficiencia, comodidad y urgencia de destino:
$$R(t)_k = \sum (\iota r_e + \zeta r_s + \xi r_c + \lambda r_{lc} + \psi r_d)$$

1. Recompensa de Eficiencia ($r_e$): Fomenta mantener velocidades cercanas al límite máximo y optimizar el flujo a nivel de clúster.
2. Recompensa de Seguridad ($r_s$): Basada en el modelo de Seguridad Sensible a la Responsabilidad (RSS), calcula las distancias longitudinales y laterales mínimas seguras para prevenir colisiones.
3. Recompensa de Comodidad ($r_c$): Penaliza la aceleración/desaceleración que excede los umbrales cómodos ($1.47 m/s^2$).
4. Recompensa de Cambio de Carril Guiada por Prioridad ($r_{lc}$): El componente novedoso. Pondera dinámicamente las decisiones de cambio de carril basándose en:
   • Urgencia ($u_t$): Los vehículos que se acercan a su salida reciben recompensas negativas si no están en el carril correcto, calculado utilizando el tiempo hasta la salida versus el tiempo necesario para cambiar de carril.
   • Penalización de Escalonamiento ($p_{stage}$): Desalienta a los vehículos de ocupar el carril de salida demasiado pronto, manteniendo los carriles más rápidos abiertos para el tráfico de paso.
5. Penalización de Bloqueo ($r_d$): Evita que los vehículos de rampa queden atrapados al final de las carriles de aceleración.

3. Contribuciones Clave

1. Marco de su Tipo: PALCAS es el primer trabajo que aborda conjuntamente los cambios de carril obligatorios y discrecionales utilizando un paradigma de aprendizaje federado para la toma de decisiones cooperativas a gran escala.
2. Representación de Estado Jerárquica: Integra datos microscópicos de vehículos con información macroscópica a nivel de clúster y global del tráfico, mejorando la conciencia situacional.
3. Mecanismo de Recompensa Guiado por Prioridad: Unifica la viabilidad de la maniobra y la urgencia del destino, permitiendo que el sistema priorice dinámicamente a los vehículos basándose en su proximidad a las salidas y las condiciones actuales del tráfico.
4. Arquitectura Escalable que Preserva la Privacidad: Demuestra un enfoque federado que permite a los agentes generalizar a partir de escenarios no vistos sin compartir datos crudos, adecuado para entornos de tráfico heterogéneos.

4. Resultados de la Simulación

El sistema fue evaluado utilizando SUMO (simulación de tráfico) y Eclipse MOSAIC (comunicación V2X) con un escenario de autopista de 2.4 km y 5 carriles. Se comparó contra:

• Línea Base-1: MARL centralizado (un solo agente controlando todo).
• Línea Base-2: MARL descentralizado sin aprendizaje federado (sin intercambio de conocimientos).

Métricas Clave de Rendimiento (con 60% de penetración de CAV):

• Eficiencia del Tráfico: PALCAS logró la velocidad promedio más alta (30.03 m/s), superando a la Línea Base-1 en un 3.12% y a la Línea Base-2 en un 6.86%.
• Seguridad (Tasa de Colisiones): PALCAS redujo la tasa de colisiones en un 19.67% en comparación con la Línea Base-1 y un 75.5% en comparación con la Línea Base-2.
• Comodidad de Conducción: Las trayectorias de aceleración fueron significativamente más suaves, manteniéndose dentro del rango $[-1, 1] m/s^2$, mientras que las líneas base fluctuaban entre $[-4.5, 2.6] m/s^2$.
• Tasa de Éxito de Destino (DSR): PALCAS mejoró la DSR en un 132.94% sobre la Línea Base-1 y un 113.9% sobre la Línea Base-2 con una penetración del 60%, previniendo efectivamente las salidas perdidas.
• Tasa de Éxito de Fusión (MSR): PALCAS logró un éxito >93%, comparable a las líneas base, aunque la Línea Base-2 superó ligeramente en MSR debido a su optimización local miope (a corto plazo).

Estudio de Ablación:
La eliminación del componente de recompensa guiado por prioridades resultó en una caída drástica del rendimiento, confirmando su papel crítico en la coordinación de maniobras complejas de múltiples vehículos y la prevención de la congestión.

5. Significado

• Aplicabilidad en el Mundo Real: El sistema aborda los desafíos específicos de las autopistas urbanas con rampas frecuentes, un escenario donde los sistemas centralizados o de agente único actuales luchan.
• Privacidad y Escalabilidad: Al utilizar Aprendizaje Federado, PALCAS ofrece un camino viable para desplegar sistemas de conducción autónoma cooperativa sin comprometer la privacidad de los datos ni requerir una potencia de computación centralizada masiva.
• Equilibrio entre Seguridad y Eficiencia: La función de recompensa con conciencia de prioridad resuelve exitosamente el compromiso entre mantener el flujo del tráfico (permanecer en carriles rápidos) y asegurar que los vehículos lleguen a sus destinos (moverse a carriles de salida), reduciendo significativamente la congestión y los accidentes.
• Viabilidad en Tiempo Real: Los tiempos de inferencia se midieron en menos de 100 ms para el 90% de las decisiones, indicando que el sistema es adecuado para un despliegue en tiempo real.

En conclusión, PALCAS demuestra que combinar Aprendizaje Federado con Aprendizaje por Refuerzo con Conciencia de Prioridad crea un marco robusto, escalable y seguro para la gestión de cambios de carril autónomos de próxima generación.