Reinforcement Learning with Distributed MPC for Fuel-Efficient Platoon Control with Discrete Gear Transitions

Resumen Técnico: Aprendizaje por Refuerzo con MPC Distribuido para el Control de Pelotones con Eficiencia de Combustible y Transiciones de Marcha Discretas

Planteamiento del Problema
El control cooperativo de pelotones de vehículos autónomos (VA) ofrece un potencial significativo para mejorar la eficiencia del transporte y la economía de combustible mediante la gestión coordinada de la velocidad y la transmisión. Si bien el Control de Modelo Predictivo (MPC) es un enfoque prevalente para optimizar las trayectorias de los vehículos bajo restricciones, la inclusión de decisiones discretas de cambio de marcha transforma el problema de optimización de un Programa No Lineal (NLP) continuo a un Programa No Lineal de Enteros Mixtos (MINLP). Resolver MINLPs en tiempo real es computacionalmente intensivo, requiriendo a menudo tiempos de muestreo excesivos o hardware de alto nivel, lo que dificulta su implementación en línea para pelotones. Las alternativas existentes, como aproximar el problema como un Programa Cuadrático de Enteros Mixtos (MIQP) o desacoplar la selección de marchas del control de velocidad, suelen introducir una suboptimidad significativa o no garantizan la satisfacción de las restricciones. Además, los enfoques de aprendizaje previos se han limitado a escenarios de un solo vehículo o dependen del aprendizaje supervisado, lo que requiere una generación de datos computacionalmente costosa a partir de los mismos problemas MINLP que pretenden reemplazar.

Metodología
Los autores proponen un marco de MPC distribuido basado en Aprendizaje por Refuerzo (RL) que desacopla la selección del programa de cambios de marcha discretos de la optimización continua de velocidad y par motor. La metodología central consta de dos componentes principales:

1. MPC Distribuido Parametrizado: Para cada vehículo en el pelotón, un controlador MPC local resuelve un NLP continuo sobre un horizonte de predicción. El programa de cambios de marcha discretos a lo largo de este horizonte no se optimiza en línea, sino que es fijado por una política aprendida. Esto reduce el problema de optimización en línea de un MINLP intratable a un NLP tratable. Para asegurar la factibilidad, la política aprendida se combina con un programa de cambios de marcha heurístico (basado en la selección de marcha constante) en un esquema de resolución paralelo; el controlador aplica la solución que arroja el menor costo, garantizando que siempre haya disponible una solución factible.

2. Arquitectura de la Política de Aprendizaje por Refuerzo:

   • Entrenamiento de Agente Único para Generalización Multi-Agente: Para evitar la complejidad y la no estacionariedad del Aprendizaje por Refuerzo Multi-Agente (MARL), la política se entrena en un escenario de un solo vehículo siguiendo una trayectoria de referencia. La entrada de la política está parametrizada mediante variables "desplazadas" (estados predichos pasados, entradas y trayectorias deseadas) que codifican implícitamente información sobre la dinámica del pelotón circundante. Esto permite que una política entrenada en un solo vehículo se generalice a pelotones de diversos tamaños.
   • Red Neuronal Recurrente (RNN): La política utiliza una arquitectura de red recurrente secuencia-a-secuencia. En lugar de producir una secuencia completa de marchas (lo que causaría que el espacio de acciones creciera exponencialmente con el horizonte de predicción), la RNN produce una secuencia de comandos de cambio (reducción, sin cambio, aumento de marcha) de forma iterativa. Esta estructura asegura que las dimensiones de entrada y salida permanezcan constantes independientemente de la longitud del horizonte de predicción.
   • Entrenamiento de Dos Etapas: El entrenamiento de RL emplea una función de costo de dos etapas. La primera etapa se enfoca en aprender secuencias de cambios de marcha factibles para evitar soluciones de NLP no factibles. La segunda etapa refina la política para superar la base heurística, optimizando la eficiencia de combustible y la precisión de seguimiento.

Contribuciones Clave

• Eficiencia Computacional: Al desplazar la carga computacional de la optimización de los programas de cambios de marcha fuera de línea mediante RL, el controlador en línea solo resuelve NLPs. Esto produce una carga computacional en línea significativamente menor en comparación con los enfoques que resuelven problemas de enteros mixtos.
• Desempeño mediante Co-optimización: A diferencia de los enfoques desacoplados donde la selección de marchas es independiente del control de velocidad, la política de RL aprende a seleccionar programas de cambios de marcha óptimos a través de toda la ventana de predicción del MPC. Esto retiene los beneficios de la co-optimización evitando la complejidad del MINLP.
• Parametrización de Política Escalable: La arquitectura propuesta permite entrenar en un escenario de un solo vehículo mientras captura las interacciones entre vehículos a través de variables de estado desplazadas. Esto permite la generalización a pelotones grandes sin reentrenamiento ni aumento del tamaño de la red, y permite el uso de parámetros compartidos en flotas de vehículos homogéneos.
• Manejo del Espacio de Acciones Exponencial: El uso de una arquitectura recurrente aborda el crecimiento exponencial del espacio de acciones con el horizonte de predicción, permitiendo que la política se generalice a diferentes longitudes de horizonte una vez entrenada.

Resultados
El enfoque fue validado en simulaciones de conducción en autopista involucrando pelotones de hasta cinco vehículos homogéneos. Los controladores de Co-optimización por Aprendizaje (LC) propuestos se compararon contra el MPC basado en MINLP (línea base), el MPC basado en MIQP y varias estrategias de heurística desacoplada o de co-optimización.

• Desempeño: El controlador LC entrenado con ambas etapas (LC-2) logró un desempeño muy cercano a la línea base de MINLP computacionalmente intensiva, con un incremento de costo relativo de aproximadamente 1.7% a 2.8% en escenarios de un y cinco vehículos, respectivamente. Esto superó significativamente a las heurísticas desacopladas (HD) y mostró una mayor consistencia (menor desviación estándar) en comparación con MIQP y otras heurísticas.
• Tiempo de Computación: El enfoque propuesto demostró una aceleración de uno a dos órdenes de magnitud sobre los enfoques de enteros mixtos. Para un pelotón de cinco vehículos, el controlador LC-2 resolvió el problema en aproximadamente 0.63 segundos por paso de tiempo, mientras que el enfoque MINLP requirió más de 2200 segundos (y a menudo resultó infactible dentro de límites de tiempo razonables para horizontes más largos).
• Generalización: La política entrenada en un solo vehículo se generalizó con éxito a un pelotón de cinco vehículos. Además, el enfoque mantuvo el desempeño cuando se aumentó el horizonte de predicción de 15 a 30 pasos de tiempo, mientras que los enfoques de enteros mixtos se volvieron computacionalmente intratables.

Significancia
El artículo afirma que este trabajo presenta un novedoso esquema de MPC basado en aprendizaje que aborda eficazmente la intratabilidad computacional del control de pelotones con transiciones de marcha discretas para la eficiencia de combustible. Al aislar el componente discreto mediante RL y retener la co-optimización continua mediante NLP distribuido, el enfoque logra un equilibrio entre la optimalidad y la factibilidad en tiempo real. La significancia radica en demostrar que las políticas de RL entrenadas en entornos simplificados de un solo agente pueden generalizarse a tareas de control cooperativo multi-agente complejas, ofreciendo una solución escalable que reduce significativamente la carga computacional en línea manteniendo una alta eficiencia de combustible y un desempeño de seguimiento comparable al óptimo teórico de MINLP.