⚡ electrical engineering

A Hybrid End-to-End and Modular Control Architecture Toward Safe Vehicle Lateral Control: Combining Soft Actor-Critic with Model Predictive Control

Este artículo propone una arquitectura de control lateral para vehículos híbridos que integra una política de aprendizaje por refuerzo de Actor-Crítico Suave con un Controlador de Modelo Predictivo con restricciones mediante un coeficiente de mezcla monótono, logrando la adaptabilidad del aprendizaje de extremo a extremo mientras mantiene las garantías de seguridad y la interpretabilidad del control basado en modelos.

Autores originales: Farzaneh Tatari

Publicado 2026-08-19

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Farzaneh Tatari

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Conducir un coche implica una negociación constante y sutil entre la carretera y la máquina. Para mantenerse en un carril, un vehículo debe ajustar constantemente su dirección, reaccionando a las curvas, al viento y al agarre desigual de los neumáticos. Durante décadas, los ingenieros han confiado en dos formas principales para enseñar a una computadora cómo hacer esto. La primera es un enfoque basado en reglas, donde el coche sigue un conjunto estricto de ecuaciones físicas y límites preprogramados. Este método es predecible y seguro, pero puede ser rígido; si las condiciones de la carretera cambian de una manera que las reglas no anticiparon, el coche podría tener dificultades. El segundo enfoque es el basado en el aprendizaje, donde un programa informático observa miles de ejemplos de conducción y descubre por sí mismo los mejores movimientos. Este método es increíblemente flexible y puede manejar situaciones complejas y desordenadas, pero es una caja negra: es difícil saber por qué tomó una decisión específica y no ofrece la garantía de que no cometerá un error peligroso en una situación que no ha visto antes.

El desafío para el futuro de la conducción autónoma es combinar lo mejor de ambos mundos. Necesitamos un sistema que sea tan adaptable como un aprendiz humano pero tan confiable y comprensible como un ingeniero basado en reglas. Un nuevo estudio de la investigadora independiente Farzaneh Tatari aborda este problema exacto mediante la creación de un controlador híbrido para el movimiento lateral de un coche. La investigación no depende de un único método, sino que fusiona una política basada en el aprendizaje con una red de seguridad basada en reglas. El objetivo es ver si un coche puede aprender a conducir de forma suave y precisa, manteniendo al mismo tiempo una constricción por un sistema de seguridad que le impida exceder los límites físicos o realizar movimientos erráticos.

Para probar esta idea, la investigadora construyó una simulación digital de un coche que se mueve a una velocidad constante de 15 metros por segundo. En este mundo virtual, configuró cuatro conductores diferentes para ver cómo se desempeñaban. El primero era un controlador estándar y simple que se ha utilizado en coches durante años. El segundo era un sistema sofisticado, basado en reglas, que calcula constantemente la mejor trayectoria hacia adelante respetando límites estrictos sobre qué tan rápido puede girar el volante. El tercero era un sistema de aprendizaje puro, entrenado desde cero para minimizar errores sin reglas preescritas. El cuarto, y más importante, era el nuevo sistema híbrido. Este sistema toma el comando de dirección de la IA de aprendizaje y el comando de dirección del calculador basado en reglas y los mezcla en una sola instrucción. Utiliza un único dial para ajustar la mezcla: girar el dial hacia un lado otorga más peso a la IA de aprendizaje flexible, mientras que girarlo hacia el otro otorga más peso al calculador basado en reglas, que es seguro.

Los resultados de la simulación mostraron que la IA de aprendizaje era la más precisa para mantener el coche en el centro del carril, cometiendo menos errores que los sistemas tradicionales basados en reglas. Sin embargo, la IA de aprendizaje pura tenía una debilidad: en algunas situaciones extremas que eran muy diferentes a su entrenamiento, ocasionalmente cometía un error que causaba que el coche se desviara demasiado de su curso. El sistema híbrido mantuvo la alta precisión de la IA de aprendizaje, asegurando al mismo tiempo que cada comando de dirección se mantuviera dentro de los límites físicos seguros del coche. En la gran mayoría de las pruebas, el coche híbrido funcionó casi tan bien como la IA de aprendizaje pura. Sin embargo, en los casos raros y extremos donde la IA de aprendizaje pura falló, el sistema híbrido heredó esos mismos fallos. Debido a que la IA de aprendizaje era tan dominante en la mezcla, el componente de seguridad basado en reglas no pudo anularla lo suficientemente rápido para evitar el error en esos casos específicos.

El estudio también exploró qué sucede cuando el coche encuentra condiciones para las que no fue entrenado, como carreteras resbaladizas o errores grandes y repentinos en su posición inicial. El sistema híbrido demostró ser robusto, manteniendo su precisión incluso cuando el agarre de los neumáticos era más débil de lo esperado o cuando el coche comenzaba con un desplazamiento lateral significativo. Sin embargo, la investigadora encontró un límite específico para esta seguridad. En algunos casos extremos muy raros, donde el coche comenzaba con un error grande y la IA de aprendizaje intentaba girar en una dirección que ya estaba en su máximo físico, la mezcla no podía corregir el error lo suficientemente rápido. Esto sucedió porque la IA de aprendizaje era tan dominante en la mezcla que el componente de seguridad basado en reglas no pudo anularla lo suficientemente rápido para evitar un accidente.

Este hallazgo condujo a una visión crucial sobre cómo debería funcionar tal sistema en el mundo real. La investigadora propuso que el "dial" que controla la mezcla no debería ser fijo. En su lugar, debería estar conectado a información externa, como datos de otros coches o sensores de la carretera. Si el sistema detecta que el coche está entrando en una situación que no ha visto antes, o si las condiciones de la carretera son peligrosas, el dial debería cambiar automáticamente para dar más potencia al calculador seguro basado en reglas. Esto permitiría que el coche permanezca flexible y eficiente en carreteras normales, pero que se vuelva instantáneamente más conservador y predecible cuando la situación se vuelve incierta.

El trabajo demuestra que es posible construir un controlador de vehículos que aprenda de la experiencia sin perder las garantías de seguridad de la ingeniería tradicional. El enfoque híbrido logró retener el seguimiento suave y preciso del sistema de aprendizaje, manteniendo al mismo tiempo el coche dentro de sus límites físicos. Aunque la versión actual es una mezcla simplificada de dos señales, la investigación apunta hacia un futuro donde una versión más avanzada podría resolver los fallos raros restantes. Al conectar el controlador a una red de vehículos e infraestructura vial, el sistema podría ajustar dinámicamente su comportamiento, asegurando que el coche permanezca seguro incluso cuando la carretera le lance un imprevisto que nunca ha visto. Esto representa un paso significativo hacia vehículos que no solo son lo suficientemente inteligentes para aprender, sino también lo suficientemente sabios como para saber cuándo confiar en sus reglas de seguridad.

Resumen Técnico: Una Arquitectura de Control Híbrida de Extremo a Extremo y Modular hacia el Control Lateral Seguro de Vehículos

Planteamiento del Problema
Los vehículos conectados y automatizados (CAV) requieren controladores laterales que equilibren la precisión, el bajo esfuerzo de control y la seguridad bajo condiciones de error de modelo, ruido de sensores y perturbaciones no modeladas. La literatura actual está dominada por dos enfoques distintos, cada uno con limitaciones significativas:

Controladores Modulares (p. ej., MPC, PID): Estos dependen de modelos basados en la física y restricciones explícitas, ofreciendo interpretabilidad y garantías de seguridad. Sin embargo, son sensibles a las imprecisiones del modelo y requieren un ajuste manual extensivo.
Políticas de Aprendizaje de Extremo a Extremo (p. ej., Deep RL): Se adaptan a las no linealidades y dinámicas no modeladas sin necesidad de leyes de control diseñadas a mano, pero carecen de garantías intrínsecas de seguridad, interpretabilidad y robustez ante cambios en la distribución.

El artículo aborda el desafío de combinar la adaptabilidad de las políticas aprendidas con la seguridad y predictibilidad del control modular sin sacrificar las fortalezas de ninguno de los dos.

Metodología
El autor propone una arquitectura híbrida que mezcla linealmente una política Soft Actor-Critic (SAC) entrenada con un controlador de Control Predictivo basado en Modelo (MPC) lineal restringido.

Modelo del Vehículo: Los experimentos utilizan un modelo de bicicleta lateral linealizado de cuatro estados a una velocidad longitudinal constante de 15 m/s.
Componente Modular (MPC): Se formula un MPC lineal como un programa cuadrático (QP) sobre un horizonte de 15 pasos con restricciones explícitas de entrada ( $|\delta| \leq 0.4$ rad) y de tasa de entrada ( $|\dot{\delta}| \leq 3$ rad/s). Se ajusta mediante una búsqueda de cuadrícula sobre 243 configuraciones de pesos.
Componente de Extremo a Extremo (SAC): Una política SAC se entrena desde cero utilizando el mismo sistema mediante una función de recompensa que penaliza el error lateral, el error de orientación, la magnitud de la dirección y la tasa de dirección. El entrenamiento ocurre en un simulador episódico con condiciones iniciales aleatorizadas.
Arquitectura Híbrida: En cada paso de tiempo $k$ , el controlador calcula una combinación convexa de la primera etapa óptima del MPC ( $\delta_{MPC}$ ) y la salida de la política SAC ( $\delta_{SAC}$ ). El comando de dirección final es:
$\delta_k = \text{sat}_{\delta_{max}} \left( (1 - \alpha(\lambda)) \delta_{MPC} + \alpha(\lambda) \delta_{SAC} \right)$
donde $\alpha(\lambda) = \lambda / (1 + \lambda)$ es un coeficiente de mezcla monótono. El resultado se satura a los mismos límites de actuador utilizados por el MPC.
Evaluación: El sistema se compara contra PID, MPC lineal ajustado y SAC independiente bajo condiciones nominales, casos de robustez (errores iniciales grandes, ruido de proceso, desajuste de rigidez de neumáticos) y un conjunto de múltiples condiciones iniciales (una cuadrícula de 5x5 cruzada con 5 semillas de entrenamiento).

Contribuciones Clave

Benchmarking: Una comparación exhaustiva de cuatro controladores (PID, MPC, SAC, Híbrido) en un modelo de bicicleta lateral linealizado utilizando métricas compartidas (RMSE, error pico, dirección absoluta media, error final).
Formulación Híbrida: La propuesta de un mecanismo de mezcla de forma cerrada que interpola entre un ancla basada en modelos con restricciones y una política aprendida, asegurando que la salida permanezca dentro de la envolvente del actuador.
Análisis de Robustez: Evaluación del rendimiento del híbrido bajo perturbaciones significativas, incluyendo ruido de proceso y desajustes de rigidez de neumáticos.
Análisis de Limitaciones y Extensiones: Una discusión detallada sobre la incapacidad de la implementación actual para garantizar la factibilidad recursiva o prevenir todas las divergencias en casos límite, lo que motiva una extensión sensible a la conectividad donde el coeficiente de mezcla se programa basándose en señales de Vehículo-a-Todo (V2X).

Resultados

Rendimiento Nominal: La política SAC logró el RMSE de error lateral más bajo (0.0167 m), superando al PID por un 48% y al MPC lineal por un 41%. El controlador híbrido (con $\lambda=12$ ) igualó estrechamente la calidad de seguimiento de SAC (RMSE 0.0171 m), manteniendo la envolvente de actuador del MPC y proporcionando una contribución determinista basada en el modelo a cada comando.
Robustez: En los cuatro casos de robustez (gran error lateral, gran error de orientación, ruido de proceso y desajuste de rigidez de neumáticos), SAC y el híbrido lograron los RMSE más bajos, reduciendo los errores entre un 32% y un 49% en comparación con PID y MPC.
Divergencia en Casos Límite: En un conjunto de múltiples condiciones iniciales (125 pares), PID y MPC permanecieron convergentes en todos los ensayos. SAC y el híbrido divergieron en 3 de 125 casos (2.4%), específicamente en los límites extremos de la distribución de entrenamiento (p. ej., $\pm 0.4$ m de error lateral, $\pm 0.10$ rad de error de orientación).
Modo de Falla: El análisis reveló que, con el peso de mezcla elegido ( $\alpha \approx 0.92$ ), la contribución basada en el modelo está limitada a $\approx 0.031$ rad. Esto es insuficiente para contrarrestar un comando de SAC saturado en la dirección incorrecta dentro de una sola muestra, lo que conduce a la divergencia.

Significancia y Reivindicaciones
El artículo afirma que la arquitectura híbrida retiene con éxito la calidad de seguimiento de la SAC independiente mientras preserva las restricciones de seguridad e interpretabilidad del MPC modular. El valor principal del híbrido no es necesariamente una reducción en el RMSE nominal (donde SAC ya destaca), sino la provisión de una interfaz ajustable (el coeficiente de mezcla $\lambda$ ) que permite a los integradores de sistemas ajustar el equilibrio entre adaptabilidad y seguridad.

El autor señala modestamente que la implementación actual es una mezcla convexa de forma cerrada y no un filtro de seguridad predictivo completo. Por consiguiente, no garantiza la factibilidad recursiva ni la invarianza terminal, y no puede prevenir fallas bajo cambios severos en la distribución, solo atenuar su magnitud.

El artículo concluye que la arquitectura es un paso hacia un filtro de seguridad más riguroso. El camino propuesto para el futuro implica:

Reemplazar la mezcla de forma cerrada con un filtro de seguridad predictivo de QP restringido completo (donde la acción de SAC entra como una preferencia suave en el objetivo del MPC).
Implementar una extensión sensible a la conectividad donde $\lambda$ se programa dinámicamente basándose en señales V2X (p. ej., fricción de la carretera, clima) para devolver la autoridad al controlador basado en el modelo cuando el vehículo opera fuera de la distribución de entrenamiento.

El trabajo se presenta como un estudio independiente, distinto de los productos de cualquier empleador, y sirve como base para trabajos futuros que involucren modelos no lineales de mayor fidelidad y validación en vehículos reales.

Más como este