💻 computer science

Robust and Safe Multi-Agent Reinforcement Learning with Communication for Autonomous Vehicles: From Simulation to Hardware

Este artículo presenta RSR-RSMARL, un marco de aprendizaje por refuerzo multiagente robusto y seguro que integra comunicación, entrenamiento de políticas robustas para transferencia cero-disparo de simulación a realidad y escudos de seguridad basados en funciones de barrera de control, demostrando con éxito una coordinación y seguridad mejoradas en vehículos autónomos de hardware.

Autores originales: Keshawn Smith, Zhili Zhang, H M Sabbir Ahmad, Ehsan Sabouni, Mainak Mondal, Song Han, Wenchao Li, Fei Miao

Publicado 2026-05-14

📖 5 min de lectura🧠 Análisis profundo

CC0 1.0

Autores originales: Keshawn Smith, Zhili Zhang, H M Sabbir Ahmad, Ehsan Sabouni, Mainak Mondal, Song Han, Wenchao Li, Fei Miao

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un grupo de coches de juguete autónomos intentando competir en una pista juntos. En el mundo perfecto de las simulaciones por computadora, estos coches pueden comunicarse entre sí instantáneamente, como gemelos telepáticos. Si un coche ve un bache, le informa a los demás inmediatamente, y todos reaccionan exactamente al mismo tiempo.

Pero en el mundo real, no funciona así. Los coches reales se comunican a través de Wi-Fi, y esa señal tarda tiempo en viajar. A veces es rápido, a veces es lento, y a veces el mensaje llega un instante tarde. Si entrenas a tus coches para esperar una telepatía instantánea, chocarán cuando los pongas en una pista real porque están reaccionando a información que ya es noticia antigua.

Este artículo introduce un nuevo método de entrenamiento llamado RSR-RSMARL (una palabra larga, pero piénsalo como "Conducción Inteligente Real-Simulación-Real") para resolver exactamente este problema. Así es como funciona, desglosado en conceptos simples:

1. Entrenamiento de "Retraso del Mundo Real"

En lugar de fingir que los coches pueden hablar instantáneamente, los investigadores midieron cuánto tiempo tarda realmente sus coches de juguete en enviar mensajes entre sí. Descubrieron que tarda entre 10 y 20 milisegundos (un parpadeo, pero mucho tiempo para un coche rápido).

Luego, incorporaron este "retraso" directamente en la simulación por computadora. Enseñaron a los coches de IA a conducir sabiendo que los mensajes de sus amigos podrían llegar un poco tarde. Es como entrenar a un equipo de baloncesto donde el entrenador grita instrucciones con un ligero retraso, obligando a los jugadores a aprender a anticipar y reaccionar incluso cuando la señal no es perfecta. De esta manera, cuando los coches pasan de la computadora al mundo real, ya están acostumbrados al retraso.

2. El "Guardián de Seguridad" (El Portero)

Incluso con un buen entrenamiento, la IA a veces puede hacer una jugada arriesgada. Para evitar choques, los investigadores añadieron un "Escudo de Seguridad". Piensa en esto como un portero estricto en un club o una red de seguridad para un gimnasta.

El Entrenador (La IA): La IA decide lo que el coche debería hacer (por ejemplo: "¡Cambia de carril ahora!").
El Portero (El Escudo de Seguridad): Antes de que el coche se mueva realmente, el Escudo de Seguridad verifica el plan. Pregunta: "¿Es esto seguro dado dónde están los otros coches ahora mismo y dónde podrían estar si su mensaje llegó tarde?".
El Resultado: Si el plan de la IA es demasiado arriesgado, el Escudo de Seguridad empuja suavemente al coche para que haga algo más seguro (como reducir la velocidad) en lugar de chocar. Esto ocurre en tiempo real, cada segundo.

3. Los Frenos "Plug-and-Play"

El sistema está diseñado para ser flexible. La IA puede comunicarse con diferentes tipos de controladores de "bajo nivel" (las partes que realmente presionan el acelerador o el freno).

Controlador PID: Como un reflejo simple y rápido. Bueno para reacciones rápidas y ligeras.
Controlador MPC: Como un jugador de ajedrez. Piensa unos pasos adelante para hacer el viaje más suave, aunque requiere un poco más de potencia de procesamiento.
Los investigadores demostraron que su sistema funciona muy bien con ambos tipos, probando que es un marco versátil.

4. La Gran Prueba: De la Simulación a la Realidad

El equipo probó esto de dos maneras:

En la Computadora (Simulador CARLA): Ejecutaron miles de carreras con diferentes niveles de "retraso" y obstáculos.
En Hardware Real: Pusiéron la IA entrenada en una flota de coches autónomos a escala 1/10 (aproximadamente del tamaño de una caja de zapatos grande) equipados con cámaras y láseres.

Los Resultados:

Sin Choques: Los coches entrenados con el método de "Retraso del Mundo Real" y el "Escudo de Seguridad" completaron las pistas sin chocar con nada, incluso cuando los otros coches se movían de forma impredecible.
El Fracaso de la "Telepatía": Los coches entrenados sin tener en cuenta los retrasos (asumiendo comunicación instantánea) chocaron mucho más a menudo cuando se pusieron en la pista real.
El Fracaso de "Sin Comunicación": Los coches que no podían comunicarse entre sí en absoluto fueron más lentos y más propensos a chocar contra cosas.
El Ganador "Tiempo Variable": Los mejores resultados provinieron de entrenar a los coches con retrasos variables (a veces rápidos, a veces lentos), igual que el Wi-Fi real. Esto los hizo más adaptables y seguros.

La Conclusión

Este artículo demuestra que para hacer que los coches autónomos sean seguros en el mundo real, no puedes entrenarlos simplemente en una simulación perfecta de comunicación instantánea. Tienes que enseñarles a lidiar con la realidad desordenada de los mensajes retrasados y darles un "guardián de seguridad" que anule las malas decisiones. Al hacer esto, pueden aprender en una computadora y luego conducir inmediatamente de forma segura en una pista real sin necesidad de práctica adicional.

Resumen Técnico: Aprendizaje por Refuerzo Multiagente Robusto y Seguro con Comunicación para Vehículos Autónomos

Enunciado del Problema
El Aprendizaje por Refuerzo Multiagente (MARL) profundo ha demostrado ser prometedor para la conducción autónoma conectada en simulación; sin embargo, existe una brecha significativa entre el rendimiento en simulación y la implementación en hardware del mundo real. Trabajos anteriores a menudo asumen una comunicación interagente instantánea y perfectamente sincronizada, lo cual no tiene en cuenta la latencia inherente y la asincronía de los sistemas Vehículo-a-Vehículo (V2V). En entornos prácticos, la información compartida está sujeta a retrasos medibles y variabilidad en la transmisión. Además, los bancos de prueba existentes a menudo carecen de los componentes necesarios para validar marcos multiagente de extremo a extremo con garantías formales de seguridad, y las técnicas estándar de transferencia de simulación a realidad (como la aleatorización de dominios) a menudo no abordan los desafíos combinados específicos de la latencia de comunicación, la incertidumbre en la percepción y las restricciones críticas para la seguridad.

Metodología: RSR-RSMARL
Los autores proponen RSR-RSMARL (Aprendizaje por Refuerzo Multiagente Robusto y Seguro Real-Sim-Real), un marco diseñado para cerrar la brecha entre la simulación y el hardware modelando explícitamente las restricciones de comunicación. La arquitectura consta de tres componentes principales:

Formulación de MARL Consciente de la Comunicación:
- Diseño de Real a Sim: En lugar de asumir un intercambio de información ideal, el marco incorpora estadísticas de latencia V2V medidas en el mundo real directamente en la representación del estado.
- Modelado de Estado Retrasado: Los agentes reciben observaciones locales y observaciones compartidas de los vecinos ( $N_i$ ) que se tratan como retrasadas y potencialmente asíncronas. El estado compartido incluye características de percepción complementarias (por ejemplo, presencia de obstáculos, límites de carril) derivadas de sensores a bordo (LiDAR, cámaras).
- Estrategia de Entrenamiento: La política se entrena bajo modelos de retraso tanto fijos como variables en el tiempo. Esto expone a los agentes a información de vecinos temporalmente desalineada, obligando a la política a aprender estrategias de coordinación robustas que no dependan de datos sincronizados.
Escudo de Seguridad Basado en CBF:
- Para garantizar seguridades formales tanto durante el entrenamiento como en la implementación, se integra un Escudo de Seguridad modular. Este escudo utiliza Funciones de Barrera de Control (CBF) aplicadas mediante un Programa Cuadrático (QP).
- Mecanismo: Las acciones de alto nivel generadas por la política MARL se pasan a través del Escudo de Seguridad, que filtra los comandos inseguros antes de que lleguen al controlador de bajo nivel.
- Seguridad Consciente del Retraso: Las restricciones CBF se inflan conservadoramente para tener en cuenta la incertidumbre del estado causada por los retrasos de comunicación y las actualizaciones asíncronas. Los vehículos vecinos se modelan como obstáculos dinámicos con retrasos acotados, garantizando la evitación de colisiones incluso cuando las estimaciones del estado del vecino están desactualizadas.
- Agnosticismo del Controlador: El marco admite controladores de bajo nivel intercambiables, específicamente PID (para una ejecución ligera) y Control Predictivo de Modelos (MPC) (para trayectorias más suaves y basadas en optimización), sin alterar la formulación de aprendizaje.
Pipeline Real-Sim-Real:
- El sistema emplea un enfoque de Entrenamiento Centralizado con Ejecución Descentralizada (CTDE). Las políticas se entrenan en el simulador CARLA utilizando distribuciones de latencia medidas y luego se transfieren sin ajuste (zero-shot) al hardware físico.
- Plataforma de Hardware: La validación se realiza en una flota de vehículos autónomos F1TENTH a escala 1/10 equipados con LiDAR, cámaras e IMU, comunicándose mediante Wi-Fi con latencias medidas empíricamente (10–20 ms en el banco de pruebas, con muestreo de entrenamiento de distribuciones más amplias para imitar la variabilidad de producción).

Contribuciones Clave

Propuesta de Marco: Introducción de RSR-RSMARL, un marco MARL robusto diseñado específicamente para la transferencia de políticas Real-Sim-Real que integra un entrenamiento consciente del retraso y un Escudo de Seguridad basado en CBF para abordar la latencia de comunicación, las incertidumbres del modelo y los errores de estimación de estado, manteniendo al mismo tiempo garantías formales de seguridad.
Estrategia de Modelado de Latencia: Desarrollo de una estrategia de entrenamiento consciente de la comunicación que inyecta explícitamente latencia estocástica (tanto fija como variable en el tiempo) en el proceso de aprendizaje MARL. Esto permite una coordinación robusta ante retrasos antes de la implementación, superando la suposición de comunicación ideal.
Validación Exhaustiva: Evaluación integral en CARLA y en plataformas de hardware físico. El estudio incluye estudios de ablación estructurados bajo retrasos de comunicación crecientes y demuestra una transferencia exitosa sin ajuste de políticas entrenadas en simulación para una operación segura en el mundo real.

Resultados Experimentales
El marco se evaluó en dos escenarios: una autopista en miniatura de 3 carriles y una autopista circular de 2 carriles, con densidades de obstáculos variables.

Seguridad y Transferencia Sin Ajuste: Las variantes propuestas de RSR-RSMARL (que utilizan modelos de Retraso Variable en el Tiempo (TV) y de Retraso Fijo (F-2)) lograron cero colisiones en todos los niveles de obstáculos tanto en hardware como en simulación. En contraste, las líneas base sin Escudo de Seguridad (RSR-MARL) o sin comunicación (No-Comm) mostraron tasas de colisión crecientes a medida que aumentaba la densidad de obstáculos.
Eficiencia vs. Seguridad: Si bien el modelo de retraso TV resultó en tiempos de finalización ligeramente más largos en comparación con algunas líneas base, mantuvo un registro libre de colisiones. El modelo Variable en el Tiempo superó consistentemente a los modelos de retraso fijo en términos de eficiencia y estabilidad de la coordinación, lo que sugiere que el entrenamiento con retrasos estocásticos prepara mejor a los agentes para la inestabilidad del mundo real.
Rendimiento del Controlador: El marco operó exitosamente con backends tanto PID como MPC. La integración de MPC mejoró aún más la suavidad de la trayectoria, aunque a un costo computacional más alto.
Estudios de Ablación: Eliminar el Escudo de Seguridad condujo a dinámicas de aprendizaje inestables y tasas de colisión significativamente más altas, confirmando que el modelado de retrasos por sí solo es insuficiente para la seguridad. Las comparaciones con la Aleatorización de Dominios (MARL-DR) mostraron que MARL-DR sufrió de tasas de colisión más altas y menor eficiencia, lo que indica que el modelado explícito de retrasos es superior a la inyección genérica de ruido para este problema específico.
Impacto de la Comunicación: Los experimentos demostraron que la comunicación V2V reduce significativamente la necesidad de anulación de seguridad reactiva (intervenciones CBF), reduciendo la tasa de intervención del 18,7% (sin comunicación) al 11,4% (con comunicación).

Significado y Afirmaciones
El artículo afirma que RSR-RSMARL proporciona una vía estructurada y fiable para transferir la toma de decisiones cooperativa basada en MARL de la simulación a sistemas físicos. Los autores enfatizan que su enfoque aborda la brecha crítica de "simulación a realidad" al fundamentar el entrenamiento en estadísticas de retraso observadas experimentalmente y hacer cumplir restricciones de seguridad formales.

El significado de este trabajo radica en su demostración de que el modelado de comunicación fundamentado en hardware es esencial para sistemas multiagente autónomos escalables y fiables. Al integrar el aprendizaje consciente del retraso con la aplicación formal de seguridad, el marco admite la transferencia sin ajuste a plataformas del mundo real, manteniendo fuertes compensaciones entre seguridad y rendimiento incluso bajo restricciones de comunicación realistas, asíncronas y retrasadas. Los autores posicionan esto como un paso hacia la implementación práctica de la autonomía CAV multiagente robusta y consciente de la comunicación.