🤖 machine learning

Multi-Agent Reinforcement Learning for Safe Autonomous Driving Under Pedestrian Behavioral Uncertainty

Este artículo propone un marco de Aprendizaje por Refuerzo Multiagente que entrena conjuntamente vehículos autónomos con peatones que exhiben rasgos de personalidad ocultos, demostrando que este enfoque genera escenarios de interacción más realistas y reduce significativamente las tasas de colisión en comparación con las líneas base basadas en reglas y el entrenamiento de agente único.

Autores originales: Prakash Aryan, Kaushik Raghupathruni, Timo Kehrer, Sebastiano Panichella

Publicado 2026-05-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Prakash Aryan, Kaushik Raghupathruni, Timo Kehrer, Sebastiano Panichella

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina enseñar a un coche autónomo a conducir en una ciudad concurrida. Por lo general, los ingenieros prueban estos coches en simulaciones donde las personas que caminan por la calle son como actores siguiendo un guion estricto. Caminan en línea recta, solo cruzan en los pasos de peatones y nunca hacen nada sorprendente.

¿El problema? La gente real es caótica. A veces están distraídas, a veces tienen prisa y a veces deciden "cruzar ilegalmente" (jaywalk) justo delante de un coche. Si un coche autónomo solo se entrena con peatones "perfectos", podría chocar cuando se encuentre con un humano real e impredecible.

Este artículo propone una nueva forma de entrenar a los coches autónomos: dejar que los peatones también aprendan a ser impredecibles.

Aquí tienes un desglose de lo que hicieron, usando analogías sencillas:

1. El enfoque del "pareja de baile" (Aprendizaje Multiagente)

En lugar de enseñar al coche (el SDC) mientras los peatones solo siguen un guion, los investigadores pusieron al coche y a 12 peatones en una habitación virtual y les enseñaron juntos utilizando una técnica llamada Aprendizaje por Refuerzo Multiagente (MARL).

La vieja forma: El coche es como un estudiante practicando piano mientras un profesor toca un metrónomo. El estudiante aprende a mantener el ritmo, pero si el metrónomo se detiene de repente o acelera, el estudiante entra en pánico.
La nueva forma: El coche y los peatones son como parejas de baile aprendiendo una rutina juntos. Los peatones no solo siguen un guion; tienen sus propias "personalidades" (como ser cautelosos o temerarios) que están ocultas para el coche. Aprenden a reaccionar ante el coche, y el coche aprende a reaccionar ante ellos.

2. El rasgo de "personalidad" oculto

En esta simulación, cada peatón recibe un "rasgo de personalidad" secreto al inicio del juego. Este rasgo determina la probabilidad de que cruce ilegalmente.

El truco: El coche autónomo no puede ver este rasgo. Es como intentar adivinar si una persona está a punto de bajar del bordillo basándose solo en su lenguaje corporal, sin saber si tiene prisa o solo está soñando despierta.
Esto crea incertidumbre. El coche tiene que estar preparado para cualquier cosa, tal como lo estaría un conductor humano.

3. Los resultados: Aprender a "esperar"

Cuando el coche y los peatones entrenaron juntos, ocurrió algo interesante:

Los peatones aprendieron: Descubrieron que si el coche se acerca rápido, es más inteligente esperar un segundo que chocar contra él. Aprendieron una forma de "espera cooperativa" sin que nadie les dijera explícitamente que lo hicieran.
El coche aprendió: Como los peatones eran más realistas (a veces esperando, a veces lanzándose), el coche mejoró en el manejo del caos.
La puntuación:
- Método antiguo (Peatones con guion): El coche alcanzó su objetivo solo el 35% de las veces y chocó el 33% de las veces.
- Nuevo método (Entrenamiento conjunto): El coche alcanzó su objetivo el 78% de las veces y chocó solo el 14% de las veces.

4. La prueba de la "brecha de velocidad"

Los investigadores quisieron saber: ¿Entiende realmente el coche la diferencia entre un paso de peatones seguro y un peatón que cruza ilegalmente?

Inventaron una métrica de "Diferencial de Velocidad". Piénsalo como verificar qué tan rápido frena un conductor cuando ve a un niño frente a un adulto.

El hallazgo: Cuando el coche se acercaba a un peatón en un paso de peatones, frenaba adecuadamente. Pero cuando se acercaba a alguien que cruzaba ilegalmente, aún iba 2,65 metros por segundo más rápido.
Lo que esto significa: El coche no anticipaba completamente al peatón que cruzaba ilegalmente. Aún conducía un poco demasiado rápido para la sorpresa. Sin embargo, como los peatones fueron entrenados para esperar a veces, el coche no chocó tan a menudo como lo hacía con los modelos antiguos y rígidos.

5. La comprobación de la realidad del "cruce ilegal"

El estudio encontró que cruzar ilegalmente era raro (solo el 13% de las veces que la gente cruzaba la calle), pero fue responsable del 62% de todos los choques.

Esto resalta que incluso una pequeña cantidad de comportamiento impredecible causa la mayor parte del peligro.
El sistema manejó esto bien hasta cierto punto. Si hacían que cruzar ilegalmente fuera demasiado común (50% de las veces), el sistema comenzó a fallar, lo cual tiene sentido: nadie puede conducir con seguridad si todos entran corriendo a la calle al azar.

La conclusión

El artículo afirma que, al entrenar a los coches autónomos junto con peatones "inteligentes" que tienen personalidades ocultas y aprenden del coche, obtenemos un campo de pruebas mucho más realista y seguro. No se trata solo de que el coche aprenda a conducir; se trata de que todo el entorno aprenda a interactuar.

¿El resultado? Un coche autónomo mucho mejor preparado para sobrevivir a la realidad caótica e impredecible de una calle de la ciudad, reduciendo los choques en un 30% en comparación con entrenar al coche solo contra peatones estáticos y con guion.

Resumen Técnico: Aprendizaje por Refuerzo Multiagente para la Conducción Autónoma Segura bajo Incertidumbre del Comportamiento de los Peatones

Enunciado del Problema
Las pruebas actuales basadas en simulación para Coches Autónomos (SDC) a menudo dependen de modelos de peatones scripteados o simplificados que no logran capturar la heterogeneidad y la incertidumbre del comportamiento real de cruce de los humanos. Esta limitación es particularmente aguda en escenarios que involucran cruces indebidos (jaywalking), los cuales están gobernados por rasgos de personalidad latentes invisibles para el vehículo. En consecuencia, las evaluaciones de seguridad pueden no exponer adecuadamente a los SDC a situaciones de "intención latente", lo que lleva a evaluaciones poco realistas de su capacidad para manejar interacciones impredecibles con peatones.

Metodología
Los autores proponen un marco de Aprendizaje por Refuerzo Multiagente (MARL) donde un SDC y 12 peatones se entrenan conjuntamente para generar escenarios de interacción más realistas. El sistema se implementa utilizando Optimización de Políticas Proximales Multiagente (MAPPO) dentro de un entorno basado en JAX que se ejecuta en una sola GPU con 512 entornos paralelos.

Diseño del Entorno: La simulación tiene lugar en un mapa urbano de 120×120 m que presenta una intersección de cuatro vías y una intersección en T. La escena incluye 12 agentes peatones, un aumento significativo respecto a trabajos anteriores que típicamente utilizan solo unos pocos peatones de fondo.
Comportamiento de los Peatones: Los peatones utilizan la búsqueda de caminos Dijkstra scripteada para la locomoción de bajo nivel. Las decisiones de alto nivel (avanzar/esperar) son controladas por una política de RL. Crucialmente, cada peatón se asigna un rasgo de personalidad latente ( $\tau_j$ ) muestreado al inicio de un episodio, que representa su tendencia a cruzar indebidamente. Este rasgo está oculto para el SDC. Si un peatón decide "avanzar", un lanzamiento probabilístico determina si cruzan en un paso de peatones designado o cruzan indebidamente, basándose en su $\tau_j$ específico.
Modelo del SDC: El SDC utiliza un modelo cinemático de bicicleta con una velocidad máxima de 30 km/h. Opera bajo un paradigma de Entrenamiento Centralizado, Ejecución Descentralizada (CTDE).
Arquitectura de Entrenamiento:
- Actores: El SDC y los 12 peatones comparten parámetros de actor (agentes homogéneos).
- Crítico: Un crítico centralizado compartido observa un estado global (58 dimensiones), que incluye las posiciones y velocidades de todos los agentes, el estado del SDC y las tendencias ocultas de cruce indebido de los peatones.
- Recompensas: El sistema utiliza una función de recompensa combinada (50% peatón, 50% SDC) para fomentar la cooperación. Los peatones reciben recompensas por el progreso y una bonificación de "espera inteligente" cuando esperan cerca de un SDC que se aproxima rápidamente. El SDC es penalizado severamente por colisiones y exceso de velocidad cerca de cruces ocupados, pero no recibe recompensa positiva por detenerse indefinidamente para evitar la manipulación de recompensas.
Cuantificación de la Incertidumbre: Los autores introducen una métrica de Diferencial de Velocidad para medir la reacción del SDC ante la incertidumbre. Calcula la diferencia en la velocidad del SDC al aproximarse a usuarios predecibles de pasos de peatones frente a cruzadores indebidos impredecibles a distancias específicas. Un diferencial positivo indica que el SDC no anticipó el encuentro con un cruce indebido.

Contribuciones Clave

Entorno de Entrenamiento Conjunto MARL: El artículo describe un entorno novedoso donde un SDC y 12 peatones se entrenan conjuntamente, con el cruce indebido impulsado por un rasgo de personalidad latente invisible para el vehículo. Esto extiende trabajos anteriores de intersecciones MARL al escalar el número de agentes e introducir incertidumbre conductual impulsada por rasgos.
Métrica de Diferencial de Velocidad: Se introduce una nueva métrica para cuantificar, directamente a partir de las trayectorias, cómo varía la velocidad de un SDC entre encuentros predecibles e impredecibles, proporcionando una medida a nivel de trayectoria de la incertidumbre.
Comportamiento Cooperativo Emergente: El estudio demuestra empíricamente que el entrenamiento conjunto conduce a un comportamiento cooperativo de espera emergente en los peatones (quienes aprenden a esperar cuando el SDC se aproxima a velocidad) y reduce las colisiones en comparación con el entrenamiento de un solo agente.

Resultados Experimentales
Las evaluaciones se realizaron durante 500 episodios con semillas fijas:

Rendimiento frente a Líneas Base: El SDC MARL entrenado conjuntamente logró una tasa de finalización de objetivos del 78% con una tasa de colisión del 14%. Esto superó significativamente a la mejor línea base basada en reglas (35% de objetivos, 33% de colisiones) y a un SDC de RL de un solo agente entrenado contra peatones scripteados (65% de objetivos, 20% de colisiones).
Análisis de Incertidumbre: La métrica de diferencial de velocidad reveló que cerca de cruzadores indebidos (0–3 m), el SDC viajó 2.65 m/s más rápido (8.08 m/s) que cerca de usuarios de pasos de peatones (5.43 m/s), lo que indica una falta de anticipación para el cruce indebido.
Atribución de Colisiones: Aunque el cruce indebido representó solo el 13% de los eventos de cruce, fue responsable del 62% de todas las colisiones.
Beneficios del Entrenamiento Conjunto: El entrenamiento conjunto redujo las colisiones en un 30% en relación con el RL de un solo agente (del 20% al 14%). Además, el SDC entrenado conjuntamente se generalizó bien a peatones scripteados (76% de objetivos), e incluso un SDC de un solo agente emparejado con peatones entrenados con MARL vio caer su tasa de colisiones del 20% al 16%.
Estudio de Ablación: El rendimiento se degradó gradualmente a medida que las tasas de cruce indebido aumentaron del 0% al 30%, pero se degradó bruscamente cuando el cruce indebido alcanzó el 50%, lo que sugiere que el sistema tolera niveles realistas de incertidumbre pero lucha cuando la imprevisibilidad se vuelve dominante.

Significado y Afirmaciones
El artículo afirma que la contribución principal es la generación de comportamientos de peatones más ricos durante el entrenamiento y la evaluación del SDC sin una programación explícita de la espera cooperativa. Los autores argumentan que el realismo del modelo de peatón moldea directamente la evaluación de seguridad de un SDC; los modelos scripteados subrepresentan el elemento sorpresa del cruce indebido. Al exponer a los SDC a situaciones de intención latente mediante el entrenamiento conjunto impulsado por rasgos, el marco produce una evaluación de seguridad más rigurosa. La métrica de diferencial de velocidad propuesta ofrece una herramienta cuantitativa para evaluar qué tan bien maneja una política de SDC la incertidumbre, complementando las evaluaciones basadas en la percepción humana. El trabajo sugiere que el entrenamiento conjunto MARL es un camino viable hacia la exposición de los SDC a los comportamientos complejos y heterogéneos encontrados en entornos urbanos reales.