💻 computer science

Autonomous overtaking trajectory optimization using reinforcement learning and opponent pose estimation

Este artículo presenta un mecanismo de aprendizaje por refuerzo que fusiona datos de LiDAR y cámaras de profundidad mediante un filtro de Kalman no lineal para estimar la pose de los oponentes y optimizar las trayectorias de adelantamiento autónomo en entornos de carreras, demostrando su eficacia tanto en simulación como en experimentos reales.

Autores originales: Matej Rene Cihlar, Luka Šiktar, Branimir Ćaran, Marko Švaco

Publicado 2026-03-31

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Matej Rene Cihlar, Luka Šiktar, Branimir Ćaran, Marko Švaco

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás en una carrera de coches de juguete, pero estos coches tienen una mente propia: son autónomos. El objetivo de este artículo es enseñarle a uno de esos coches cómo adelantar a otro de forma segura y rápida, sin chocar, usando inteligencia artificial.

Aquí tienes la explicación de cómo lo hicieron, usando analogías sencillas:

1. El Gran Desafío: La Carrera de "Piedra, Papel o Tijera"

En una carrera normal, solo tienes que seguir la pista. Pero en una carrera con rivales, es como jugar al "piedra, papel o tijera" a toda velocidad. Si tu rival gira a la izquierda, tú tienes que decidir: ¿te quedas atrás, intentas pasar por la derecha o frenas?

Hacer esto con un coche autónomo es muy difícil porque el rival no es un obstáculo fijo (como una pared); es un coche que se mueve, gira y toma decisiones. Si el coche autónomo no sabe exactamente dónde está el rival y hacia dónde va, es probable que choquen.

2. Los Ojos del Coche: "Ver con dos pares de gafas"

Para saber dónde está el rival, los investigadores no confiaron en un solo sensor. Usaron una técnica llamada fusión de sensores, que es como si el coche tuviera dos tipos de "ojos" diferentes trabajando en equipo:

El Ojo Láser (LiDAR): Imagina un faro que dispara rayos láser invisibles para medir distancias. Es muy bueno para saber "qué tan lejos" está algo, pero a veces se confunde si hay varios objetos cerca (como si vieras dos coches juntos y pensaras que es uno solo).
El Ojo Inteligente (Cámara de profundidad + YOLO): Es como una cámara normal que tiene un cerebro entrenado (llamado YOLO) para reconocer formas. Sabe que "eso" es un coche rival y no una caja o una pared. Además, mide la profundidad.

La Magia del Filtro UKF (El Árbitro Sabio):
Como cada "ojo" tiene sus errores, usaron un algoritmo llamado Filtro de Kalman (UKF). Imagina que tienes dos testigos en un juicio: uno ve bien la distancia pero no sabe qué es el objeto, y el otro sabe qué es el objeto pero a veces se equivoca con la distancia. El Filtro UKF es el juez sabio que toma la información de ambos, descarta los errores y te da la posición más precisa posible del rival en tiempo real.

3. El Entrenador: El Aprendizaje por Refuerzo (RL)

Una vez que el coche sabe dónde está el rival, necesita saber qué hacer. Aquí entra el Aprendizaje por Refuerzo.

Imagina que el coche es un perro en una escuela de adiestramiento:

Si hace una maniobra de adelantamiento exitosa y rápida, recibe una galleta (recompensa positiva).
Si se sale de la pista, choca o va muy lento, recibe un chillido (castigo).

El coche (un algoritmo llamado PPO) probó millones de veces en una simulación virtual. Al principio, chocaba mucho. Pero con el tiempo, aprendió a calcular la trayectoria perfecta: "Si el rival está aquí, debo girar un poco a la derecha y acelerar justo en este momento".

4. El Resultado: ¡Adelantamiento Real!

Los investigadores probaron su sistema en un coche real (un modelo pequeño llamado F1TENTH) en un circuito de verdad.

Lo que pasó: El coche autónomo logró ver al rival, calcular su posición con mucha precisión (con un error de menos de 10 centímetros, ¡como la longitud de un lápiz!) y ejecutar un adelantamiento sin chocar.
El detalle: En el mundo real, a veces el coche se movía un poco "a saltos" (como si tuviera un poco de nerviosismo) debido a retrasos en los sensores, pero logró su objetivo: pasar al rival y seguir corriendo.

En Resumen

Este papel nos dice que para que un coche autónomo sea un buen corredor, no basta con que sea rápido; necesita saber leer la mente del rival (estimando su posición con dos sensores combinados) y tener un entrenador virtual que le enseñe a adelantar mediante prueba y error.

Es como enseñar a un niño a cruzar la calle: primero le das un mapa (los sensores), luego un guardián que le dice "cuidado, ese coche viene rápido" (el filtro de Kalman), y finalmente, le das práctica hasta que aprende a cruzar solo sin chocar (el aprendizaje por refuerzo).

Resumen Técnico: Optimización de Trayectorias de Adelantamiento Autónomo mediante Aprendizaje por Refuerzo y Estimación de Pose del Oponente

1. Problema

El adelantamiento en entornos de carreras autónomas es una de las maniobras más complejas para los vehículos autónomos. A diferencia de la conducción en un solo agente, los entornos multiagente introducen incertidumbre, estocasticidad y requisitos de seguridad críticos. Los sistemas de conducción existentes a menudo tratan a los oponentes como obstáculos estáticos o evitan colisiones sin optimizar activamente la maniobra de adelantamiento. El desafío principal radica en desarrollar un sistema que:

Estime con precisión la pose (posición y orientación) del vehículo oponente en tiempo real.
Genere trayectorias óptimas de adelantamiento que maximicen la velocidad y la seguridad.
Valide estos algoritmos no solo en simulación, sino en un entorno de mundo real con condiciones adversas y limitaciones de hardware.

2. Metodología

La propuesta se basa en dos componentes principales integrados en una plataforma de carreras F1TENTH (un vehículo a escala 1/10):

A. Estimación de la Pose del Oponente (Fusión de Sensores)
Para superar las limitaciones de sensores individuales, los autores implementan una fusión de sensores utilizando un Filtro de Kalman Unscented (UKF):

LiDAR 2D (Hokuyo): Utiliza un algoritmo de detección de objetos basado en agrupamiento (clustering) y ajuste de rectángulos para estimar la posición $(x, y)$ .
Cámara de Profundidad (Intel RealSense D435): Emplea un modelo de detección de objetos YOLOv8 (entrenado en un conjunto de datos personalizado) para identificar el vehículo oponente y calcular su distancia basándose en la altura del cuadro delimitador (bounding box) y la geometría de la cámara.
Fusión UKF: Combina los datos del LiDAR y la cámara. El UKF utiliza un modelo de velocidad constante y dos modelos de medición distintos para integrar las diferentes tasas de actualización y formatos de los sensores. Esto permite una estimación robusta de la posición $(x, y)$ y las velocidades $(v_x, v_y)$ , corrigiendo errores individuales (por ejemplo, el LiDAR puede perder el objetivo, pero la cámara lo identifica, y viceversa).
Nota: El ángulo de guiñada (yaw) del oponente no se estima directamente por el sensor, sino que se infiere del modelo cinemático del vehículo (modelo de Ackermann).

B. Algoritmo de Aprendizaje por Refuerzo (RL)
Se utiliza un enfoque de Aprendizaje por Refuerzo Multiagente (MARL) para optimizar la maniobra de adelantamiento:

Algoritmo: Se emplea Proximal Policy Optimization (PPO) con una función de pérdida recortada (clipped loss) para garantizar la estabilidad del entrenamiento.
Arquitectura de la Red: Una red neuronal totalmente conectada con dos capas ocultas (256 neuronas cada una, activación ReLU).
- Entrada (Observación): 162 dimensiones que incluyen datos del LiDAR (muestreado cada 10 puntos), odometría del agente y del oponente, y 10 puntos de referencia futuros (waypoints) de la línea de carrera para ambos vehículos.
- Salida (Acción): 2 dimensiones continuas: ángulo de dirección (escala $\pm 0.34$ rad) y velocidad lineal (0 a 3 m/s).
Función de Recompensa: Diseñada para fomentar el adelantamiento exitoso y la suavidad de la trayectoria. Incluye siete componentes ponderados:
1. Recompensa por velocidad.
2. Recompensa por progreso en la línea de carrera.
3. Recompensa por adelantamiento: +1 si el agente va delante, -1 si el oponente va delante (escalado linealmente cuando están cerca).
4. Penalización por desviación de la línea de carrera.
5. Penalización por colisión.
6. Penalización por error de orientación (heading).
7. Penalización por suavidad (cambio brusco de dirección).

3. Contribuciones Clave

Integración de Fusión de Sensores en RL: Combinación exitosa de estimación de pose mediante UKF (LiDAR + Cámara) con un agente de RL para la toma de decisiones de adelantamiento.
Validación en Mundo Real: A diferencia de muchos estudios que se quedan en simulación, este trabajo valida el sistema completo en una plataforma física F1TENTH, demostrando la viabilidad en condiciones reales con ruido y retrasos.
Enfoque en el Oponente Dinámico: El sistema no trata al oponente como un obstáculo estático, sino que estima su pose y trayectoria futura para planificar maniobras de adelantamiento agresivas pero seguras.
Código Abierto: Se proporciona acceso al stack de software utilizado en el laboratorio de investigación.

4. Resultados

Precisión de la Estimación de Pose:
- El sistema fusionado (UKF) logró un Error Cuadrático Medio (RMSE) de 0.0816 m en el eje X y 0.0531 m en el eje Y.
- El UKF superó al LiDAR individual en el eje Y y a la cámara individual en el eje X, demostrando una mayor robustez. El LiDAR por sí solo tiende a perder el objetivo en ciertas condiciones, mientras que la cámara ayuda a mantener el seguimiento.
Desempeño del Adelantamiento:
- El agente de RL logró realizar maniobras de adelantamiento exitosas en múltiples pruebas en el mundo real sin colisiones.
- Se observaron oscilaciones en las trayectorias reales (amplificadas por el ruido y los retrasos del sensor en comparación con la simulación), pero el sistema mantuvo la estabilidad necesaria para completar la maniobra.
- El sistema funcionó bien cuando las condiciones del mundo real (ancho de la pista) eran similares a las del entrenamiento, aunque hubo dificultades de generalización en pistas mucho más estrechas que las simuladas.

5. Significado e Impacto

Este trabajo representa un avance significativo en la conducción autónoma competitiva al demostrar que es posible combinar la percepción sensorial avanzada (fusión LiDAR-Cámara) con el aprendizaje por refuerzo para resolver problemas de interacción dinámica complejos.

Seguridad y Eficiencia: Al estimar la pose del oponente en lugar de evitarlo ciegamente, el sistema reduce el riesgo de colisiones y optimiza el tiempo de vuelta.
Escalabilidad: La metodología demuestra que los algoritmos de RL pueden transferirse de simulación a hardware real (sim-to-real) si se manejan adecuadamente las limitaciones de los sensores y la latencia.
Futuro: Los autores identifican que la mejora de la suavidad de la trayectoria y el aumento de la tasa de actualización de la estimación de pose (actualmente limitada por la velocidad de los sensores) son los siguientes pasos críticos para llevar esta tecnología a velocidades más altas y entornos más complejos.