Resumen Técnico: HyPlan - Planificación Híbrida Asistida por Aprendizaje bajo Incertidumbre para la Conducción Autónoma Segura

1. Definición del Problema

El artículo aborda el problema de la Navegación Libre de Colisiones (CFN) para vehículos autónomos (AV) que operan en entornos de tráfico parcialmente observables. El objetivo es minimizar el tiempo para alcanzar una meta evitando colisiones con agentes exógenos (peatones, ciclistas, otros coches).

Este problema se modela como un Proceso de Decisión de Markov Parcialmente Observable (POMDP). Las características clave incluyen:

• Espacio de Estados ($S$): Compuesto por el estado completo del vehículo ego y los estados parciales de $n$ agentes exógenos. Mientras que el estado del vehículo ego es totalmente observable, los agentes exógenos solo son parcialmente observables (posición únicamente, si están ocluidos).
• Acciones ($A$): Entradas de control que consisten en un ángulo de dirección y elecciones discretas de aceleración (Acelerar, Decelerar, Mantener).
• Restricciones: El entorno implica incertidumbre respecto a las intenciones de los agentes y las oclusiones.
• La Brecha: Los métodos existentes enfrentan un compromiso (trade-off). Los métodos de Aprendizaje Profundo (DL) puro son rápidos pero carecen de garantías de seguridad. Los planificadores POMDP explícitos en línea (por ejemplo, IS-DESPOT) ofrecen seguridad y capacidad de prueba, pero sufren de altos tiempos de ejecución, lo que los hace inadecuados para el control en tiempo real en comparación con las bases de DL.

2. Metodología: HyPlan

HyPlan es un planificador POMDP en línea híbrido asistido por aprendizaje diseñado para cerrar la brecha entre la seguridad de la planificación explícita y la velocidad del aprendizaje profundo. Integra cuatro componentes principales:

A. Arquitectura del Sistema

HyPlan opera en un bucle donde, para cada observación de la escena:

1. Predicción de Comportamiento Multi-Agente: Utiliza el modelo MABP AutoBots para predecir las trayectorias de los agentes exógenos.
2. Planificación de Trayectoria: Un planificador Hybrid A* ponderado genera una ruta segura para el vehículo ego utilizando un mapa de costos enriquecido con las rutas predichas de los agentes. Esto determina el ángulo de dirección.
3. Planificación de Velocidad (Innovación Principal): Un planificador POMDP en línea mejorado, IS-DESPOT*, determina la aceleración óptima.

B. El Planificador IS-DESPOT*

IS-DESPOT* es una extensión del planificador IS-DESPOT estándar. Su novedad reside en cómo guía el árbol de búsqueda mediante un componente de Aprendizaje por Refuerzo Profundo (DRL):

• NavPPO (Aprendiz): Una red neuronal basada en PPO (Optimización de Política Próxima) actúa como un crítico. Estima el valor de los estados de creencia (límites superiores heurísticos) para guiar al planificador.
• Entrada para NavPPO:
  • Una "imagen de intención" ($I$) que combina el mapa de costos del vehículo ego, las rutas predichas de los agentes y la ruta planificada del coche.
  • Características de estado no visuales (recompensa previa, última acción, velocidad actual).
  • Estados ocultos de LSTM para mantener el contexto temporal.
• Entrenamiento: NavPPO es entrenado para imitar la política del planificador IS-DESPOT* (aprendizaje por imitación) mientras aprende a estimar los valores de estado. Utiliza una función de pérdida basada en PPO que equilibra la imitación de la política y la precisión de la estimación de valor.

C. Poda Vertical Basada en la Confianza

Para reducir el tiempo de ejecución, HyPlan introduce un mecanismo de poda vertical durante el despliegue:

• Estimación de la Incertidumbre: NavPPO realiza múltiples pasadas estocásticas hacia adelante (usando Monte Carlo dropout) para generar una media ($\mu$) y una varianza ($\sigma^2$) para las estimaciones de valor de los estados de creencia.
• Calibración: El sistema utiliza CRUDE para calibrar estas estimaciones, asegurando que los niveles de confianza sean fiables y reduciendo los falsos positivos.
• Lógica de Poda: El planificador calcula un límite inferior heurístico ponderado por la confianza: $L(b) = (1-\phi)L_{tr}(b) + \phi U(b)$, donde $\phi$ es la confianza derivada de la varianza.
  • Si el planificador alcanza un estado de creencia con una estimación de alto valor y alta confianza, termina la prueba de planificación prematuramente (poda vertical).
  • Esto evita la sobreexploración de regiones familiares del espacio de creencia donde el resultado es predecible, acelerando significativamente la toma de decisiones sin comprometer la seguridad.

3. Contribuciones Clave

1. Marco de Trabajo HyPlan: Una novedosa arquitectura híbrida que combina la predicción multi-agente, la planificación de trayectoria explícita y la planificación POMDP guiada por DRL.
2. Algoritmo IS-DESPOT:* Un planificador POMDP aproximado en línea que utiliza un aprendiz basado en PPO (NavPPO) para proporcionar estimaciones de valor heurístico y métricas de confianza.
3. Estrategia de Poda Vertical: Un mecanismo para podar dinámicamente el árbol de búsqueda basado en la confianza del aprendiz en sus estimaciones de valor, reduciendo drásticamente el tiempo de planificación.
4. Mecanismo de Calibración: La integración de CRUDE para calibrar las estimaciones de confianza del aprendiz DRL, asegurando que las decisiones de poda sean seguras y no se basen en predicciones excesivamente optimistas.

4. Resultados Experimentales

Los autores evaluaron HyPlan en el benchmark CARLA-CTS2, un conjunto de datos de 23,000 escenarios de tráfico críticos que involucran cruces de peatones.

Métricas de Desempeño

• Seguridad: HyPlan logró el índice de seguridad más alto entre todos los métodos probados (incluyendo DL puro, planificación explícita pura y otros enfoques híbridos). Tuvo la tasa de colisiones más baja (12.36%) y la tasa de cuasi-colisiones más baja (8.04%).
• Tiempo de Ejecución: HyPlan fue significativamente más rápido (hasta un 40% de reducción) que otros planificadores POMDP explícitos e híbridos (por ejemplo, IS-DESPOTp, LEADER, HyLEAP). Sin embargo, sigue siendo 3 a 4 veces más lento que las bases de aprendizaje profundo puro (NavPPO, NavA2C).
• Eficiencia de Planificación: HyPlan requirió menos pruebas de planificación, profundidades de búsqueda más superficiales y menos nodos de creencia para evaluar en comparación con otros planificadores alternativos.
• Compromisos (Trade-offs):
  • Los métodos de DL puro (NavPPO) fueron los más rápidos pero tuvieron el peor registro de seguridad.
  • Los planificadores explícitos puros fueron los más lentos.
  • HyPlan ofreció el mejor equilibrio, priorizando la seguridad mientras mejora significativamente la velocidad de la planificación explícita.

Estudio de Ablación

• Sin Poda Vertical: El sistema fue el más seguro pero tuvo el tiempo de ejecución más largo.
• Sin Calibración de Confianza: El sistema fue el más rápido pero sufrió la peor seguridad debido a la poda excesivamente optimista.
• HyPlan Completo: La combinación de todos los componentes proporcionó el equilibrio óptimo entre seguridad y tiempo de ejecución.

5. Significado y Reivindicaciones

El artículo afirma que HyPlan aborda con éxito la brecha de rendimiento entre el aprendizaje profundo y la planificación explícita en la conducción autónoma.

• La Seguridad es lo Primero: Demuestra que los métodos híbridos pueden navegar de forma más segura que tanto las bases de aprendizaje profundo puro como las de planificación explícita pura en escenarios críticos de peatones.
• Eficiencia: Prueba que la poda asistida por aprendizaje puede hacer que la planificación POMDP en línea sea viable para aplicaciones en tiempo real, reduciendo significativamente el tiempo de ejecución sin sacrificar las garantías de seguridad inherentes a la planificación explícita.
• Alcance Modesto: Los autores reconocen que, aunque HyPlan es más rápido que otros planificadores explícitos, aún no ha cerrado la brecha de velocidad con los métodos de aprendizaje profundo puro. También señalan que la evaluación actual está limitada al benchmark CARLA-CTS2, con trabajos futuros planeados para escenarios más amplios como nuPlan.

El trabajo se presenta como un paso hacia una planificación de acciones probablemente correcta bajo incertidumbre que no sufre los costos computacionales prohibitivos tradicionalmente asociados con los POMDP en línea.