Interacting safely with cyclists using Hamilton-Jacobi reachability and reinforcement learning

1. Planteamiento del Problema

La interacción entre vehículos autónomos y ciclistas presenta un desafío único debido a la naturaleza impredecible, lenta y a veces errática del movimiento de los ciclistas en comparación con otros agentes viales.

• Limitaciones actuales: Los algoritmos de navegación existentes tienden a ser excesivamente cautelosos, sacrificando la eficiencia temporal (tiempo de llegada) para evitar colisiones, o carecen de garantías de seguridad cuantificables. Por otro lado, los conductores humanos a menudo son demasiado agresivos.
• El conflicto: Existe una necesidad de equilibrar la seguridad (garantizar que no se entren en zonas de fallo) con la optimalidad (llegar al destino en un tiempo razonable).
• Brecha de investigación: Aunque existen métodos de alcanzabilidad de Hamilton-Jacobi (HJ) que garantizan la seguridad, suelen ser computacionalmente costosos y demasiado conservadores. Los métodos de Aprendizaje por Refuerzo (RL) ofrecen optimización pero carecen de garantías de seguridad estrictas. Además, la mayoría de los enfoques previos no modelan adecuadamente la respuesta latente o el "nivel de comodidad" del ciclista ante el vehículo.

2. Metodología

El enfoque propuesto integra el análisis de alcanzabilidad de Hamilton-Jacobi (HJ) con el Deep Q-Learning (DQN) en un marco de juego diferencial de suma cero con dos agentes.

A. Formulación del Problema

• Se modela la interacción como un juego diferencial donde el vehículo autónomo es el agente de control ($u$) y el ciclista es la entrada de perturbación ($d$).
• El objetivo es generar una trayectoria que maximice una función de valor $V$ que refleje tanto la seguridad como el tiempo.
• El estado del sistema ($s$) se define por la distancia longitudinal ($\Delta x$), la tasa de cambio de la distancia longitudinal ($\Delta v$) y la distancia lateral ($\Delta y$) entre el vehículo y el ciclista.

B. Análisis de Seguridad (Hamilton-Jacobi)

• Se calcula un conjunto alcanzable hacia atrás (backward reachable set) basado en la solución de una ecuación diferencial parcial de Hamilton-Jacobi-Bellman (HJB).
• Este conjunto define los estados que, si se entran, inevitablemente llevan a una colisión bajo la peor perturbación posible.
• La función de valor resultante proporciona una medida cuantitativa de seguridad para cada estado:
  • $v(s) > 0$: Estado seguro (existe una estrategia para evitar colisiones).
  • $v(s) \le 0$: Estado peligroso (la colisión es inevitable).

C. Modelado de la Perturbación (Comodidad del Ciclista)

• Innovación clave: En lugar de tratar la perturbación del ciclista como un simple input de aceleración, el modelo lo trata como una función de la respuesta latente del ciclista ante el estado del vehículo.
• Autoencoder para detección de anomalías:
  • Se utiliza un autoencoder entrenado con datos etiquetados como "seguros" (basados en la función de valor HJ).
  • El modelo aprende el patrón de estados normales.
  • Si la tasa de error de reconstrucción es alta, el estado se clasifica como "peligroso" o incómodo para el ciclista.
  • Esto permite al sistema predecir cómo reaccionará un ciclista (ej. frenar o desviarse) si el vehículo se acerca demasiado, incluso si no hay riesgo físico inmediato de colisión.

D. Navegación con Deep Q-Learning (DQN)

• La solución puramente de HJ es robusta pero demasiado cautelosa. Para mejorar la optimalidad temporal, se utiliza una red DQN.
• La función de valor calculada por HJ se utiliza como una señal de recompensa estructurada dentro del marco de RL.
• El agente (vehículo) aprende una política que maximiza la recompensa acumulada, equilibrando la necesidad de evitar el conjunto alcanzable peligroso con la necesidad de llegar al objetivo rápidamente.

3. Contribuciones Clave

1. Extensión a sistemas de dos agentes: Se adapta el enfoque de Fisac et al. (2019), originalmente para un solo agente, a un sistema interactivo vehículo-ciclista.
2. Modelado de la comodidad del ciclista: Se introduce un método novedoso para cuantificar el nivel de comodidad del ciclista mediante el modelado de la entrada de perturbación como una función de la respuesta humana latente, utilizando autoencoders para la clasificación de estados raros/peligrosos.
3. Equilibrio Seguridad-Tiempo: El algoritmo permite interacciones óptimas que no solo evitan colisiones, sino que también permiten adelantar al ciclista a velocidades y distancias razonables, evitando el comportamiento excesivamente cauteloso.
4. Cuantificación de seguridad: Proporciona una métrica cuantitativa de seguridad basada en la función de valor HJ, permitiendo evaluar la capacidad de pasar a un ciclista de manera segura.

4. Resultados Experimentales

El marco se evaluó utilizando el Safety Pilot Michigan Database (datos naturalistas de 34 millones de millas) y se comparó con:

• Conductores humanos (datos reales).
• El algoritmo de Fisac et al. (2019) sin modelado de comodidad.

Métricas de evaluación:

• Estados inseguros: El marco propuesto redujo el porcentaje de estados inseguros al 31.6%, superando a los conductores humanos (39.0%) y al método de Fisac '19 (36.8%).
• Factor de seguridad: Obtuvo el mejor valor promedio (-2.01), indicando una trayectoria más segura que las otras dos opciones.
• Tiempo de viaje: Aunque el método propuesto tardó un poco más que el algoritmo de Fisac '19 (233s vs 199s), fue significativamente más rápido que los conductores humanos (253s).
• Colisiones y llegada al objetivo: Cero colisiones en todas las pruebas y 100% de éxito en llegar al objetivo.

Análisis cualitativo:
La visualización de las trayectorias mostró que el método propuesto logra un camino óptimo en longitud y tiempo, manteniendo una distancia lateral segura que respeta la percepción de amenaza del ciclista (algo que el método de Fisac '19 ignoraba, llevando a interacciones que, aunque técnicamente seguras físicamente, eran percibidas como amenazantes por el ciclista).

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha entre la garantía teórica de seguridad (proporcionada por la alcanzabilidad HJ) y la eficiencia práctica (lograda mediante RL).

• Humanización de la IA: Al modelar la "comodidad" y la respuesta latente del ciclista, el sistema se comporta de manera más natural y predecible para los usuarios vulnerables de la vía, lo cual es crucial para la aceptación social de los vehículos autónomos.
• Escalabilidad: Demuestra que es posible extender métodos de control óptimo de un solo agente a sistemas multi-agente complejos utilizando técnicas de aprendizaje profundo.
• Aplicación futura: Los autores indican que están trabajando en extender este enfoque a sistemas multi-agente para navegación en entornos más complejos, lo que podría transformar la interacción en cruces y zonas urbanas densas.

En resumen, el paper presenta un marco robusto donde la seguridad no es solo la ausencia de colisiones, sino también la gestión adecuada de la percepción y el confort de los agentes humanos involucrados.