Offline Reinforcement Learning using Human-Aligned Reward Labeling for Autonomous Emergency Braking in Occluded Pedestrian Crossing

Resumen Técnico: Aprendizaje por Refuerzo Fuera de Línea mediante el Etiquetado de Recompensas Alineado con Humanos para el Frenado de Emergencia Autónomo en Cruces de Peatones con Oclusión

Formulación del Problema

El artículo aborda un cuello de botella crítico en el despliegue de sistemas de Conducción Autónoma (AD): la escasez de etiquetas de recompensa significativas en conjuntos de datos del mundo real necesarios para el Aprendizaje por Refuerzo Fuera de Línea (Offline RL). Aunque los conjuntos de datos del mundo real (por ejemplo, Waymo, nuScenes, A2D2) ofrecen datos ricos y de alta fidelidad, normalmente carecen de las señales de recompensa necesarias para entrenar agentes que distingan entre comportamientos deseables e indeseables. Las soluciones existentes suelen depender de la simulación, que sufre del desfase "sim-to-real" (simulación a realidad), o utilizan representaciones de estado de baja dimensión que ignoran la riqueza perceptiva de las observaciones basadas en imágenes.

La tarea específica investigada es el control longitudinal del vehículo dentro de un escenario de cruce de peatones con oclusión. En este entorno de alto riesgo, un vehículo autónomo (AV) debe navegar por un paso de cebra donde los peatones pueden estar ocultos por otros vehículos (oclusión) y aparecer repentinamente. El desafío radica en generar etiquetas de recompensa que se alineen con los valores de seguridad humanos (priorizando la seguridad sobre la eficiencia en posibles escenarios de colisión) sin la anotación humana directa de cada fotograma, permitiendo así el entrenamiento de agentes de Offline RL basados en la percepción directamente desde conjuntos de datos estáticos.

Metodología

La solución propuesta introduce un pipeline de etiquetado de recompensas novedoso que transforma los conjuntos de datos de AD no etiquetados en datos listos para el entrenamiento de Offline RL. La metodología consta de tres etapas primarias:

1. Segmentación Semántica y Evaluación de Riesgo:

   • Mapeo Semántico: Las imágenes de cámara en bruto se procesan a través de un modelo ResNet18 UNet para generar mapas de segmentación semántica a nivel de píxel. Estos mapas identifican 28 clases, incluyendo peatones, vehículos, pasos de cebra y marcas viales.
   • Componente de Seguridad Adaptativo ($c_t$): El sistema analiza capas específicas del mapa semántico para calcular una bandera de seguridad adaptativa ($c_t$). Esta bandera se determina mediante tres factores de riesgo:
     • Presencia de Peatones ($F_p$): Detecta si un peatón está en la carretera frente a la acera.
     • Oclusión del Paso de Cebra ($F_c$): Evalúa si un paso de cebra está parcialmente ocluido por el tráfico, creando incertidumbre.
     • Historial de Peatones ($F_h$): Utiliza un banco de memoria para rastrear peatones que aparecen y luego desaparecen (indicando oclusión), marcándolos como de riesgo medio.
   • Lógica de Decisión: Estos factores se suman y se pasan a través de una función sigmoide escalada. Si la probabilidad resultante supera un umbral ($\psi = 0.75$), $c_t$ se establece en 1, activando el componente de recompensa de seguridad y desactivando el componente de eficiencia.

2. Construcción de la Función de Recompensa:
   La señal de recompensa final ($R_{final}$) es una suma ponderada de tres componentes, conmutados dinámicamente según $c_t$:

   • Seguridad ($g_{safe}$): Penaliza las altas velocidades cerca de peatones y las colisiones. Se activa cuando $c_t=1$.
   • Eficiencia ($g_{efficient}$): Fomenta velocidades más altas cuando no hay una colisión inminente. Se activa cuando $c_t=0$.
   • Suavidad ($g_{smooth}$): Penaliza la aceleración brusca, siempre está activa.
   • Integración de Sensores: Para datos del mundo real, la distancia a los peatones se infiere utilizando el modelo de cámara de ojo de cerradura (pinhole camera model) combinado con la segmentación semántica, mientras que la velocidad y la aceleración se derivan del bus CAN del vehículo y del IMU.

3. Entrenamiento de Offline RL con Atención Espacial:
   Para entrenar al agente, el artículo propone un pipeline basado en la percepción que aprovecha los mapas semánticos para guiar la extracción de características:

   • Extracción de Características: Las imágenes de la cámara pasan a través de un autoencoder ResNet18 para producir incrustaciones (embeddings) de características latentes.
   • Atención Espacial: Las capas semánticas relevantes para la tarea (peatón, paso de cebra, vehículo) se aíslan y se utilizan para aplicar atención espacial a las características latentes. Esto se logra mediante la multiplicación cruzada ponderada, donde las características de los peatones reciben el mayor peso ($\omega_{ped}=1.0$), seguidas por los pasos de cebra ($\omega_{cross}=0.75$) y los vehículos ($\omega_{veh}=0.50$). Este mecanismo obliga al agente a centrarse en objetos salientes relevantes para la prevención de colisiones.

Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Etiquetado de Recompensa Alineado con Humanos: Un enfoque novedoso para generar etiquetas de recompensa para conjuntos de datos de AD existentes, permitiendo su uso en Offline RL de extremo a extremo sin requerir nueva recolección de datos.
2. Mecanismo de Seguridad Adaptativo: Una función de recompensa que incorpora un componente de seguridad adaptativo derivado de mapas de segmentación semántica. Esto permite al agente priorizar dinámicamente la seguridad sobre la eficiencia basándose en factores de riesgo en tiempo real como la ubicación de los peatones y la oclusión.
3. Atención Espacial mediante Mapas Semánticos: Un método para utilizar capas de segmentación semántica para proporcionar niveles variables de atención espacial a diferentes clases de objetos dentro de la observación de la imagen, mejorando la toma de decisiones del agente al centrarse en elementos escénicos salientes.

Resultados Experimentales

El método fue evaluado en dos entornos: una simulación en CARLA y un subconjunto del conjunto de datos de conducción autónoma de Audi (A2D2) del mundo real.

• Simulación (CARLA):

  • Algoritmos Probados: Los datos etiquetados se utilizaron para entrenar CQL, IQL y BPPO.
  • Líneas Base (Baselines): El método propuesto ("Gen") se comparó contra el Intercambio de Datos No Etiquetados (UDS) (asignando recompensas de cero) y un enfoque de Modelo de Lenguaje Visual (VLM).
  • Desempeño: La configuración IQL (Gen) logró el mayor desempeño, con tasas de éxito del 98-100% en escenarios de oclusión parcial. El método propuesto generalmente produjo comportamientos más estables y fiables que las líneas base de UDS o VLM.
  • Limitaciones: El desempeño disminuyó en escenarios altamente congestionados y totalmente ocluidos, particularmente para CQL y BPPO, lo que sugiere que la vista de la cámara frontal tiene limitaciones en tráfico denso.

• Mundo Real (A2D2):

  • Comparación: Las etiquetas de recompensa generadas se compararon con las anotadas manualmente por un humano.
  • Hallazgos: Aunque la distribución general de las recompensas fue similar, hubo una disparidad moderada en clasificaciones de seguridad específicas. Notablemente, el método señaló ciertos estados inseguros (por ejemplo, peatones fuertemente ocluidos) que el anotador humano pasó por alto. Por el contrario, el método a veces no identificó peatones claramente visibles debido a las limitaciones en los factores de riesgo específicos utilizados (por ejemplo, confusión entre marcas viales y superficies de la carretera).

Significado y Reivindicaciones

El artículo afirma que su principal significancia reside en cerrar la brecha entre los grandes conjuntos de datos de AD no etiquetados del mundo real y los requisitos del aprendizaje por refuerzo fuera de línea. Al automatizar la generación de etiquetas de recompensa alineadas con humanos, el método permite el entrenamiento de agentes basados en la percepción sin el costo prohibitivo de la anotación manual o los problemas de fidelidad de la simulación.

Los autores enfatizan que, si bien el método genera con éxito señales de recompensa significativas y mejora el desempeño de la política en simulación, no es un reemplazo perfecto para el juicio humano. Los resultados de A2D2 resaltan que el método puede detectar peligros que los humanos pasan por alto (debido a su análisis sistemático de mapas semánticos), pero también carece del razonamiento contextual matizado de los conductores humanos. El artículo concluye que este enfoque proporciona un punto de partida viable para el Offline RL en escenarios complejos, aunque el trabajo futuro debe abordar el razonamiento temporal y la integración de múltiples vistas para manejar entornos de tráfico denso de manera más robusta.