Reinforcement Learning Enhancement Using Vector Semantic Representation and Symbolic Reasoning for Human-Centered Autonomous Emergency Braking

Resumen Técnico: Mejora del Aprendizaje por Refuerzo mediante Representación Semántica Vectorial y Razonamiento Simbólico para el Frenado de Emergencia Autónomo Centrado en el Humano

Declaración del Problema

Los enfoques actuales de Aprendizaje por Refuerzo Profundo (DRL) basados en cámaras para la Conducción Autónoma (AD) enfrentan dos limitaciones primarias:

1. Representación de Características: Rara vez integran el contexto de la escena de alto nivel en las representaciones de características, dependiendo en su lugar de imágenes puras o mecanismos de atención que resaltan regiones sin una comprensión semántica explícita de las relaciones entre objetos (por ejemplo, la proximidad de un peatón a un paso de cebra).
2. Diseño de la Función de Recompensa: Normalmente dependen de funciones de recompensa rígidas y fijas (sumas ponderadas de penalizaciones e incentivos). Estas no logran capturar los matices de los compromisos entre valores humanos en competencia (seguridad, eficiencia, confort) en escenarios complejos y dinámicos. Existen funciones de recompensa adaptativas, pero a menudo utilizan un "cambio brusco" (hard switching) entre objetivos, lo que conduce a un comportamiento frágil.

Metodología

El artículo propone un flujo de trabajo neuro-simbólico que combina la Representación Semántica Vectorial (VSR) para la codificación del estado y la Lógica de Primer Orden Suave (SFOL) para el modelado de la recompensa (reward shaping).

1. Representación Semántica Vectorial (VSR)

Los autores extienden el marco de VSR para codificar entidades estáticas y dinámicas utilizando Computación Hiperdimensional (HDC), específicamente Representaciones Reducidas Holográficas (HRR).

• Procesamiento de Entrada: Las imágenes de la cámara se procesan a través de una UNet basada en ResNet18 para generar mapas de segmentación semántica y un autoencoder ResNet18 para producir incrustaciones (embeddings) de características latentes.
• Codificación de Entidades: Cada entidad dinámica ($E_i$) se representa como un hipervector que combina:
  • Información Semántica Espacial (SSI): Codifica la clase semántica (ej. peatón, vehículo), las relaciones espaciales con los vecinos (ej. "peatón debajo del paso de cebra"), y la forma/ubicación dentro de una cuadrícula. Esto se construye vinculando hipervectores de clase semántica, direccionales y de forma.
  • Características Espaciales (SF): Incrustaciones de características con atención espacial derivadas de las características latentes, ponderadas por el mapa semántico.
• Fusión: El vector VSR final es una suma ponderada de todos los hipervectores de las entidades. Crucialmente, los esquemas de ponderación priorizan a los usuarios vulnerables de la vía (ej. los peatones en la carretera/paso de cebra se ponderan más que aquellos en las aceras o vehículos).
• Integración: El hipervector SSI y las incrustaciones SF se fusionan mediante adición elemento a elemento ($\oplus$) o multiplicación ($\otimes$) para crear un descriptor compacto y rico en contexto que se alimenta a un agente de Optimización de Política Próxima (PPO).

2. Función de Recompensa de Lógica de Primer Orden Suave (SFOL)

Para abordar la rigidez de las recompensas fijas, los autores integran un módulo de razonamiento simbólico utilizando PyReason.

• Extracción de Predicados: Se extraen predicados semánticos y espaciales (ej. Peatón(X), EnPasoDeCebra(X), Ocluye(X,Y)) a partir de los mapas de segmentación y el análisis espacial. La incertidumbre se gestiona asignando valores de verdad suaves en $[0, 1]$.
• Base de Reglas: Un conjunto de cláusulas de Horn define reglas para la Seguridad (ej. priorizar la seguridad si un peatón está en la carretera o si un paso de cebra está ocluido) y la Eficiencia (ej. priorizar la velocidad si el carril está despejado).
• Ponderación Dinámica: El sistema infiere niveles de confianza para estas reglas. Estas confidencias se utilizan para calcular dinámicamente los pesos ($\bar{w}_{saf}$, $\bar{w}_{eff}$) de los componentes de la recompensa base (seguridad, eficiencia y suavidad). Esto permite que la función de recompensa equilibre los valores humanos basándose en el contexto específico de la escena de conducción, en lugar de usar cambios bruscos.

Contribuciones Clave

1. VSR Extendida: Adaptación de VSR para codificar entidades dinámicas con esquemas de ponderación que enfatizan a los usuarios vulnerables de la vía, fusionados con características de atención espacial.
2. Fusión Neuro-Simbólica: Creación de un descriptor de escena compacto mediante la fusión de hipervectores simbólicos (SSI) con incrustaciones de aprendizaje profundo (SF).
3. Función de Recompensa SFOL: Propuesta de una función de recompensa que utiliza el razonamiento simbólico para equilibrar dinámicamente la seguridad, la eficiencia y el confort, yendo más allá de las formulaciones de recompensa fijas o de cambio brusco.

Resultados Experimentales

El flujo de trabajo se evaluó en el simulador CARLA utilizando un escenario de cruce de peatones ocluidos con densidades de tráfico variables (Baja, Media, Alta) y niveles de oclusión (Parcial, Total).

• Integración VSR:
  • Solo SSI: Funcionó pobremente, indicando que la información simbólica por sí sola es insuficiente para el aprendizaje de la política.
  • Solo SF: Convergió rápidamente pero se degradó significativamente en tráfico de alta densidad, lo que provocó mayores tasas de colisión.
  • SSI $\oplus$ SF (Adición elemento a elemento): Logró el rendimiento más robusto, equilibrando altas tasas de éxito, bajas tasas de colisión y distancias de parada estables en todas las densidades. Superó a la variante de multiplicación ($\otimes$) en estabilidad.
• Ablación de la Recompensa SFOL:
  • Conjunto de Reglas Completo (CE y CS): Entregó el desempeño general más fuerte con la menor degradación en escenarios de alta densidad.
  • Conjuntos de Reglas Parciales: Eliminar reglas de seguridad sutiles (CE y PS) condujo a una conducción agresiva y reacciones tardías. Eliminar reglas de eficiencia sutiles (PE y CS) resultó en un comportamiento excesivamente conservador y altas tasas de tiempo de espera (timeout).
  • Comparación con el Baseline: El enfoque SFOL propuesto superó a un baseline adaptativo de factores de riesgo estándar, particularmente en escenarios de alta densidad y ocluidos, donde el baseline mostró fragilidad.

Significancia y Reivindicaciones

El artículo sostiene que la integración de representaciones neuro-simbólicas holísticas y razonamiento suave en el Aprendizaje por Refuerzo permite una toma de decisiones más consciente del contexto y alineada con los valores para la conducción autónoma.

• Robustez: La combinación de contexto simbólico (VSR) y características espaciales permite al agente manejar mejor los escenarios complejos y ocluidos que los métodos que dependen únicamente de características visuales o datos simbólicos.
• Alineación Humana: La función de recompensa SFOL logra equilibrar los valores humanos en competencia (seguridad vs. eficiencia) de manera dinámica, evitando la fragilidad de la lógica de cambio brusco.
• Limitaciones: Los autores señalan modestamente que ninguna configuración logró una tasa de éxito del 100%. Identifican la posible inestabilidad en el proceso de razonamiento (fluctuaciones en los pesos de la recompensa) durante la congestión intensa como un área para el refinamiento futuro, sugiriendo la necesidad de información simbólica temporal o razonamiento abductivo para manejar peligros ocultos.