Uncertainty-Aware and Temporally Regulated Expert Advice in Reinforcement Learning for Autonomous Driving

Resumen Técnico: Asesoramiento Experto con Conciencia de la Incertidumbre y Regulación Temporal en el Aprendizaje por Refuerzo para la Conducción Autónoma

Planteamiento del Problema
El aprendizaje por refuerzo (RL) de extremo a extremo ofrece un paradigma prometedor para la conducción autónoma (AD) al permitir que los agentes se adapten a escenarios complejos, raros y ocluidos mediante la interacción directa con el entorno. Sin embargo, la exploración inherente requerida para que el RL aprenda políticas efectivas plantea riesgos de seguridad significativos, ya que los agentes deben experimentar comportas novedosas que pueden derivar en colisiones o en la salida de la vía. Además, una exploración extensiva resulta en una baja eficiencia de muestreo. Los mecanismos de seguridad existentes, como los Procesos de Markov de Restricción (CMDP) o las funciones de Lyapunov, a menudo dependen de definiciones de riesgo diseñadas manualmente y optimizaciones complejas sin guiar activamente las políticas hacia acciones más seguras. Si bien las demostraciones de expertos pueden acelerar el aprendizaje, el preentrenamiento estático deja a los agentes vulnerables a una exploración insegura, y los sistemas de intervención humana carecen de escalabilidad. Los métodos actuales que consultan el asesoramiento experto basándose en la incertidumbre del estado suelen omitir el riesgo inducido por las acciones específicas del agente y carecen de mecanismos para regular la frecuencia y la duración de la guía, lo que conduce a una dependencia excesiva o a una corrección insuficiente.

Metodología
Los autores proponen un marco con conciencia de la incertidumbre que integra el asesoramiento de expertos en un núcleo de Red de Cuantiles Implícitos (IQN) fuera de la política (off-policy). El núcleo del enfoque involucra tres componentes interconectados:

1. Estimación de la Incertidumbre: El marco distingue entre dos tipos de incertidumbre para activar el asesoramiento:

   • Incertidumbre Epistémica (Conocimiento Limitado): Medida mediante un conjunto (ensemble) de cabezales de IQN entrenados en diferentes subconjuntos del búfer de repetición (replay buffer). Los autores proponen dos formulaciones: una basada en la distancia de Wasserstein ($W_1$) entre las distribuciones de retorno de los distintos cabezales del conjunto, y una formulación sensible al riesgo basada en la varianza de las estimaciones del Valor en Riesgo Condicional (CVaR) entre los cabezales.
   • Incertidumbre Aleatoria (Riesgo Ambiental): Derivada de la dispersión de la distribución de retorno para la acción específica que el agente pretende ejecutar. Esto captura la aleatoriedad inherente del entorno, como el ruido de los sensores o las oclusiones.

2. Mecanismo de Consulta Adaptativo: En lugar de utilizar umbrales fijos, el sistema emplea umbrales adaptativos derivados de búferes de rodamiento de valores de incertidumbre pasados. El asesoramiento se activa cuando la incertidumbre epistémica o aleatoria excede el percentil $\beta$ empírico de su respectivo búfer. Esto asegura que el mecanismo de activación evolucione con la confianza del agente y la dinámica de entrenamiento.

3. Estrategia de Compromiso–Enfriamiento (Commitment–Cooldown): Para evitar la dependencia excesiva y asegurar que el agente interiorice maniobras coherentes, el marco regula la duración del asesoramiento. Una vez activado, el agente sigue la política del experto durante un periodo de "compromiso", en lugar de un solo paso. Esto es seguido por un periodo de "enfriamiento" donde el agente opera de forma independiente. Además, un heurístico de parada temprana estocástica permite al agente desvincularse del experto si la evidencia estadística sugiere que su propia política produce retornos ajustados por seguridad más altos, evitando la dependencia innecesaria.

4. Integración: Las experiencias del experto y del agente se almacenan en un búfer de repetición compartido. A diferencia de los enfoques que separan los búferes o fuerzan recompensas altas en las acciones del experto, este método trata las transiciones del experto como muestras estándar evaluadas bajo la misma función de recompensa, permitiendo que la política supere naturalmente al experto a medida que gana competencia.

Contribuciones Clave

• Guía con Conciencia de la Incertidumbre: Un marco donde el agente solicita asesoramiento basado en una alta incertidumbre epistémica o aleatoria, utilizando un búfer de repetición compartido para la reutilización eficiente de las trayectorias del experto.
• Estimación de la Doble Incertidumbre: Un método que deriva la incertidumbre aleatoria de la varianza del retorno y la incertidumbre epistémica mediante conjuntos de bootstrapping, contabilizando explícitamente el riesgo relacionado con la acción.
• Regulación Temporal: Una estrategia de compromiso–enfriamiento con un heurístico de parada temprana estocástica que equilibra la guía efectiva con la prevención de la dependencia a largo plazo del experto.
• Integración Sensible al Riesgo: El uso de IQN para modelar la distribución completa del retorno, permitiendo la toma de decisiones sensible al riesgo y la detección de estados tanto riesgosos como poco explorados.

Resultados Experimentales
Los experimentos se realizaron en el simulador CARLA en tareas de navegación en intersecciones no señalizadas con densidades de tráfico aleatorias. El método propuesto se comparó con una línea base de IQN estándar y varias configuraciones de ablación.

• Ganancias de Rendimiento: La mejor configuración (incertidumbre basada en CVaR, 50% de presupuesto de experto y periodos de compromiso/enfriamiento de 5 pasos) superó a la línea base de IQN, mejorando la tasa de éxito entre un 5% y un 7% y reduciendo las tasas de fallo en todas las densidades de tráfico.
• Perspectivas de Ablación:
  • Compromiso/Enfriamiento: La consistencia temporal (por ejemplo, compromiso de 5 pasos) estabilizó significativamente el aprendizaje de la política en comparación con las intervenciones de un solo paso.
  • Presupuesto del Experto: Un presupuesto del 50% proporcionó el equilibrio óptimo; los presupuestos más altos (75%) provocaron una dependencia excesiva y degradaron la generalización.
  • Formulación de la Incertidumbre: La formulación de la incertidumbre epistémica basada en CVaR superó consistentemente al enfoque basado en Wasserstein al filtrar mejor el ruido de la distribución y enfatizar los cuantiles sensibles al riesgo.
  • Seguridad en Tiempo de Ejecución: El uso de la incertidumbre aleatoria como guardia de seguridad en tiempo de ejecución (activando la deceleración hasta la parada cuando la incertidumbre supera el percentil 90) mejoró aún más las tasas de éxito en tráfico denso.
• Robustez Estadística: El análisis con métricas de RLiable confirmó que el método propuesto no solo logró un mayor rendimiento medio, sino que también demostró una mayor estabilidad estadística (mayor media de rango intercuartílico) y una reducción de la brecha de optimalidad en comparación con la línea base.

Significancia
El artículo sostiene que acoplar la estimación de la incertidumbre sensible al riesgo con la integración regulada del experto permite una exploración más segura y eficiente para el aprendizaje de políticas de RL basadas en sensores. Al abordar las limitaciones de las restricciones de seguridad estáticas y la intervención no regulada del experto, el marco permite que los agentes interioricen la seguridad dentro de la política aprendida sin crear una dependencia duradera de la guía externa. Los resultados demuestran que este enfoque navega eficazmente el compromiso entre la seguridad de la exploración y la eficiencia de muestreo en escenarios complejos de intersecciones no señalizadas.