CRRL: A Causality-Based Reinforcement Learning Framework for Autonomous System Recovery

Resumen Técnico: CRRL: Un Marco de Aprendizaje por Refuerzo Basado en la Causalidad para la Recuperación de Sistemas Autónomos

Declaración del Probleque
Las políticas tradicionales de aprendizaje por refuerzo (RL) para sistemas autónomos a menudo carecen de comprensión causal, lo que conduce a una pobre generalización en escenarios de falla novedosos. Una limitación crítica identificada en el artículo es que las políticas de RL estándar, cuando se entrenan sin conciencia de los mecanismos de recuperación externos, no logen cooperar eficazmente con ellos. En la práctica, añadir módulos de recuperación heurísticos a políticas preentrenadas a menudo degrada el rendimiento porque la política no puede anticipar ni adaptarse a intervenciones imprevistas. Consecuentemente, los agentes pueden permanecer estancados en estados de falla hasta el 70% de un episodio, y la recuperación basada en reglas es insuficiente para entornos complejos e impredecibles. El desafío central no es la falta de mecanismos de recuperación, sino la ausencia de políticas entrenadas para colaborar con ellos.

Metodología: Marco CRRL
Los autores proponen CRRL (Causal Recovery Reinforcement Learning), un marco híbrido que integra el aprendizaje por refuerzo guiado por la causalidad con un módulo de recuperación basado en reglas. El sistema sigue la arquitectura de bucle de retroalimentación MAPE-K (Monitor, Analizar, Planificar, Ejecutar, Conocimiento):

1. Monitor (Recolección de Datos de Sensores): El sistema opera en el simulador CARLA, recolectando trayectorias de conducción en series temporales mediante interacciones entre múltiples vehículos. Los datos incluyen telemetría del vehículo (velocidad, posición, rotación), entradas de sensores (imágenes de cámara procesadas mediante un Autoencoder Variacional) y eventos de seguridad (colisiones, desviaciones de carril).
2. Analizar (Construcción del Modelo Causal): Se construye un grafo acíclico dirigido (DAG) a partir de los registros de conducción utilizando la librería CausalNex. Esta red bayesiana modela las relaciones causales entre acciones (aceleración, dirección), estados (velocidad, aceleración) y resultados (colisiones, eventos fuera de la vía). El modelo se utiliza para estimar probabilidades condicionales, específicamente $P(\text{colisión} \mid \text{acción}, \text{estado})$, para cuantificar el efecto causal de las acciones sobre los riesgos de falla.
3. Planificar/Ejecutar (Entrenamiento de la Política Híbrida de RL): Un agente de Optimización de Política Próxima (PPO) es entrenado para gestionar la conducción hacia adelante y la evasión de obstáculos. El marco introduce dos integraciones causales clave durante el entrenamiento:
   • Modelado de Recompensa Causal (Causal Reward Shaping): Durante las fases de recuperación, la señal de recompensa se aumenta con un bono causal inversamente proporcional al riesgo de colisión predicho ($1 - P(\text{falla} \mid \text{acción}, \text{estado})$). Esto proporciona una retroalimentación densa para guiar la política hacia maniobras más seguras.
   • Mezcla de Acciones (Action Blending): Cuando se detecta un estado de falla (por ejemplo, velocidad estancada < 0.5 km/h), se activa un módulo de recuperación basado en reglas. Para las acciones de recuperación hacia adelante, la acción ejecutada es una mezcla ponderada de la selección clasificada por riesgo del modelo causal (80%) y la salida de la política PPO (20%). Para las maniobras de reversa (con las cuales la política PPO carece de experiencia), se aplica directamente la acción basada en reglas.

El pipeline de entrenamiento implica un proceso de dos etapas: primero, el ajuste de la red bayesiana causal sobre registros de conducción discretizados; segundo, el ajuste fino de la política PPO en línea utilizando la señal de recompensa causal y los mecanismos de mezcla de acciones.

Contribuciones Clave

• Marco CRRL: Una arquitectura híbrida donde los modelos causales aprendidos de registros de conducción reales moldean la señal de entrenamiento de RL, enseñando explícitamente a la política a colaborar con los módulos de recuperación basados en reglas.
• Pipeline de Tres Etapas: Una metodología que acopla el modelado causal de redes bayesianas con PPO, donde la guía causal influye en los parámetros de la política durante el tiempo de entrenamiento en lugar de simplemente corregir el comportamiento en tiempo de ejecución.
• Validación Empírica: Una evaluación controlada a través de tres escenarios de conducción (carretera recta, rotonda, intersección en T) utilizando un estudio de ablación de cuatro condiciones para aislar las contribencias del entrenamiento causal y los mecanismos de recuperación.
• Paquete de Replicación: Provisión de datos brutos y scripts de análisis para apoyar la reproducibilidad.

Resultados
La evaluación involucró 20 episodios por condición en tres escenarios. Los hallazgos clave incluyen:

• Limitaciones de la Línea Base: Sin recuperación, la política PPO vanilla permaneció estancada durante el 26–67% de los episodios, siendo el escenario de la intersección en T el que mostró la mayor tasa de falla (67.45% de tiempo estancado).
• Efectividad del Sistema Híbrido: El sistema híbrido entrenado causalmente (Condición C) superó significativamente a la línea base vanilla (Condición A) en escenarios complejos. En la intersección en T, la recompensa aumentó un 91.1%, el tiempo de estancamiento disminuyó un 51.8% y el tiempo fuera de la vía cayó un 43.7%.
• Impacto del Entrenamiento Causal (RQ4): El hallazgo más significativo fue que el entrenamiento guiado por la causalidad mejora inherentemente la calidad de la política. En los episodios de "cero recuperación" (donde el módulo de recuperación nunca fue activado), la política entrenada causalmente recorrió un 83% más de distancia y logró un 257% más de recompensa que la línea base. Esto confirma que la política aprendió comportamientos de evasión proactivos en lugar de depender únicamente de la intervención externa.
• Estrategia de Recuperación: La selección clasificada por riesgo causal (Condición D) superó al ciclo heurístico (Condición B) al reducir los intentos de recuperación entre un 28 y 39% y aumentar las tasas de éxito en los escenarios de carretera recta y rotonda.
• Compromisos (Trade-offs): Aunque las maniobras de recuperación aumentaron el número de colisiones (hasta un 606% en algunas comparaciones), la recompensa neta se mantuvo positiva en la comparación completa del sistema (Condición D vs. B) en todos los escenarios, indicando que las ganancias en progreso hacia adelante y velocidad superaron los riesgos de colisión.

Significancia y Reivindicaciones
El artículo sostiene que la fuente principal de mejora en la recuperación de sistemas autónomos es el entrenamiento guiado por la causalidad, no simplemente la presencia de un módulo de recuperación. El estudio demuestra que las políticas de RL estándar entrenadas sin contexto causal no pueden colaborar eficazmente con las intervenciones basadas en reglas, lo que a menudo conduce a bucles contraproducentes. Al integrar la estructura causal en la señal de entrenamiento, CRRL permite que las políticas anticipen estados de estancamiento y ajusten sus acciones para facilitar la recuperación.

Los autores posicionan CRRL como un paso para cerrar la brecha entre el razonamiento causal teórico y los sistemas prácticos de autocuración. Enfatizan que, si bien la implementación actual depende de disparadores diseñados manualmente y muestra limitaciones en la transferencia de simulación a realidad (particularmente respecto a las tasas de colisión), el marco demuestra con éxito que los modelos causales pueden utilizarse para moldear las políticas de RL para un comportamiento cooperativo con componentes críticos de seguridad. El trabajo destaca la necesidad de entrenar a las políticas para "trabajar con" los mecanismos de recuperación en lugar de esperar que funcionen de forma aislada.