An LLM-Explainable DRL Framework for Passenger-Directed Autonomous Driving

Resumen Técnico: Un Marco de DRL Explicable mediante LLM para la Conducción Autónoma Dirigida por el Pasajero

Planteamiento del Problema
A pesar de los avances en la percepción y el control de los vehículos autónomos (VA), la confianza del público sigue siendo limitada debido a la naturaleza de "caja negra" de los sistemas de toma de decisiones. Los pasajeros carecen de transparencia sobre por qué un VA realiza acciones específicas, particularmente en situaciones críticas. Los enfoques actuales de IA Explicable (XAI) están predominantemente orientados al desarrollador, basándose en representaciones visuales o trazas técnicas de reglas que no son accesibles para usuarios no expertos. Además, los marcos actuales rara vez integran comandos de voz de los pasajeros en tiempo real directamente en el bucle de control, proporcionando simultáneamente justificaciones en lenguaje natural cuando las restricciones de seguridad requieren anular dichos comandos.

Metodología
Los autores proponen un marco híbrido que opera dentro de un simulador de tráfico microscópico SUMO, el cual integra el Aprendizaje por Refuerzo Profundo (DRL) para el control adaptativo con Modelos de Lenguaje de Gran Escala (LLM) para la interacción con el pasajero y la explicabilidad. La arquitectura del sistema consta de cuatro subsistemas principales:

1. Entorno de Simulación: Un escenario de carretera urbana de dos vías que presenta intersecciones semaforizadas, cruces peatonales no semaforizados y flujos de tráfico variables. La intención del pasajero se abstrae en tres comandos discretos: rápido (fast), confort (comfort) y detenerse (stop).
2. Interpretación de Comandos (LLM-1): Utilizando GPT-4.1-mini, este módulo transcribe las solicitudes habladas del pasajero (directas o indirectas) y las reformula en una instrucción de conducción confirmada e inequívoca (conducir más rápido, conducir con más cuidado o detenerse). Produce una clase numérica (0, 1 o 2) para el agente de control.
3. Núcleo de Conducción Autónoma (DRL): La política de control se modela como un Proceso de Decisión de Markov (MDP) utilizando una Red Q-Dueling Doble Profunda (D3QN).
   • Espacio de Estados: Un vector de 8 dimensiones que incluye el comando del pasajero, la velocidad del ego, el límite de velocidad, la distancia de seguimiento, la velocidad relativa, la distancia/estado del semáforo y la distancia al cruce de peatones.
   • Espacio de Acciones: Ajustes discretos de velocidad longitudinal que oscilan entre -3 y +3 m/s.
   • Funciones de Recompensa: Se definen tres estructuras de recompensa distintas para los modos de conducción:
     • Rápido (Fast): Prioriza la eficiencia y el cumplimiento del límite de velocidad manteniendo la seguridad (Tiempo para la Colisión > 2s).
     • Confort (Comfort): Prioriza la suavidad penalizando el jerk elevado y favoreciendo distancias de seguimiento conservadoras.
     • Detenerse (Stop): Impone un frenado inmediato con altas penalizaciones por mantener la velocidad.
   • Mecanismo de Seguridad: Se utiliza un enfoque de líder virtual para asegurar la detención ante semáforos en rojo y cruces peatonales, reemplazando los umbrales rígidos de distancia por una lógica de seguimiento de vehículos que garantiza el cumplimiento de las normas.
4. Pipeline de Explicabilidad (LLM-2 y LLM-3):
   • Módulo de Decisión (LLM-2): Evalúa la acción actual del vehículo frente a la solicitud del pasajero y el estado del entorno. Activa una explicación solo si existe un conflicto (por ejemplo, desacelerar a pesar de una solicitud de "rápido" debido a un semáforo en rojo).
   • Generador de Explicaciones (LLM-3): Genera justificaciones concisas y tranquilizadoras de una o dos frases en lenguaje natural cuando se detecta un conflicto, centrándose en el factor más relevante para la seguridad (por ejemplo, "aproximándose a un semáforo").

Contribuciones Clave

1. Pipeline de XAI Orientado al Pasajero: Una integración novedosa de LLM con DRL que traduce las solicitudes de lenguaje natural de los pasajeros en políticas de control y genera explicaciones contextuales para usuarios no expertos.
2. Agente D3QN Multimodo: Un agente entrenado capaz de cambiar sin interrupciones entre los modos rápido, confort y detenerse dentro de un mismo viaje, adhiriéndose a las normas de tráfico y las restricciones de seguridad.
3. Mecanismo de Detección de Conflictos: Un módulo basado en LLM que determina dinámicamente cuándo es necesaria una explicación, activándola específicamente cuando las restricciones de seguridad anulan la intención del pasajero, equilibrando así la adaptabilidad con la transparencia.

Resultados
El marco fue evaluado durante 11,000 episodios de entrenamiento y 25 episodios de prueba a través de diversas densidades de tráfico (de 0.5x a 1.5x del flujo base).

• Desempeño del DRL: Tanto los agentes rápido como confort demostraron un aprendizaje estable y una operación libre de colisiones.
  • El agente rápido logró una velocidad promedio de 4.508 m/s con un Tiempo de Seguimiento (TH) promedio de 2.998s y un Tiempo para la Colisión (TTC) de 5.603s.
  • El agente confort logró una velocidad promedio ligeramente inferior (4.396 m/s) pero mantuvo un TH significativamente mayor (6.373s) y un jerk menor (0.205 m/s³), confirmando un comportamiento de conducción más suave.
  • Ambos agentes ejecutaron con éxito los comandos de parada de emergencia, anulando sus respectivos modos de conducción sin inestabilidad.
• Desempeño del LLM:
  • Interpretación de Comandos (LLM-1): Alcanzó una precisión del 96.9% en un conjunto de datos de 33 solicitudes, con una precisión perfecta para la clase rápido. Un error consistió en clasificar erróneamente una solicitud de detenerse como confort.
  • Decisión y Explicación (LLM-2/3): La evaluación cualitativa mostró que el sistema activó correctamente las explicaciones para las desviaciones impulsadas por la seguridad (por ejemplo, frenar ante un semáforo en rojo) y generó justificaciones apropiadas y tranquilizadoras. El sistema evitó eficazmente las explicaciones redundantes para ajustes menores y esperados.

Significancia y Reivindicaciones
El artículo presenta este trabajo como una prueba de concepto que demuestra la viabilidad de integrar el control de conducción basado en DRL con la interacción con el pasajero impulsada por LLM. Los autores afirman que este marco logra cerrar la brecha entre el rendimiento de los VA y la confianza pública al proporcionar un sistema que es seguro, adaptable a las preferencias del usuario y explicable.

El estudio destaca que el marco es más efectivo cuando debe explicar por qué la solicitud de un pasajero (por ejemplo, "conducir más rápido") se retrasa o se anula debido a las restricciones de seguridad. Los autores señalan explícitamente las limitaciones, incluyendo la dependencia de la simulación (SUMO), la falta de métricas estandarizadas para la evaluación de explicaciones en tiempo real y el potencial de alucinaciones de los LLM. Por consiguiente, enmarcan su trabajo como un paso fundamental hacia futuras extensiones que involucren el control lateral (cambio de carril) y el despliegue en el mundo real, en lugar de una solución plenamente madura lista para su uso comercial inmediato.