Resumen Técnico: Control Adaptativo en la Conducción Autónoma mediante Aprendizaje por Refuerzo Recurrente en Tiempo Real

Enunciado del Problema

Las políticas de control basadas en aprendizaje para la conducción autónoma suelen fallar al desplegarse en entornos que difieren de sus datos de entrenamiento. Estos "cambios de distribución"—causados por alteraciones sutiles en la dinámica del sistema, las características de los sensores o las condiciones ambientales—pueden provocar una degradación catastrófica del rendimiento. Los paradigmas tradicionales de aprendizaje offline, donde las políticas se entrenan una sola vez y se despliegan sin adaptación, son insuficientes para estos entornos del mundo real no estacionarios. Si bien se requiere adaptación en línea, los métodos existentes a menudo dependen del meta-aprendizaje (que requiere datos de tareas específicas), la adaptación en tiempo de prueba (que se basa en recompensas diseñadas a mano) o el aprendizaje por refuerzo en línea convencional, que introduce latencia al esperar episodios completos o mini-lotes antes de actualizar. Además, el aprendizaje en línea estándar en redes recurrentes a menudo requiere la retropropagación a través del tiempo (BPTT), lo cual es intensivo en memoria y biológicamente implausible.

Metodología

Los autores proponen una tubería de aprendizaje híbrida que combina el clonaje conductual offline con el Aprendizaje por Refuerzo Recurrente en Tiempo Real (RTRRL) en línea. Este enfoque permite que las políticas se adapten continuamente en cada paso de tiempo sin reentrenar desde cero ni acceder a grandes conjuntos de datos offline.

Algoritmo Central: RTRRL

RTRRL es un algoritmo eficiente en memoria y biológicamente plausible que actualiza los parámetros de la política en cada paso de tiempo utilizando un pase solo hacia adelante, eliminando la necesidad de BPTT.

• Cálculo del Gradiente: En lugar de BPTT, el marco utiliza el aprendizaje Recurrente en Tiempo Real (RTRL) o el aprendizaje Local Aleatorio de Retroalimentación en Línea (RFLO). Estos métodos calculan los gradientes en línea utilizando trazas de elegibilidad y aproximaciones jacobianas. RFLO, en particular, impone la localidad y la plausibilidad biológica al utilizar matrices de retroalimentación aleatorias fijas, reduciendo la complejidad de $O(n^3)$ a $O(n^2)$.
• Objetivo de Aprendizaje: El algoritmo combina el aprendizaje de diferencia temporal (TD) con trazas de elegibilidad (TD($\lambda$)) para manejar recompensas retardadas. Actualiza las redes de actor y crítico basándose en el error TD $\delta_t = r_t + \gamma\hat{v}(h_{t+1}) - \hat{v}(h_t)$.
• Arquitectura: Los autores emplean Redes Neuronales Recurrentes (RNN) separadas para la política (actor) y la función de valor (crítico), en lugar de una base compartida. El actor recibe observaciones codificadas y genera una distribución de acciones, mientras que el crítico estima el valor del estado.

Integración del Modelo: LrcSSM

Una extensión metodológica clave en este trabajo es la integración de Modelos de Espacio de Estado de Resistencia Líquida-Capacitancia Líquida (LrcSSM) en el marco RTRRL.

• Características de LrcSSM: A diferencia de las Unidades Recurrentes Lineales (LRU), que utilizan dinámicas puramente lineales, o las RNN de Tiempo Continuo estándar (CT-RNN) con constantes de tiempo fijas, los LrcSSM introducen constantes de tiempo no lineales dependientes de la entrada y del estado. Esto permite que las neuronas adapten su comportamiento temporal dinámicamente.
• Estructura Diagonal: Los LrcSSM mantienen una estructura diagonal, lo que permite el cálculo exacto de los gradientes RTRL sin la pérdida de rendimiento típicamente asociada con las aproximaciones, haciéndolos computacionalmente eficientes para el aprendizaje en línea.

Tubería de Entrenamiento

1. Pre-entrenamiento Offline: Una política se entrena primero mediante clonaje conductual en un conjunto de datos de demostraciones humanas. Esto implica un codificador convolucional (autoencoder para la reconstrucción de imágenes) y una red de política recurrente.
2. Ajuste Fino en Línea: La política pre-entrenada se despliega y se ajusta fino en tiempo real utilizando RTRRL. Para evitar el sobreajuste durante el ajuste fino en un solo entorno (tamaño de lote efectivo de 1), se añade una penalización por cambio de parámetros ($L_\theta = \beta ||\theta_{pre} - \theta_t||^2$) a la función de pérdida.

Configuración Experimental

El enfoque se validó en dos configuraciones distintas:

1. Simulación (CarRacing): Un entorno modificado de OpenAI Gym donde los agentes deben seguir la línea central de una pista. El entorno incluye una penalización por desviación de las ruedas.
2. Mundo Real (RoboRacer): Un vehículo autónomo a escala 1:10 equipado con un Sensor de Visión Dinámica (DVS) (cámara de eventos). La tarea es el seguimiento de línea. Esta configuración es notable por utilizar visión basada en eventos (capturando cambios de intensidad en lugar de fotogramas) en hardware no espigante estándar.

Resultados Clave

Simulación (CarRacing)

• Rendimiento: Todos los tipos de modelos (CT-RNN, LRU, LrcSSM) mostraron una mejora significativa después del ajuste fino en línea en comparación con sus líneas base pre-entrenadas.
• Superioridad de LrcSSM: Las políticas basadas en LrcSSM demostraron la mejora más rápida y consistente a través de diferentes semillas aleatorias y pistas.
• Adaptación: Las políticas ajustadas fino se adaptaron con éxito a cambios de distribución, como un desplazamiento simulado del ángulo de dirección, recuperando niveles de rendimiento comparables a las recompensas iniciales.

Despliegue en el Mundo Real (Seguimiento de Línea)

• Éxito con Cámara de Eventos: Este trabajo presenta la primera demostración de ajuste fino de RL en línea utilizando observaciones de cámaras de eventos en hardware estándar en un entorno de control de bucle cerrado.
• Fallo y Éxito del Modelo:
  • Fallo de LRU: Los modelos LRU pre-entrenados no lograron aprender una política efectiva de seguimiento de línea, siendo incapaces de completar una sola vuelta sin intervención. Los autores hipotetizan que la recurrencia puramente lineal de los LRU es insuficiente para capturar las transiciones discontinuas, similares a umbrales, inherentes a los datos de fotogramas de eventos (cambio entre estados de línea visible y línea ausente).
  • Éxito de LrcSSM: En contraste, los LrcSSM aprendieron la tarea con éxito. Los autores atribuyen esto a la dinámica de estado no lineal de los LrcSSM, que es esencial para manejar las características específicas del control basado en eventos, manteniendo al mismo tiempo la estructura diagonal necesaria para el cálculo eficiente de gradientes.
• Robustez: El sistema se adaptó a cambios de distribución del mundo real, incluido un desplazamiento de ángulo de dirección de 0.1 rad y perturbaciones visuales causadas por la luz solar ambiental. La recompensa se degradó inicialmente tras el desplazamiento, pero se recuperó a los niveles previos al desplazamiento en pocas vueltas.

Significado y Afirmaciones

El artículo afirma varios logros pioneros y contribuciones significativas al campo del control autónomo:

1. Primera Aplicación de LrcSSM en RL en Línea: Esta es la primera aplicación de LrcSSM dentro de un entorno de aprendizaje por refuerzo en línea, demostrando su viabilidad como reemplazo directo de los LRU que ofrece una expresividad superior.
2. Tubería de Aprendizaje Híbrida: El trabajo propone la primera tubería que combina el clonaje conductual offline con el ajuste fino RTRRL en tiempo real en línea, permitiendo la adaptación continua a entornos no estacionarios sin reentrenamiento completo.
3. Viabilidad en Sistemas Embebidos: Los resultados validan que los algoritmos de aprendizaje en línea en tiempo real biológicamente plausibles son factibles en sistemas robóticos embebidos (RoboRacer) sin requerir chips neuromórficos especializados.
4. Control en Línea Basado en Eventos: Presenta la primera aplicación de aprendizaje automático de alta frecuencia, no espigante, de ajuste fino en línea utilizando observaciones de cámaras de eventos en un entorno de control de bucle cerrado.
5. Sinergia de Bio-Inspiración: El artículo muestra la sinergia entre sensores bio-inspirados (cámaras de eventos), modelos recurrentes bio-inspirados (LrcSSM) y reglas de aprendizaje biológicamente plausibles (RTRRL/RFLO).

Los autores concluyen que, si bien el control basado en aprendizaje es vulnerable a los cambios de distribución, el enfoque propuesto basado en RTRRL permite que las políticas desplegadas mantengan el rendimiento mediante la adaptación continua en tiempo real, con los LrcSSM emergiendo como la arquitectura más efectiva para este propósito.