Multistep Belief Space Dynamics Learning For Risk-Aware Control

Resumen Técnico: Aprendizaje de Dinámicas del Espacio de Creencias Multietapa para Control Consciente del Riesgo

Enunciado del Problema
A medida que los vehículos autónomos transitan desde entornos de investigación controlados hacia implementaciones prácticas en el mundo real, existe una brecha significativa entre el comportamiento de conducción humana y el rendimiento de los sistemas autónomos, particularmente en entornos fuera de carretera no estructurados. Los sistemas actuales de planificación y control a menudo luchan contra la incertidumbre dinámica, lo que conduce a un comportamiento excesivamente conservador o a fallos agresivos. El desafío central es predecir cómo evoluciona la incertidumbre dinámica a lo largo del tiempo y optimizar planes que tengan en cuenta esta evolución sin depender de heurísticas excesivas o de ajustes manuales. Los métodos existentes, como el control basado en muestreo Model Predictive Path Integral (MPPI), a menudo carecen de una propagación robusta de la incertidumbre o no logran generalizar a través de terrenos y condiciones diversos.

Metodología
Los autores proponen una arquitectura de planificación consciente del riesgo basada en Control Predictivo de Modelo (MPC) que integra un modelo de dinámicas distribucionales aprendido. El enfoque combina ecuaciones físicas paramétricas con componentes de redes neuronales para crear una arquitectura híbrida.

• Aprendizaje de Dinámicas Distribucionales: El sistema modela las dinámicas del vehículo como un sistema no lineal de tiempo discreto donde la incertidumbre se representa como una distribución gaussiana. Las dinámicas se aproximan mediante una función paramétrica $\hat{f}$ (basada en física conocida como modelos de neumáticos y cinemática) aumentada por un término de compensación aprendido $\zeta$ (una red neuronal).

  • Predicción de la Media: La dinámica media se predice en el espacio de fuerzas en lugar del espacio de estados para aprovechar transformaciones geométricas y mejorar la precisión. Una arquitectura híbrida utiliza LSTMs Inicializadas (I-LSTMs), donde una red de inicialización predice los estados ocultos y de celda de una red predictora basándose en búferes históricos.
  • Propagación de la Incertidumbre: La matriz de ruido del proceso $\hat{Q}$ se predice utilizando un enfoque estructurado. Se divide en un componente estructurado (derivado de ecuaciones paramétricas y jacobianos) y un componente no estructurado (predicho como una matriz superior-diagonal). Esto asegura que la incertidumbre aprendida respete las relaciones físicas entre las variables.
  • Aproximación de Lazo Cerrado: Para prevenir incertidumbres excesivamente grandes al final de la trayectoria (un problema común con las predicciones de lazo abierto), el sistema aplica ganancias de retroalimentación al jacobiano del estado durante la ejecución, aproximando heurísticamente la reducción de la incertidumbre de lazo cerrado.

• Arquitectura de Control (MPPI): La pila de planificación utiliza MPPI Coloreado, un optimizador estocástico basado en muestreo.

  • Transformación Unscented: Para manejar funciones de costo no lineales sin la sobrecarga del muestreo de Monte Carlo, el sistema emplea la Transformación Unscented (UT). Esto genera un conjunto de puntos sigma a partir del estado de creencia gaussiano, los cuales se propagan a través de las dinámicas y las funciones de costo en paralelo en una GPU.
  • Medida de Riesgo: El costo de una trayectoria se evalúa utilizando el Valor en Riesgo Condicional (CVaR) o el costo máximo de los puntos sigma, en lugar de solo la media. Esto permite que el sistema penalice directamente los resultados de alto riesgo.
  • Función de Costo: La función de costo incluye costos de transitabilidad basados en celdas de cuadrícula, restricciones basadas en física (por ejemplo, riesgo de vuelco, fuerzas de suspensión), penalizaciones suaves para comportamientos agresivos (deslizamiento, aceleración) y límites de velocidad derivados de la geometría del terreno.

Contribuciones Clave

1. Marco Novel: Un marco computacionalmente eficiente para aprender dinámicas distribucionales en sistemas no lineales generales, combinando estructura paramétrica con compensación de red neuronal.
2. Estudio de Ablación Riguroso: Un análisis exhaustivo sobre un gran conjunto de datos de conducción fuera de carretera en el mundo real. Este estudio evalúa el impacto de las elecciones estructurales (por ejemplo, predicción en espacio de fuerzas, modelado de ruido híbrido, redes de inicialización) y demuestra que el aprendizaje estructurado supera significativamente a los enfoques puramente aprendidos o no estructurados.
3. Validación en Hardware: Despliegue del modelo aprendido y la pila de planificación en un vehículo Polaris S4 1000 RZR de tamaño completo. El sistema navegó con éxito millas de terreno fuera de carretera diverso y desafiante sin intervención, demostrando un comportamiento emergente consciente del contexto.

Resultados

• Hallazgos de Ablación: El estudio reveló que predecir dinámicas en el espacio de fuerzas y utilizar una estructura híbrida para el ruido del proceso (combinando jacobianos paramétricos con componentes aprendidos) arrojó el mejor rendimiento. También se encontró que inicializar los estados ocultos del LSTM basándose en el contexto histórico mejoró significativamente la precisión de la predicción de la media, mientras que el tamaño específico de la red de inicialización tuvo un impacto mínimo.
• Rendimiento en Hardware: El vehículo demostró una regulación inteligente de la velocidad, conduciendo agresivamente en áreas abiertas y reduciendo la velocidad en entornos restringidos o inciertos.
  • Recorrido Largo: El sistema completó un recorrido de 3.5 km en aproximadamente 8.7 minutos, promediando 6.2 m/s, adaptándose a terrenos variados que incluían vegetación densa, zanjas y pendientes.
  • Estudios de Caso: En escenarios específicos, como navegar por espacios estrechos entre árboles y zanjas, el planificador consciente de la incertidumbre redujo la velocidad del vehículo para hacer pasar la elipse de incertidumbre a través del espacio, evitando vuelcos que ocurrieron con sistemas anteriores basados en heurísticas. Por el contrario, en barro abierto, el sistema mantuvo altas velocidades y se recuperó de deslizamientos sin detenerse, ya que la penalización de riesgo estaba vinculada a la colisión con obstáculos y no a la mera presencia de incertidumbre.
  • Ajuste de Riesgo: Los experimentos mostraron que ajustar el parámetro de inflación de incertidumbre ($c_\sigma$) influyó directamente en la agresividad. Un $c_\sigma$ más bajo resultó en velocidades promedio más altas (10.75 m/s frente a 9.5 m/s) en senderos, demostrando la capacidad del sistema para intercambiar riesgo por velocidad basándose en un solo parámetro.

Significado
El artículo afirma que la arquitectura propuesta proporciona una configuración única y unificada capaz de manejar millas de conducción fuera de carretera diversa sin la necesidad de reajuste específico del entorno o cambio de modo explícito. Al aprender dinámicas distribucionales que son direccionales y específicas para las restricciones de control, el sistema logra un nivel de comportamiento consciente del riesgo que imita la conducción humana: regulando naturalmente la velocidad basándose en la complejidad ambiental. El trabajo destaca que incorporar aproximaciones principistas (restricciones basadas en física) con incertidumbre aprendida permite una generalización robusta frente al ruido y la complejidad del mundo real, un paso crítico hacia el despliegue de sistemas autónomos en respuesta a desastres, agricultura y exploración extraterrestre.