Resumen Técnico: Un Regulador Neuronal Basado en el Adjunto para el Control Óptimo en Tiempo Real con Restricciones de Estado

1. Planteamiento del Problema

El control óptimo con restricciones en tiempo real para sistemas no lineales presenta un desafío significativo en la robótica y los sistemas autónomos, lo que requiere que los controladores equilibren el rendimiento con la satisfacción estricta de las restricciones bajo límites computacionales de nivel de milisegundos.

• Control Predictivo Basado en Modelo No Lineal (NMPC): Aunque es efectivo, el NMPC requiere resolver un problema de optimización no lineal con restricciones en línea en cada paso de tiempo. En entornos de seguridad crítica o de dinámica rápida, la optimización repetida y la latencia del solver hacen que este enfoque sea computacionalmente prohibitivo.
• Aprendizaje por Refuerzo (RL): El RL ofrece una inferencia rápida en línea al amortizar la computación en el entrenamiento fuera de línea. Sin embargo, los enfoques estándar de RL (por ejemplo, Soft Actor-Critic) suelen tener dificultades con la eficiencia de muestreo, la generalización a condiciones fuera de la distribución (OOD) y la satisfacción estricta de las restricciones. Los filtros de seguridad comunes (por ejemplo, Funciones de Barrera de Control o CBF) aplicados a las políticas de RL pueden conducir a correcciones conservadoras o agresivas si la política nominal no codifica inherentemente la estructura de optimalidad del problema.

El problema central abordado es el desarrollo de un marco de control que logre la velocidad computacional de los métodos basados en aprendizaje, manteniendo al mismo tiempo la estructura de optimalidad del control óptimo y garantizando las restricciones de seguridad sin la pesada carga de optimización en línea del NMPC.

2. Metodología: Regulador Neuronal Basado en el Adjunto (ANR)

El artículo propone el Regulador Neuronal Basado en el Adjunto (ANR), un marco basado en aprendizaje que aprende una política de co-estado (adjunto) neuronal en lugar de una ley de control directa. Este enfoque se fundamenta en el Principio del Mínimo de Pontryagin (PMP).

A. Arquitectura Central

El marco consta de dos fases: entrenamiento fuera de línea y despliegue en línea.

1. Parametrización del Co-estado (CoNN):

   • Una red neuronal, denominada Red Neuronal de Co-estado (CoNN), mapea el estado actual del sistema $x_i$ a una trayectoria de co-estado de horizonte finito $\hat{\Lambda}_i = \{\hat{\lambda}_0, \dots, \hat{\lambda}_{N-1}\}$.
   • A diferencia del RL, que aprende una política $\pi(u|x)$, la CoNN aprende el mapeo de las variables de estado a las variables adjuntas, las cuales representan la sensibilidad de la función de valor con respecto al estado.

2. Entrenamiento Fuera de Línea:

   • Rollout: Dada una secuencia de co-estado predicha, la secuencia de entrada de control se deriva minimizando el Hamiltoniano punto a punto. Para costos cuadráticos, esto produce una ley de control explícita: $\hat{u}^*_k = -\frac{1}{2}R^{-1}g^\top(x_k)\hat{\lambda}_k$.
   • Función de Pérdida: La red se entrena de extremo a extremo utilizando una pérdida de tres términos:
     • Costo de Etapa: Suma de los costos de ejecución ($x^\top Q x + u^\top R u$) sobre el horizonte.
     • Costo Terminal: Costo en el estado final.
     • Regularización del Co-estado: Una penalización de norma $\ell_1$ sobre la trayectoria del co-estado para fomentar las predicciones de norma mínima.
   • La pérdida se retropropaga a través del rollout del horizonte para actualizar los parámetros de la red.

3. Despliegue en Línea (Control en Tiempo Real):

   • En cada paso de tiempo $t_k$, la CoNN predice una secuencia de co-estado a partir del estado actual $x_k$.
   • Se utiliza el primer co-estado predicho $\hat{\lambda}_{0|k}$ para calcular la entrada de control.
   • Seguridad y Factibilidad: En lugar de una simple proyección, la entrada de control se determina resolviendo un problema de minimización del Hamiltoniano restringido en tiempo real. Esta optimización incorpora:
     • Límites de actuadores ($u \in \mathcal{U}$).
       ar la seguridad de estado impuesta mediante Funciones de Barrera de Control de Alto Orden (HOCBFs).
   • La ley de control resultante es:
     $$u^*_k = \arg \min_{u} (u^\top R u + \hat{\lambda}^\top_{0|k} g(x_k) u)$$
     sujeto a las restricciones de entrada y a las condiciones de HOCBF que garantizan la seguridad.

3. Contribuciones Clave

• Marco Novedoso: Introducción del ANR, que desacopla el aprendizaje de la optimalidad (vía el adjunto) de la imposición de restricciones (vía la minimización restringida en tiempo real).
• Preservación de la Optimalidad: Al aprender el adjunto en lugar de la acción, el marco codifica explícitamente la estructura de optimalidad indirecta del problema de control restringido, evitando las fallas de "nominal-luego-proyectar" de los métodos RL-CBF estándar.
• Seguridad y Factibilidad Unificadas: El método maneja simultáneamente las restricciones duras de estado (vía HOCBFs) y las restricciones de entrada dentro del paso de minimización del Hamiltoniano, asegurando la factibilidad sin requerir una compleja ingeniería de recompensas.
• Eficiencia Computacional: El enfoque logra un rendimiento comparable al NMPC pero con un costo computacional significativamente reducido, reemplazando la optimización no lineal en línea con una única inferencia de red neuronal y un pequeño Programa Cuadrático (QP).

4. Resultados Experimentales

El marco fue evaluado en un modelo de robot uniciclo con dinámica $\dot{x} = v \cos \theta, \dot{y} = v \sin \theta, \dot{\theta} = \omega, \dot{v} = a$, con la tarea de navegar hacia una referencia mientras evita obstáculos circulares. Se realizaron comparaciones contra NMPC (usando IPOPT) y RL (Soft Actor-Critic con filtro de seguridad HOCBF-QP).

Métricas de Rendimiento

• Velocidad Computacional:
  • RL: El más rápido (~0.5 ms).
  • ANR: ~1.2–1.4 ms (aproximadamente 250 veces más rápido que NMPC).
  • NMPC: ~350–1200 ms (dependiendo de la complejidad del escenario).
• Generalización (Fuera de la Distribución - OOD):
  • RL: Falló al generalizar de manera confiable a estados iniciales o referencias no vistas, incluso dentro de la distribución de entrenamiento, logrando tasas de éxito bajas (por ejemplo, 30% en pruebas dentro de la distribución, fallando completamente en pruebas OOD).
  • ANR: Exhibió un rendimiento casi invariante en escenarios no vistos, incluyendo estados iniciales OOD y referencias no nulas. Las tasas de éxito fueron comparables a las de NMPC (por ejemplo, 98% de éxito en escenarios de obstáculos OOD).
• Precisión:
  • El ANR logró Errores de Convergencia Absoluta (ACE) y Derivadas Medias Cuadráticas (MSD) comparables al NMPC, aunque ligeramente superiores al RL en casos dentro de la distribución donde el RL sufrió sobreajuste.
  • En escenarios OOD, el ANR superó significativamente al RL, el cual falló en alcanzar las metas o satisfacer las restricciones.

Hallazgos Específicos

• En escenarios OOD sin obstáculos, el ANR igualó el rendimiento de NMPC con un costo computacional dos órdenes de magnitud menor.
• En escenarios con abundantes obstáculos, el ANR mantuvo altas tasas de éxito (98% en pruebas de obstáculos densos aleatorios) donde el RL falló.
• El ANR manejó con éxito tareas de seguimiento de referencia con valores no nulos en entornos OOD, un escenario donde los baselines de RL no fueron evaluados debido a su pobre desempeño previo.

5. Significación y Reivindicaciones

El artículo afirma que el marco ANR logra cerrar la brecha entre la eficiencia computacional del control basado en aprendizaje y las garantías rigurosas de optimalidad y seguridad del control óptimo.

• Significación: El método ofrece una alternativa viable al NMPC para aplicaciones que requieren decisiones de control de nivel de milisegundos, como sistemas de dinámica rápida y robótica de seguridad crítica, donde la optimización repetida en línea es prohibitiva.
• Robustez: A diferencia del RL estándar, que a menudo requiere una extensa ingeniería de recompensas y lucha con la generalización, el ANR aprovecha las propiedades estructurales del PMP para generalizar efectivamente a condiciones iniciales y referencias no vistas.
• Seguridad: Al integrar las HOCBFs directamente en la minimización del Hamiltoniano, el marco garantiza la satisfacción estricta de las restricciones de estado y de entrada sin las limitaciones estructurales de los filtros de seguridad post-hoc aplicados a políticas nominales no óptimas.

Los autores concluyen que el enfoque propuesto alcanza un rendimiento a la par con el NMPC a una fracción de su costo computacional, mientras que supera significativamente al RL en regímenes fuera de la distribución de entrenamiento. El trabajo futuro se identifica como la extensión del marco a obstáculos dinámicos y sistemas de mayor dimensión.