Free Final Time Adaptive Mesh Covariance Steering via Sequential Convex Programming

1. Problema Abordado

El trabajo se centra en el problema de Dirigimiento de Covarianza (Covariance Steering - CS) para sistemas dinámicos no lineales gobernados por Ecuaciones Diferenciales Estocásticas (SDEs) que incluyen tanto ruido aditivo como multiplicativo.

Los desafíos principales identificados son:

• Tiempo Final Libre: El objetivo es minimizar el tiempo final ($t_f$) del sistema, lo cual introduce una variable de decisión no lineal y acopla la duración del horizonte con la propagación de la incertidumbre.
• Ruido Multiplicativo: En muchas aplicaciones (como la entrada atmosférica o la propulsión dependiente del estado), la difusión del ruido depende del estado y/o del control. Esto hace que la propagación de la covarianza sea no lineal y que las distribuciones de probabilidad no sean estrictamente gaussianas, complicando la formulación de restricciones de probabilidad (chance constraints).
• Malla Temporal Fija vs. Adaptativa: Los métodos tradicionales de Programación Convexa Secuencial (SCP) utilizan mallas temporales fijas. Sin embargo, para optimizar el tiempo final y la precisión de la covarianza, es necesario adaptar la densidad de la discretización temporal.

El objetivo es encontrar una política de control de retroalimentación (feedback) que minimice el tiempo final regularizado, garantizando que la distribución del estado termine en una media y covarianza deseadas, y satisfaciendo restricciones de probabilidad en el estado y el control a lo largo de la trayectoria.

2. Metodología Propuesta

El autor propone un marco basado en Programación Convexa Secuencial (SCP), específicamente una variante iterativa de dirigimiento de covarianza (FFT-iCS). La metodología se desglosa en los siguientes pasos clave:

A. Normalización Temporal y Variables de Dilatación

Para manejar el tiempo final libre, el horizonte de tiempo $[0, t_f]$ se mapea a un intervalo fijo $\tau \in [0, 1]$. Se introducen variables de dilatación temporal por intervalo ($\sigma_k$) que permiten que el paso de tiempo físico varíe entre nodos de la malla, manteniendo fija la malla en el tiempo normalizado. Esto convierte el problema de tiempo libre en uno de optimización de la densidad temporal.

B. Linealización Exacta de Primer Orden

A diferencia de métodos anteriores que "congelan" la difusión (ruido multiplicativo) en la referencia, este trabajo deriva una linealización exacta de primer orden de la SDE normalizada.

• Se preserva la dependencia de la difusión con respecto a la variable de dilatación temporal ($\sqrt{\sigma_\tau}$).
• Esto resulta en un modelo lineal estocástico local que mantiene la estructura de ruido multiplicativo, crucial para la precisión en la propagación de la covarianza.

C. Discretización y Propagación de Momentos

Se utiliza una discretización de orden cero (ZOH) para el control y la dilatación temporal.

• Aproximación de la Integral Estocástica: Se propone una aproximación donde el integrando de la difusión se "congela" en el extremo izquierdo del intervalo y se proyecta sobre un integrando constante promedio.
• Errores de Discretización: Se demuestran cotas de error cuadrático medio (MSE). El error de congelación es $O(\Delta \tau^2)$ y el error de proyección es $O(\Delta \tau^3)$, lo cual es significativamente más preciso que los métodos que congelan la difusión antes de la linealización (error $O(\Delta \tau)$).
• Se derivan ecuaciones recursivas exactas para la propagación de la media y la covarianza, considerando el acoplamiento entre la covarianza del estado y la del control.

D. Reducción Convexa y Relajaciones

El problema resultante contiene no convexidades debido al acoplamiento entre la covarianza y la ganancia de retroalimentación, así como a las restricciones de probabilidad.

• Relajación LMI (Lossless): Se introducen variables de elevación (lifting) y se utilizan relajaciones de Schur complement para convertir las relaciones no lineales en restricciones de Semidefinida Positiva (SDP). Se prueba que, bajo una regularización adecuada, estas relajaciones son sin pérdida (lossless), es decir, la solución del problema relajado coincide con la del problema original.
• Restricciones de Probabilidad: Se utilizan restricciones de probabilidad robustas distribucionalmente (DR-CC) basadas en el conjunto de ambigüedad de Chebyshev (usando solo los dos primeros momentos). Estas se convierten en restricciones cónicas mediante variables auxiliares y linealización de primer orden.

E. Algoritmo SCvx*

El problema se resuelve iterativamente utilizando el algoritmo SCvx*, que incluye:

• Virtual controls para manejar la factibilidad artificial.
• Regiones de confianza (trust regions) para garantizar la convergencia.
• Actualización de multiplicadores de Lagrange aumentados para asegurar la exactitud asintótica.

3. Contribuciones Clave

1. Primera Formulación FFT-CS: Es la primera formulación de dirigimiento de covarianza con tiempo final libre para SDEs no lineales con ruido multiplicativo, optimizando simultáneamente la política de control y la malla temporal.
2. Linealización Exacta con Dilatación Temporal: Derivación de un modelo lineal estocástico local que preserva la dependencia de la difusión con la dilatación temporal, mejorando la precisión de la propagación de momentos.
3. Método de Solución Tractable: Desarrollo de un método basado en SCvx* que incorpora relajaciones convexas sin pérdida para el dirigimiento de covarianza con ruido multiplicativo y restricciones de probabilidad convexas.
4. Análisis de Error: Demostración teórica de que la nueva discretización reduce el error de propagación de un orden de magnitud en comparación con los métodos de "difusión congelada" tradicionales.

4. Resultados Numéricos

El método se validó mediante experimentos numéricos en un doble integrador no lineal sujeto a fuerzas de arrastre (drag) y difusión dependiente de la velocidad.

• Minimización del Tiempo Final: Se demostró que el algoritmo puede reducir efectivamente el tiempo final ajustando las variables de dilatación temporal. A medida que aumenta el peso en la minimización del tiempo ($\eta$), el tiempo final óptimo disminuye hasta alcanzar el límite de factibilidad.
• Comparación con Ruido Multiplicativo:
  • Se comparó el método propuesto (linealización completa de difusión) contra un método de referencia que congela la difusión.
  • Precisión: El método propuesto logró una precisión en la propagación de la covarianza un 95% superior. Mientras el método de difusión congelada resultó en una covarianza terminal con un error significativo respecto a la simulación de Monte Carlo real, el método propuesto mantuvo la covarianza dentro de los límites deseados.
  • Convergencia: El método propuesto convergió en menos iteraciones (16 vs 33) y con mayor estabilidad en presencia de ruido multiplicativo fuerte.
• Validación de Monte Carlo: Las simulaciones de Monte Carlo confirmaron que las trayectorias reales del sistema no lineal cumplen con las restricciones de probabilidad y la covarianza terminal especificada, validando la efectividad de las relajaciones convexas.

5. Significado e Impacto

Este trabajo representa un avance significativo en la teoría de control estocástico y la optimización de trayectorias:

• Superación de Limitaciones Anteriores: Resuelve el problema de la inexactitud acumulada en la propagación de covarianza cuando se utiliza ruido multiplicativo en esquemas de SCP, un problema que había limitado la aplicación de estos métodos a sistemas de alta precisión.
• Eficiencia Computacional: Al permitir la optimización simultánea de la malla temporal y el control, ofrece una herramienta más eficiente para problemas de misión donde el tiempo es un recurso crítico (ej. maniobras de proximidad de naves espaciales, reentrada atmosférica).
• Aplicabilidad Práctica: La capacidad de manejar restricciones de probabilidad y ruido dependiente del estado hace que este marco sea ideal para aplicaciones aeroespaciales y robóticas donde la incertidumbre es inherentemente no aditiva.

En conclusión, el artículo proporciona un marco matemático riguroso y computacionalmente eficiente para resolver problemas de control óptimo estocástico complejos, cerrando la brecha entre la teoría de dirigimiento de covarianza y las necesidades de optimización de tiempo final en sistemas no lineales reales.