Lecture Note for Bounded Controls in Continuous-Time and Control of Several Variables

A continuación presento un resumen técnico detallado de las notas de la conferencia titulada "Lecture Note for Bounded Controls in Continuous-Time and Control of Several Variables", escritas por Louis Shuo Wang.

1. Planteamiento del Problema

El documento aborda problemas de control óptimo en tiempo continuo donde las variables de control están sujetas a restricciones de caja (box constraints). A diferencia de los problemas clásicos donde el control puede tomar cualquier valor en $\mathbb{R}^m$, en aplicaciones reales (biológicas, epidemiológicas, económicas e ingenieriles) el control $u(t)$ está acotado en un conjunto compacto $U$:
$$u(t) \in U \subset \mathbb{R}^m, \quad U = [a_1, b_1] \times \dots \times [a_m, b_m].$$

El objetivo es maximizar (o minimizar) un funcional de tipo Bolza:
$$J(u) = \int_{t_0}^{t_1} f(t, x(t), u(t)) \, dt + \phi(x(t_1))$$
sujeto a la dinámica del sistema $\dot{x} = g(t, x, u)$ y a las restricciones de control. El problema central es determinar cómo modificar las condiciones de optimalidad cuando el control no puede variar libremente, sino que debe respetar sus límites físicos o regulatorios en todo momento.

2. Metodología

El autor desarrolla una teoría de primer orden basada en el Principio del Máximo de Pontryagin (PMP), adaptándolo rigurosamente para conjuntos de control compactos. La metodología se estructura en dos partes principales:

• Parte I: Control Escalar y Restricciones de Caja:

  • Se redefine la condición de optimalidad: en lugar de resolver simplemente $\frac{\partial H}{\partial u} = 0$ (condición de estacionariedad), el control óptimo debe maximizar el Hamiltoniano punto a punto sobre el conjunto admisible $U$.
  • Se derivan condiciones de signo complementarias para controles escalares: si el control está en el límite inferior, la derivada del Hamiltoniano debe ser negativa; si está en el superior, positiva; y si está en el interior, cero.
  • Se introduce la fórmula de proyección para Hamiltonianos cuadráticos, demostrando que el control óptimo es la proyección del control "ideal" no restringido sobre el intervalo admisible.
  • Se analiza la estructura "Bang-Bang" cuando el Hamiltoniano es afín en el control.

• Parte II: Sistemas Multi-Estado y Multi-Control:

  • Se generaliza el formalismo a vectores de estado $x \in \mathbb{R}^n$ y control $u \in \mathbb{R}^m$.
  • Se discuten técnicas de reducción de problemas, como la eliminación de estados superfluos o la conversión de restricciones isoperimétricas (integrales) en restricciones de punto final mediante la introducción de estados auxiliares.
  • Se presenta una solución analítica cerrada para el Regulador Lineal Cuadrático (LQR) de horizonte finito, derivando la ecuación diferencial de Riccati.
  • Se aborda la reducción de ecuaciones diferenciales de orden superior a sistemas de primer orden para aplicar el PMP.

3. Contribuciones Clave

El documento ofrece varias contribuciones teóricas y prácticas fundamentales:

1. Corrección de un Error Común (Post-hoc Truncation): El autor enfatiza vigorosamente que no es correcto resolver el sistema de optimalidad sin restricciones y luego "recortar" (clipping) la solución para que cumpla los límites. Esto es incorrecto porque las restricciones alteran la dinámica acoplada de los estados y las variables adjuntas (costates). La proyección debe ocurrir dentro del sistema de optimización en cada iteración.
2. Fórmula de Proyección Exacta: Para Hamiltonianos cuadráticos estrictamente cóncavos/convexos, se demuestra que el control óptimo restringido es exactamente:
   $$u^*(t) = \text{clamp}_{[a,b]}(\tilde{u}(t)) = \min\{b, \max\{a, \tilde{u}(t)\}\}$$
   donde $\tilde{u}(t)$ es el maximizador no restringido. Esto no es una heurística numérica, sino la solución analítica exacta del problema de maximización punto a punto.
3. Implementación Numérica (Forward-Backward Sweep): Se detalla cómo incorporar las restricciones de caja en el método de barrido hacia adelante y hacia atrás (FBSM). En cada iteración, el control se actualiza proyectando la solución no restringida sobre el conjunto admisible antes de aplicar el amortiguamiento (damping).
4. Tratamiento de Restricciones Isoperimétricas: Se muestra sistemáticamente cómo transformar restricciones integrales en restricciones de punto final mediante un estado auxiliar, permitiendo su tratamiento estándar dentro del marco de PMP sin multiplicadores de Lagrange funcionales externos.
5. Conexión con Conos Normales: Para controles multivariables, se presenta la condición de optimalidad en términos de desigualdades variacionales y conos normales, proporcionando una interpretación geométrica clara de la saturación de múltiples restricciones simultáneamente.

4. Resultados Principales

• Estructura de la Solución: Para problemas con restricciones de caja, la trayectoria óptima del control a menudo exhibe una estructura de tres fases: saturación en el límite superior, arco interior (donde el control sigue la ley de retroalimentación no restringida) y saturación en el límite inferior.
• Ecuación de Riccati: Para el caso LQR, se confirma que la solución óptima es una ley de retroalimentación lineal del estado $u^*(t) = -R^{-1}B^T S(t)x(t)$, donde $S(t)$ satisface la ecuación diferencial de Riccati.
• Condiciones de Frontera: Se clarifican las condiciones de transversalidad para estados terminales libres, fijos o con restricciones, y cómo estas interactúan con las restricciones de control.
• Análisis de Singularidad: Se advierte sobre los casos donde el Hamiltoniano es afín en el control y la función de conmutación se anula en un intervalo (arcos singulares), indicando que las condiciones de primer orden son insuficientes y se requieren condiciones de orden superior.

5. Significado e Impacto

Estas notas son significativas por varias razones:

• Rigor Pedagógico: Ofrecen un puente claro entre la teoría básica de control óptimo y las aplicaciones prácticas donde las restricciones de control son inevitables. Están dirigidas a estudiantes de doctorado y niveles avanzados de pregrado que ya dominan el cálculo variacional.
• Corrección de Prácticas Industriales: Al desmentir la práctica común de "recortar" soluciones, el documento previene errores graves en el diseño de sistemas de control para biología, epidemiología e ingeniería, donde la violación de las restricciones en la formulación matemática lleva a soluciones subóptimas o inestables.
• Versatilidad: Cubre desde problemas escalares simples hasta sistemas multidimensionales complejos, incluyendo la reducción de orden y la gestión de restricciones integrales, proporcionando un marco unificado.
• Fundamento para Métodos Numéricos: La descripción precisa de cómo implementar la proyección dentro del algoritmo de barrido hacia adelante y hacia atrás es crucial para el desarrollo de software de control óptimo robusto y eficiente.

En resumen, el documento establece que la restricción de control debe ser una parte intrínseca del sistema de condiciones necesarias (PMP), no un paso posterior de corrección, y proporciona las herramientas analíticas y numéricas necesarias para resolver tales problemas correctamente.