Resumen Técnico: Elija con Sabiduría: Control Predictivo Basado en Datos para Sistemas No Lineales Mediante la Selección de Datos en Línea

Declaración del Problema

La comunidad de control busca gestionar sistemas no lineales donde se dispone de datos pero no de modelos explícitos del sistema. Mientras que los métodos de Control Predictivo Basado en Datos (DPC), como el Control Predictivo Basado en Datos (DeePC), ofrecen una alternativa "libre de modelo" al Control Predictivo por Modelo (MPC) tradicional al evitar la identificación del sistema, el DeePC estándar se basa en el supuesto de un Sistema Lineal e Invariante en el Tiempo (LTI). Este supuesto se viola severamente en sistemas no lineales genéricos, lo que conduce a una pérdida arbitraria de rendimiento. Las extensiones no lineales existentes de DeePC enfrentan compromisos significos:

• Clases No Lineales Específicas: Las formulaciones adaptadas a estructuras no lineales específicas imponen prioridades fuertes que pueden no existir para sistemas arbitrarios.
• Enfoques de Ventana de Tiempo: Los métodos que utilizan ventanas deslizantes de datos recientes son prácticos solo para sistemas con no linealidades benignas y altas relaciones señal-ruido.
• Enfoques de Kernel o de Elevación (Lifted): Reformular los predictores utilizando kernels no lineales u operadores de Koopman a menudo resulta en problemas de optimización de alta dimensión y no convexos, lo que aumenta la complejidad computacional en línea y conduce a resultados subóptimos.
• MPC Basado en Muestreo: Aunque es computacionalmente económico y requiere solo información de orden cero, estos métodos carecen de formas estructuradas para incorporar restricciones de salida explícitas.

El desafío central es desarrollar un método de control predictivo directo basado en datos para sistemas no lineales que mantenga la convexidad del problema de optimización (asegurando la tractabilidad y el manejo explícito de restricciones) mientras captura con precisión la dinámica no lineal sin requerir un modelo explícito.

Metodología: Select-DPC

El artículo propone Select-DPC (Control Predictivo de Selección de Datos), un método que linealiza implícitamente la dinámica del sistema en el "espacio de trayectorias" seleccionando únicamente los datos más relevantes en cada momento de decisión.

Concepto Central

Select-DPC opera de forma de horizonte recesivo. En lugar de utilizar un gran conjunto de datos precolectado $D$ para cada paso de control (lo cual es computacionalmente intratable y asume linealidad global), el algoritmo resuelve iterativamente un Programa Cuadrático (QP) convexo. En cada iteración del solver, selecciona un subconjunto de trayectorias $\tilde{D} \subset D$ que son "relevantes" para el punto de operación actual.

Espacio de Trayectorias: Definido como un espacio de alta dimensión donde cada dimensión corresponde a una entrada o salida sobre una trayectoria de tiempo discreto y longitud finita. La linealización se logra seleccionando trayectorias que están espacialmente "cerca" de la estimación de la solución de lazo abierto actual en este espacio.

Flujo de Trabajo Algorítmico

1. Inicialización: La trayectoria de lazo abierto se prepara mediante un warm-start (por ejemplo, replicando las mediciones iniciales).
2. Refinamiento Iterativo:
   • Selección de Datos: Se selecciona un subconjunto $\tilde{D}$ de tamaño $N_{cols}$ de la base de datos completa $D$ basándose en la proximidad a la predicción actual $\tilde{\tau}$.
   • Solución del QP: Se resuelve un problema de optimización DeePC estándar utilizando solo $\tilde{D}$ para generar una nueva acción de control.
   • Convergencia: El proceso se repite hasta que se cumple un criterio de convergencia (tolerancia o máximo de iteraciones).
3. Ejecución: Se aplica el primer control de entrada y el horizonte se desplaza.

Estrategias de Selección de Datos

El artículo propone y compara dos métodos para seleccionar el subconjunto relevante $\tilde{D}$:

1. Selección Basada en la Norma: Calcula la distancia espacial (por ejemplo, norma $L_1$ o $L_2$) entre la trayectoria de lazo abierto actual y todas las trayectorias en $D$. Se seleccionan las $N_{cols}$ trayectorias más cercanas.

   • Pros: Intuitivo, eficiente de implementar, permite actualizaciones en línea fáciles.
   • Contras: Susceptible a la "maldición de la dimensionalidad" en espacios de trayectoria de alta dimensión.

2. Selección Basada en el Embebimiento de Variedades (Manifold-Embedding): Utiliza el aprendizaje de variedades (específicamente Isomap) para proyectar los datos de trayectoria de alta dimensión en un espacio de embebimiento de menor dimensión que preserva las distancias geodésicas.

   • Pros: Mitiga la maldición de la dimensionalidad; las distancias en el espacio de embebimiento reflejan mejor la estructura no lineal intrínseca de los datos.
   • Contras: Mayor costo computacional fuera de línea para calcular el embebimiento (aunque es un costo de una sola vez); se requiere el embebimiento en línea de la trayectoria de consulta.

Atributos Clave

• Agnóstico al Costo: La generación del conjunto de datos es estructuralmente independiente de la formulación de control. Las funciones de costo y las restricciones pueden modificarse a posteriori, permitiendo la aplicación zero-shot a nuevas tareas sin necesidad de nueva recolección de datos.
• Convexidad: Al restringir el predictor a un subconjunto de datos localmente lineales, la optimización resultante sigue siendo un QP convexo, a diferencia de los enfoques de kernel o de elevación que a menudo se vuelven no convexos.
• Linealización Implícita: De manera similar a la Programación Cuadrática Secuencial (SQP) en el MPC basado en modelos, Select-DPC realiza una linealización iterativa, pero lo hace en el espacio de trayectorias utilizando datos en lugar de Jacobianos de un modelo explícito.

Principales Contribuciones

1. Introducción de Select-DPC: Un controlador predictivo directo basado en datos para sistemas no lineales que logra una linealización implícita en el espacio de trayectorias mediante la selección de datos en línea, manteniendo la optimización convexa.
2. Métodos de Selección de Datos: La propuesta y comparación de dos mecanismos de selección distintos: un método basado en la norma y un método basado en el embebimiento de variedades (Isomap) para manejar datos no lineales de alta dimensión.
3. Validación Empírica: Demostración de la superioridad de Select-DPC sobre el DeePC estándar y el DeePC de Ventana de Tiempo a través de tres sistemas no lineales de referencia:
   • Aterrizaje de cohete planar (inestable en lazo abierto).
   • Manipulador robótico planar (Reacher).
   • Péndulo invertido de carro-poste (Cart-pole) para el swing-up.

Resultados y Evaluación

Los experimentos se realizaron en tres simuladores (Rocket, Reacher, Cart-Pole) comparando Select-DPC contra el DeePC Estándar (usando el conjunto de datos completo) y el DeePC de Ventana de Tiempo.

1. Aterrizaje de Cohete Reutilizable

• Rendimiento: El DeePC estándar y el DeePC de Ventana de Tiempo fallaron en estabilizar el sistema o divergieron. Select-DPC logró estabilizar el cohete en el punto de consigna deseado.
• Conjuntos de Datos: Probado en "Datos IID" (comportamiento predominantemente lineal) y "Datos de Paseo Aleatorio" (excitación altamente no lineal).
  • En datos IID, Select-DPC redujo el costo de lazo cerrado por un factor de 1.9 en comparación con el DeePC Estándar.
  • En datos de Paseo Aleatorio, el DeePC Estándar no logró estabilizar el sistema, mientras que Select-DPC tuvo éxito.
• Precisión de la Predicción: Ambos métodos de selección (Norma e Isomap) arrojaron residuos acumulados menores en los conjuntos de validación de reserva en comparación con el uso del conjunto de datos completo o el muestreo aleatorio (random sketching).
• Computación: Select-DPC redujo el costo computacional en un orden de magnitud en comparación con el DeePC Estándar al resolver QPs más pequeños, con tiempos de resolución que escalan cuadráticamente con $N_{cols}$.

2. Manipulador Robótico Planar (Reacher)

• Rendimiento: Select-DPC rastreó con éxito las referencias del efector final, mientras que el DeePC Estándar y el DeePC de Ventana de Tiempo fallaron en converger.
• Restricciones: El método demostró generalizabilidad zero-shot al manejar restricciones de salida desconocidas a priori (por ejemplo, evitar regiones específicas) sin cambios estructurales en el controlador ni nuevos datos.
• Ablación: El muestreo aleatorio (random sketching) falló completamente en este entorno, mientras que la selección de un tamaño de subconjunto específico ($N_{cols}$) reveló un "punto óptimo" para el rendimiento, equilibrando la precisión de la predicción y la carga computacional.

3. Swing-up de Péndulo Invertido Cart-Pole

• Tarea: Transicionar de un equilibrio estable hacia abajo a un equilibrio inestable hacia arriba.
• Rendimiento: El DeePC Estándar osciló alrededor del equilibrio estable y falló en realizar el swing-up. Select-DPC aprendió exitosamente de demostraciones subóptimas en el conjunto de datos para realizar el swing-up y estabilizar el péndulo.
• Mecanismo: El controlador no simplemente copió una única trayectoria, sino que combinó linealmente múltiples segmentos de trayectoria en cada iteración del solver para construir la maniobra de swing-up.

Significancia y Reivindicaciones

El artículo afirma que Select-DPC cierra la brecha entre la tractabilidad del control basado en datos convexo y los requisitos de rendimiento de los sistemas no lineales. Su significancia radica en:

• Manejo Explícito de Restricciones: A diferencia del MPC basado en muestreo o los métodos de RL que luchan con las restricciones de salida estructuradas, Select-DPC conserva la capacidad de imponer restricciones estrictas mediante optimización convexa.
• Escalabilidad: Escala favorablemente con grandes conjuntos de datos al submuestrear los datos relevantes, evitando el tiempo de resolución superlineal de usar el conjunto de datos completo.
• Capacidad No Lineal: Extiende el DPC a dominios no lineales sin requerir modelos explícitos, kernelizaciones complejas u optimización no convexa.
• Adaptabilidad Zero-Shot: El desacoplamiento de la recolección de datos del diseño de control permite que el mismo conjunto de datos se reutilice para diferentes tareas (por ejemplo, seguimiento con o sin restricciones) sin necesidad de reentrenamiento.

Limitaciones

Los autores reconocen varias limitaciones:

• Costo Computacional: La implementación actual requiere entre 200 y 400 ms por paso, lo que limita su uso en aplicaciones altamente dinámicas.
• Huella de Memoria: Los grandes horizontes de predicción y los conjuntos de datos pueden violar las restricciones de memoria.
• Ajuste de Hiperparámetros: Lograr un rendimiento satisfactorio requiere el ajuste de hiperparámetros (por ejemplo, $N_{cols}$, longitudes de horizonte), y el artículo señala que un estudio empírico a gran escala de sus capacidades en diversas tareas está sujeto a trabajos futuros.