⚡ electrical engineering

Data-Driven Covariance Steering with Output Feedback

Este artículo presenta un marco de control de covarianza basado en datos para sistemas lineales estocásticos sin modelo, que utiliza una representación no mínima de entrada-salida y un enfoque directo de semidefinido positivo para manejar el ruido correlacionado temporalmente mediante retroalimentación de salida.

Autores originales: Dimitrios Moustroufis, Panagiotis Tsiotras

Publicado 2026-04-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Dimitrios Moustroufis, Panagiotis Tsiotras

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres el capitán de un barco muy grande y complejo que navega en un océano lleno de niebla. Tu misión es llevar a tu barco desde un punto de partida (donde el barco está un poco "desordenado" y moviéndose de forma impredecible) hasta un punto de llegada específico, asegurándote de que al llegar, el barco esté perfectamente alineado y quieto.

El problema es que no tienes un mapa del océano. No sabes cómo reaccionará tu barco a los vientos o a las olas porque nunca has visto el manual de instrucciones de la nave. Además, no puedes ver todo el barco; solo tienes sensores en la cubierta que te dicen dónde estás y hacia dónde vas, pero esos sensores a veces fallan o tienen ruido (como si te hablaran con estática).

Este artículo de investigación es como un nuevo sistema de navegación inteligente que permite al capitán (el controlador) lograr su misión sin tener el mapa, usando solo la experiencia de un viaje anterior.

Aquí te explico cómo funciona, paso a paso, con analogías sencillas:

1. El Reto: Navegar sin Mapa y con "Ruido"

En el mundo de la ingeniería, los sistemas (como drones, robots o redes eléctricas) suelen tener dos tipos de problemas:

El ruido: Las cosas no son perfectas. Hay viento, errores de sensores, etc.
La falta de modelo: A veces no sabemos las fórmulas exactas de cómo funciona el sistema.

Antiguamente, para controlar estos sistemas, necesitabas conocer las fórmulas exactas (el modelo). Si no las tenías, no podías garantizar que llegarías bien. Este paper dice: "¡No importa! Podemos aprender a navegar solo mirando los datos de un viaje anterior".

2. La Estrategia: "Memoria de Movimiento" (Representación No Mínima)

Como no podemos ver el "estado interno" completo del barco (como la presión exacta en cada motor), el paper propone una idea genial: crear una memoria.

En lugar de solo mirar dónde está el barco ahora, el sistema mira:

¿Qué hicimos con los controles hace 1 segundo?
¿Qué hicimos hace 2 segundos?
¿Dónde estaba el barco hace 1 y 2 segundos?

Imagina que en lugar de intentar adivinar la física del barco, simplemente le dices al sistema: "Recuerda la última vez que giraste el timón a la izquierda y el barco se movió así...". Al usar esta "memoria" de entradas y salidas pasadas, el sistema puede comportarse como si tuviera un modelo completo, incluso sin tenerlo.

3. El Problema de las Olas Conectadas (Ruido Correlacionado)

Aquí viene la parte más difícil. En la vida real, las olas no son aleatorias e independientes. Si hay una ola grande hoy, es probable que haya otra mañana. El ruido en los sensores también suele estar conectado en el tiempo.

El paper explica que, al usar esta "memoria", el ruido se vuelve correlacionado en el tiempo. Es como si las olas de ayer afectaran a las de hoy. Esto complica las matemáticas porque no puedes tratar cada ola como un evento aislado. Tienes que calcular cómo el "desorden" de ayer se mezcla con el "desorden" de hoy. El paper presenta una forma matemática de rastrear esta "mancha de desorden" a través del tiempo.

4. Dos Maneras de Aprender (Métodos Indirecto y Directo)

Para no tener el mapa, el paper propone dos formas de usar los datos de un viaje anterior:

El Método Indirecto (El Estudiante): Primero intenta "aprender" las reglas del barco (estimar el modelo) basándose en los datos pasados. Una vez que tiene una idea aproximada de cómo funciona, usa esa idea para planificar el viaje. Es como estudiar un libro de texto basado en observaciones antes de salir a navegar.
El Método Directo (El Intuitivo): No intenta adivinar las reglas del barco. En su lugar, mira los datos pasados y dice: "Si hicimos esto y pasó aquello, entonces para lograr el resultado deseado, haremos esto otro". Es como un chef que, sin saber la receta exacta, prueba la salsa y ajusta la sal basándose en lo que probó antes.

El paper combina ambos: usa el método indirecto para planificar la ruta (el promedio) y el método directo para ajustar los detalles finos (la variabilidad o "covarianza").

5. La Magia: Convertir el Problema en un Rompecabezas Resoluble

El problema de controlar la "desordenabilidad" (la covarianza) del barco es matemáticamente muy difícil, casi imposible de resolver directamente.

Los autores usan un truco matemático (una "relajación convexa") que transforma este rompecabezas imposible en uno que una computadora puede resolver en segundos. Imagina que tienes que empaquetar una esfera irregular en una caja cuadrada; es difícil. Pero si transformas la esfera en una caja más simple matemáticamente, puedes resolverlo fácilmente y luego volver a la forma original.

6. El Resultado: ¡Llegamos a Tiempo y Bien!

En las pruebas de computadora (simulaciones), probaron este sistema.

Usaron datos de un viaje anterior (con mucho "ruido" y errores).
El sistema calculó cómo llevar el barco desde un estado desordenado a uno ordenado.
Resultado: Funcionó. A medida que tenían más datos del viaje anterior, el sistema aprendía mejor y el barco llegaba más preciso.

En Resumen

Este paper es como un manual para navegar a ciegas. Nos enseña que, incluso si no conocemos las leyes físicas exactas de un sistema y tenemos sensores imperfectos, podemos usar la historia de lo que pasó antes (datos) para calcular exactamente cómo actuar en el futuro para llegar a nuestro destino de forma segura y ordenada.

Es una herramienta poderosa para el futuro de la robótica y la automatización, donde los sistemas deben aprender a navegar en entornos caóticos sin depender de manuales de instrucciones perfectos.

Aquí presento un resumen técnico detallado del artículo "Data-Driven Covariance Steering with Output Feedback" (Control de Covarianza Basado en Datos con Retroalimentación de Salida), escrito por Dimitrios Moustroufis y Panagiotis Tsiotras.

1. Planteamiento del Problema

El artículo aborda el problema de control de covarianza (Covariance Steering - CS) para sistemas lineales, invariantes en el tiempo (LTI), discretos y estocásticos, bajo las siguientes restricciones críticas:

Desconocimiento del Modelo: No se dispone de las matrices del sistema ( $A, B, C$ ).
Retroalimentación de Salida: Solo se tienen acceso a mediciones de salida ( $y_k$ ) ruidosas, no al estado completo del sistema ( $x_k$ ).
Datos Disponibles: Se cuenta únicamente con una trayectoria histórica de datos de entrada-salida ( $u_k, y_k$ ) que es persistentemente excitante.
Objetivo: Guiar la distribución estadística de la salida del sistema desde una distribución inicial $\mathcal{N}(\mu_i, \Sigma_i)$ hasta una distribución terminal $\mathcal{N}(\mu_f, \Sigma_f)$ en un horizonte de tiempo $N$ , minimizando un índice de costo, sin conocer el modelo dinámico subyacente.

El desafío principal radica en que, al utilizar una representación de estado no mínima construida a partir de entradas y pasadas, el ruido inducido en el nuevo espacio de estados se vuelve temporalmente correlacionado, lo que complica tanto la estimación del modelo como la propagación de la covarianza.

2. Metodología

La propuesta se estructura en tres pilares fundamentales:

A. Representación de Estado No Mínima

Para evitar la necesidad de medir el estado completo, los autores utilizan una representación de estado aumentada basada en datos pasados:
$z_k \triangleq \text{col}(u_{k-1}, \dots, u_{k-\ell}, y_{k-1}, \dots, y_{k-\ell})$
donde $\ell$ es el índice de observabilidad.

Transformación: Se define un nuevo vector de estado $\chi_k = L z_k$ eliminando componentes linealmente dependientes para garantizar la controlabilidad en presencia de ruido.
Dinámica: El sistema resultante tiene la forma:
$\chi_{k+1} = A\chi_k + B u_k + \xi_k, \quad y_k = C\chi_k + \zeta_k$
Donde el ruido $\zeta_k$ es correlacionado en el tiempo (no es ruido blanco), modelado como un proceso AR(1): $\zeta_{k+1} = \Psi \zeta_k + \eta_k$ .

B. Estimación de Modelos y Ruido (Enfoque Indirecto y Directo)

El problema se divide en dos sub-problemas:

Control de Media (Enfoque Indirecto): Requiere estimar las matrices $A, B, C$ $A, B, C$ .
- Se utilizan métodos de Mínimos Cuadrados Totales (TLS) y Variables Instrumentales (IV).
- Se destaca que TLS falla cuando los regresores están correlacionados con el ruido (endogeneidad). Por ello, se propone el método de Variables Instrumentales (IV) con un estimador de Mínimos Cuadrados en Dos Etapas (2SLS), utilizando entradas pasadas como instrumentos, para garantizar una estimación consistente de la dinámica media.
Control de Covarianza (Enfoque Directo): No requiere estimar explícitamente $A$ $A$ y $B$ $B$ , sino que parametriza directamente la ley de control usando los datos.
- Se aprovecha el Lema Fundamental de Willems adaptado a la representación no mínima.
- Se estima la realización del ruido y sus covarianzas ( $\hat{\Sigma}_\zeta, \hat{\Psi}, \hat{D}$ ) a partir de los residuos del modelo estimado.

C. Formulación del Problema de Optimización

El problema de control se formula como un programa semidefinido (SDP):

Ecuaciones de Propagación: Se derivan ecuaciones para la propagación de la covarianza del estado ( $\Sigma_k$ ) y la covarianza cruzada entre el estado y el ruido ( $\Sigma_{\chi\zeta}$ ), que es no nula debido a la correlación temporal del ruido.
Relajación Convexa: El problema original es no convexo debido a términos bilineales en las ganancias de retroalimentación. Se introduce una relajación convexa mediante variables de holgura ( $Y_k$ ) para convertirlo en un SDP resoluble eficientemente.
Controlador: La ley de control óptima se estructura como $u_k = K_k(\chi_k - \mu_k) + v_k + \nu_k$ , donde $v_k$ es la entrada de seguimiento de referencia y $\nu_k$ es un término estocástico para ajustar la covarianza.

3. Contribuciones Clave

Extensión a Retroalimentación de Salida: Es el primer trabajo que extiende el control de covarianza basado en datos (que anteriormente solo existía para retroalimentación de estado) al caso de retroalimentación de salida con mediciones ruidosas.
Manejo de Ruido Temporalmente Correlacionado: Se aborda explícitamente el problema de la correlación temporal del ruido inducido por la representación de estado no mínima, derivando ecuaciones de propagación de covarianza cruzada y proponiendo métodos de estimación consistentes (IV) para este escenario.
Metodología Híbrida de Identificación: Propone un marco que combina la estimación indirecta (para la media) usando Variables Instrumentales robustas y la formulación directa (para la covarianza) basada en datos, evitando la necesidad de un modelo paramétrico exacto para el control de covarianza.
Formulación Convexa: Transforma el problema de control de distribución estocástica en un Programa Semidefinido (SDP) mediante relajaciones, permitiendo una solución computacionalmente eficiente.

4. Resultados Numéricos

Los autores validan su marco mediante simulaciones numéricas:

Comparación de Estimación: Se compararon LS, TLS y IV. Se demostró que, aunque TLS es eficiente, el método de Variables Instrumentales (IV) es superior y consistente en presencia de ruido correlacionado, especialmente a medida que aumenta el tamaño de la muestra.
Rendimiento de Control:
- Se utilizó un sistema MIMO de orden 3 con 2 salidas.
- El algoritmo logró guiar la media y la covarianza de la salida hacia los objetivos deseados ( $\mu_f, \Sigma_f$ ).
- Se observó que el error en la media terminal y la precisión en la covarianza terminal mejoran significativamente a medida que aumenta el tamaño del conjunto de datos (de 50 a 5000 muestras).
- Las trayectorias simuladas mostraron que la distribución de la salida converge efectivamente a la elipsoide objetivo.

5. Significado e Impacto

Este trabajo es significativo porque elimina una de las suposiciones más restrictivas en el control estocástico basado en datos: la necesidad de medir el estado completo sin ruido. Al permitir el control de la distribución estadística de la salida utilizando solo datos históricos ruidosos, el marco es aplicable a una gama mucho más amplia de sistemas de ingeniería práctica (como robots, vehículos autónomos o redes de energía) donde los sensores son imperfectos y los modelos dinámicos precisos son difíciles de obtener.

Además, el tratamiento riguroso de la correlación temporal del ruido llena un vacío en la literatura, proporcionando herramientas teóricas y prácticas para diseñar controladores robustos que garantizan el cumplimiento de especificaciones estadísticas en entornos inciertos.