⚡ electrical engineering

Data-Driven Covariance Steering with Output Feedback

Este artigo aborda o problema de controle de covariância com realimentação de saída para sistemas lineares estocásticos sem conhecimento do modelo, utilizando uma representação não mínima baseada em dados historicamente excitantes e abordagens direta e indireta para formular o problema como um programa semidefinido convexo.

Autores originais: Dimitrios Moustroufis, Panagiotis Tsiotras

Publicado 2026-04-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dimitrios Moustroufis, Panagiotis Tsiotras

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o piloto de um drone, mas você não tem o manual de instruções da aeronave. Você não sabe exatamente como o motor responde, como o vento empurra o drone ou como os sensores funcionam. Tudo o que você tem é um "diário de bordo" antigo: uma lista de comandos que você deu no passado e onde o drone estava quando você olhou para ele.

O objetivo deste trabalho é ensinar esse drone a voar de um ponto A para um ponto B, mas com um desafio extra: não basta chegar lá; você precisa garantir que, ao chegar, o drone esteja estável e seguro, mesmo com ventos imprevisíveis.

Aqui está a explicação do que os autores fizeram, usando analogias do dia a dia:

1. O Problema: "O Drone Cego"

Na engenharia tradicional, para controlar algo, você precisa conhecer a "fórmula mágica" (o modelo matemático) que descreve como o sistema funciona. Mas na vida real, muitas vezes não temos essa fórmula.

O Desafio: Como controlar a "precisão" (a média) e a "segurança" (a variância ou dispersão) de um sistema sem saber as leis da física que o regem?
A Situação: O drone só vê o mundo através de uma câmera (saída), não tem um GPS interno perfeito (estado completo) e o vento (ruído) muda de direção de forma imprevisível.

2. A Solução Criativa: "A Memória de Curto Prazo"

Os autores propõem uma ideia inteligente: em vez de tentar adivinhar a física do drone, vamos usar a memória.

A Analogia: Imagine que, para prever onde o carro vai estar daqui a 5 segundos, você não precisa saber a física do motor. Você só precisa olhar para onde o carro estava nos últimos 5 segundos e o que você fez com o volante nesse tempo.
A Técnica: Eles criam um "estado não mínimo". É como se o drone tivesse uma memória de curto prazo que guarda os últimos comandos e as últimas leituras dos sensores. Ao usar essa memória, eles conseguem transformar o problema de "controle cego" em um problema de "controle com memória", que é mais fácil de resolver.

3. O Obstáculo Escondido: "O Efeito Dominó"

Aqui está a parte complicada que os autores resolveram.

O Problema: Quando você usa essa memória, o "vento" (o ruído) não é mais aleatório e independente. Ele se torna correlacionado no tempo.
A Analogia: Pense em uma fila de pessoas passando uma mensagem. Se a primeira pessoa sussurra errado, a segunda ouve errado, a terceira ouve errado, e assim por diante. O erro se propaga e se conecta. No mundo do drone, o vento de agora afeta o vento de daqui a um segundo.
A Consequência: Isso significa que você não pode apenas olhar para a média do vento; você precisa entender como o vento de hoje se conecta com o vento de amanhã (a "covariância cruzada"). A maioria dos métodos antigos ignorava isso, mas os autores disseram: "Não podemos ignorar essa conexão".

4. As Duas Estratégias de Aprendizado

Para resolver isso sem o manual de instruções, eles usaram duas abordagens baseadas nos dados antigos (o diário de bordo):

Abordagem Indireta (O "Estudioso"): Eles tentam primeiro adivinhar a "física" do sistema (as matrizes A e B) usando os dados passados. É como tentar deduzir as leis da física apenas observando o movimento de um pêndulo. Eles usam métodos estatísticos avançados (como Variáveis Instrumentais) para garantir que, mesmo com dados "sujos" (cheios de erros de medição), a estimativa seja correta.
Abordagem Direta (O "Mestre da Prática"): Em vez de tentar descobrir as leis da física, eles usam os dados diretamente para calcular o controle. É como um jogador de xadrez que não estuda a teoria, mas joga milhões de partidas e aprende os padrões de vitória diretamente. Eles usam os dados para "pular" a etapa de modelagem e ir direto para a solução.

5. O Resultado: "Ajuste Fino"

O objetivo final é o "Steering de Covariância" (Direcionamento da Covariância).

O Que Significa: Não é apenas levar o drone ao ponto B. É garantir que, quando ele chegar, ele esteja num "círculo de segurança" muito pequeno.
A Metáfora: Imagine que você quer jogar uma bola dentro de um copo.
- Controle de Média: Garantir que a bola vá na direção do copo.
- Controle de Covariância: Garantir que a bola não fique tremendo muito nas mãos antes de soltar, para que ela caia exatamente dentro do copo, e não ao lado.
A Inovação: Eles conseguiram fazer isso usando apenas dados passados, sem saber o modelo do sistema, e lidando com o fato de que o "vento" (ruído) muda de forma conectada ao longo do tempo.

Resumo em uma Frase

Os autores criaram um método para ensinar máquinas a se moverem com precisão e segurança, usando apenas o que elas "lembram" do passado, sem precisar de manuais de instruções, e lidando com o fato de que os erros do passado afetam o futuro de forma conectada.

Eles provaram, através de simulações, que quanto mais dados históricos (memória) você tem, melhor o drone aprende a voar, chegando ao destino com a precisão desejada, mesmo sem saber as leis da física por trás do voo.

Resumo Técnico: Direcionamento de Covariância Baseado em Dados com Realimentação de Saída

1. Problema Abordado

O artigo aborda o problema de direcionamento de covariância (Covariance Steering - CS) para sistemas estocásticos, lineares, invariantes no tempo (LTI) e discretos, sob a restrição de realimentação de saída (output-feedback).

Desafio Principal: A maioria dos métodos existentes assume conhecimento completo do modelo do sistema (matrizes $A, B, C$ ) e medições de estado completas e livres de ruído. Este trabalho remove a necessidade de um modelo conhecido, utilizando apenas dados de entrada-saída coletados offline.
Complexidade Adicional: O problema lida com sistemas onde apenas a saída $y_k$ é observável (e não o estado $x_k$ ), e onde o ruído de medição está presente. Ao converter o problema de realimentação de saída para uma forma de realimentação de estado usando uma representação não mínima, o ruído induzido torna-se temporalmente correlacionado, o que complica a propagação da covariância e a estimativa de modelos.

2. Metodologia

A abordagem proposta combina representações de espaço de estado não mínimas com técnicas de controle direto e indireto baseadas em dados.

A. Representação de Espaço de Estado Não Mínima
Para lidar com a falta de medição de estado, os autores constroem um vetor de estado aumentado $z_k$ composto por entradas e saídas passadas:
$z_k \triangleq \text{col}(u_{k-1}, \dots, u_{k-\ell}, y_{k-1}, \dots, y_{k-\ell})$
onde $\ell$ é o índice de observabilidade.

Transformação: O sistema é reescrito em termos de $z_k$ . No entanto, como $p\ell > n$ (onde $n$ é a ordem do sistema), essa representação é não controlável e possui dependências lineares.
Redução de Dimensão: Aplica-se uma matriz de projeção $L$ (calculada via SVD de dados persistentemente excitantes) para obter um estado reduzido $\chi_k = Lz_k$ , eliminando componentes linearmente dependentes e restaurando a controlabilidade.

B. Caracterização do Ruído Correlacionado
Uma descoberta crucial é que, nesta representação, o ruído efetivo $\zeta_k$ não é branco (i.i.d.), mas correlacionado no tempo.

O ruído é modelado como um processo AR(1): $\zeta_{k+1} = \Psi \zeta_k + \eta_k$ .
Isso exige o rastreamento explícito da covariância cruzada entre o estado e o ruído ( $\Sigma_{\chi\zeta}$ ), pois $\chi_k$ e $\zeta_k$ não são independentes.

C. Abordagens de Controle Baseadas em Dados
O problema é dividido em duas partes:

Direcionamento da Média (Indireto): Utiliza uma estimativa do modelo dinâmico ( $\hat{A}, \hat{B}, \hat{C}$ ) para calcular a entrada de controle feedforward ( $v_k$ ).
Direcionamento da Covariância (Direto): Utiliza uma formulação direta baseada em dados para calcular os ganhos de realimentação ( $K_k$ ) e a covariância do ruído de controle, sem estimar explicitamente as matrizes do sistema de forma isolada.

D. Métodos de Identificação de Modelo
Para lidar com a correlação entre os regressores e o ruído (que invalida o Mínimos Quadrados Ordinários e afeta o TLS), o artigo propõe e compara dois métodos:

Mínimos Quadrados Totais (TLS): Adequado quando há incerteza tanto nas entradas quanto nas saídas, mas pode ser inconsistente se houver correlação regressor-ruído.
Variáveis Instrumentais (IV) / 2SLS: O método preferido para este problema. Utiliza entradas passadas como variáveis instrumentais (independentes do ruído atual) para garantir a consistência da estimativa dos parâmetros, mesmo na presença de ruído correlacionado.

E. Formulação Convexa (SDP)
O problema de otimização original é não convexo devido aos termos bilineares (ex: $G_k \Sigma_k G_k^T$ ).

Os autores introduzem novas variáveis de decisão ( $U_k = G_k \Sigma_k$ , $W_k = G_k \Sigma_{\chi\zeta}$ ) e uma variável de folga ( $Y_k$ ).
O problema é relaxado para um Programa Semidefinido (SDP), que pode ser resolvido eficientemente.
Nota: A relaxação não é "lossless" (sem perda) na presença de erros de estimação, o que é discutido como uma limitação e direção futura.

3. Principais Contribuições

Extensão para Realimentação de Saída: É a primeira extensão da literatura de direcionamento de covariância baseado em dados (anteriormente restrito a realimentação de estado) para o caso de realimentação de saída.
Tratamento de Ruído Temporalmente Correlacionado: O trabalho aborda explicitamente o problema de direcionamento de covariância em tempo discreto com ruído correlacionado, um cenário não coberto anteriormente na literatura de controle baseado em dados.
Novo Método de Estimação: Desenvolvimento de um método de estimação (baseado em IV) capaz de lidar consistentemente com a correlação temporal do ruído induzido pela representação não mínima.
Formulação Direta e Indireta Unificada: Integração de uma abordagem indireta para a média e direta para a covariância, ambas operando apenas com dados de entrada-saída.

4. Resultados Numéricos

Os autores realizaram simulações numéricas para validar a metodologia:

Estimação de Modelo: Compararam LS, TLS e IV. Os resultados mostraram que, para tamanhos de amostra pequenos, o IV tem desempenho inferior, mas à medida que o tamanho da amostra aumenta, o método IV supera significativamente os outros, fornecendo estimativas mais precisas de $A$ e $B$ na presença de ruído correlacionado.
Desempenho de Direcionamento:
- O algoritmo foi testado em um sistema MIMO com 3 estados e 2 saídas.
- A trajetória de referência (Lissajous) foi seguida com sucesso.
- A covariância final foi direcionada para a elipse alvo ( $\Sigma_f = 0.1 \Sigma_i$ ).
- Observou-se que o erro na média terminal e a precisão da covariância melhoram conforme o tamanho do conjunto de dados aumenta, confirmando a eficácia da abordagem baseada em dados.

5. Significado e Impacto

Este trabalho é significativo porque remove uma barreira prática fundamental no controle de sistemas estocásticos: a necessidade de um modelo preciso e medições de estado completas.

Aplicabilidade Prática: Permite o controle de sistemas complexos onde sensores são limitados (apenas saída disponível) e onde o ruído de medição é inevitável.
Robustez Estatística: Ao lidar com ruído correlacionado e utilizar variáveis instrumentais, o método oferece garantias teóricas mais robustas do que abordagens puramente baseadas em mínimos quadrados em cenários de dados reais.
Futuro: O trabalho abre caminho para o desenvolvimento de controladores robustos que quantifiquem e compensem os erros de estimação, especialmente em cenários com poucos dados.

Em resumo, o artigo apresenta um framework teórico e computacional robusto para controlar a distribuição de probabilidade de sistemas dinâmicos incertos utilizando apenas dados históricos, superando as limitações de medição de estado e ruído branco.