DUST: A Framework for Data-Driven Density Steering

Resumo Técnico: DUST – Um Framework para Direcionamento de Densidade Baseado em Dados

Enunciado do Problema
O artigo aborda o problema do controle ótimo estocástico baseado em dados para sistemas Lineares Invariantes no Tempo (LTI) desconhecidos, sujeitos a ruído de processo Gaussiano. O objetivo é direcionar a densidade de probabilidade do estado do sistema de uma distribuição Gaussiana inicial conhecida para uma distribuição Gaussiana terminal prescrita. Isso é formulado como um problema de Direcionamento de Covariância (CS - Covariance Steering), onde o objetivo é controlar tanto a média quanto a covariância da trajetória do estado.

Ao contrário das abordagens tradicionais baseadas em modelos, que primeiro identificam um modelo de sistema e depois projetam um controlador, ou dos métodos diretos baseados em dados existentes que frequentemente assumem dinâmica determinística ou dados livres de ruído, este trabalho lida com o desafio de projetar controladores ótimos usando apenas dados brutos e ruidosos de entrada-estado coletados offline. As matrizes do sistema ($A, B, D$) são desconhecidas e os dados estão corrompidos por distúrbios estocásticos. O desafio central reside em contabilizar a incerteza introduzida pela coleta de dados ruidosos, garantindo ao mesmo tempo que as restrições de distribuição terminal sejam satisfeitas com alta probabilidade.

Metodologia
O framework proposto, denominado DUST (Data-driven Uncertainty quantification and density STeering), decompõe o problema em dois subproblemas: Direcionamento de Média Baseado em Dados (DD-MS) e Direcionamento de Covariância Baseado em Dados (DD-CS). Os autores utilizam a teoria de sistemas comportamentais (especificamente o Lema Fundamental de Willems) e aprendizagem estatística para parametrizar as leis de controle diretamente a partir dos dados.

1. Parametrização Baseada em Dados:

   • Abordagem Indireta (DD-MS): A dinâmica da média é parametrizada por meio de um design indireto. As matrizes do sistema são estimadas via uma abordagem de mínimos quadrados (Equivalência de Certeza) utilizando os dados coletados, resultando em um programa quadrático incerto, onde a incerteza provém da realização desconhecida do ruído.
   • Abordagem Direta (DD-CS): Os ganhos de feedback para o controle da covariância são parametrizados diretamente usando os dados de entrada-estado e identificação de subespaço. Isso leva a uma formulação de Programa Semidefinido (SDP).

2. Estimativa de Ruído e Quantificação de Incerteza:

   • Como a realização do ruído ($\Xi_{0,T}$) e sua covariância ($\Sigma_\xi$) são desconhecidas, o framework utiliza a Estimativa de Máxima Verossimilhança (MLE) para estimar a realização de ruído mais provável a partir do conjunto de dados.
   • Crucialmente, o artigo deriva conjuntos de ambiguidade de alta confiança (limites de incerteza) para os erros de estimativa. Diferente de trabalhos anteriores que utilizavam limites excessivamente conservadores, este artigo utiliza as propriedades estatísticas do estimador MLE e a deficiência de posto da matriz de covariância do erro para construir conjuntos de incerteza elipsoidais "ajustados". Esses conjuntos garantem que a verdadeira realização do ruído esteja dentro dos limites com uma probabilidade prescrita ($1-\delta$).

3. Síntese de Controle Robusto:

   • DD-MS Robusto: O problema de direcionamento da média é reformulado como um problema de controle robusto com incerteza de modelo não estruturada. Usando a Síntese de Nível de Sistema (SLS), os autores transformam as restrições robustas semi-infinitas em um problema de otimização convexa tratável (SDP) que garante que as restrições de média terminal sejam satisfeitas para todas as incertezas dentro dos limites derivados.
   • DD-CS Robusto: O problema de direcionamento da covariância é reformulado para satisfazer robustamente as restrições de Desigualdade Matriz Linear (LMI) ao longo do horizonte de planejamento, contabilizando a incerteza na realização do ruído.
   • Incerteza Paramétrica (PU-DD-DS): Como alternativa, o artigo apresenta uma formulação que trata o ruído como uma variável estocástica com distribuição conhecida (incerteza multiplicativa) em vez de estimar realizações específicas. Esta abordagem evita a estimativa explícita do ruído, mas depende de uma suposição de Equivalência de Certeza para a dinâmica da média.

Principais Contribuições

1. Framework Unificado: Introdução de um framework unificado baseado em dados para direcionar a distribuição total do estado de um sistema LTI estocástico desconhecido, combinando a teoria de sistemas comportamentais com conceitos de direcionamento de covariância baseados em modelos.
2. Ferramentas de Estimativa de Ruído: Desenvolvimento de ferramentas de estimativa de ruído e quantificação de incerteza baseadas em dados que fornecem conjuntos de ambiguidade de amostra finita e alta confiança para erros de estimativa, superando limites anteriores excessivamente conservadores.
3. Formulações Tratáveis: Provisão de formulações tratáveis (convexas) para ambos os problemas de DD-MS e DD-CS. Estas formulações garantem a satisfação das restrições de distribuição terminal com alta probabilidade.
4. Abordagem de Incerteza Paramétrica: Apresentação de uma formulação PU-DD-DS que interpreta o problema como o controle de um sistema sob incerteza multiplicativa, oferecendo uma alternativa à abordagem baseada em estimativa de ruído.
5. Avaliação de Desempenho: Avaliação numérica abrangente comparando os designs baseados em dados propostos contra baselines de Equivalência de Certeza (CE) e contra de seus equivalentes baseados em modelos.

Resultados
Experimentos numéricos em um sistema estocástico linear demonstram a eficidade do framework DUST:

• Estimativa de Ruído: Os conjuntos de incerteza propostos baseados em MLE (especificamente a decomposição de subespaço "Ajustada") correspondem de perto aos quantis empíricos do erro de estimativa real, enquanto os limites "Largos" anteriores eram significativamente mais conservadores e degradavam com horizontes de amostragem maiores.
• Robustez: O design DD-MS robusto supera significativamente o design CE padrão no controle da dispersão das trajetórias da média terminal, particularmente quando os dados são escassos ou o modelo é incerto.
• Exequibilidade: O design de covariância robusto (R-DD-CS) mostra-se essencial para a exequibilidade; sem contabilizar os erros de estimativa, as restrições de covariância terminal são frequentemente violadas. No entanto, o artigo observa uma compensação (trade-off: aumentar o nível de robustez ($\rho$) ou diminuir o tamanho da restrição terminal pode levar à inexequibilidade se o limite inferior teórico da covariância alcançável for aproximado.
• Desempenho em Malha Fechada: O design combinado de média e covariância robustos (R-DD-DS) atinge a distribuição terminal mais próxima do alvo desejado em comparação com outros baselines baseados em modelos e baseados em dados.

Significância e Alegações
O artigo alega que o DUST fornece uma abordagem fundamentada e rigorosa para o controle estocástico baseado em dados, preenchendo a lacuna entre a teoria de sistemas comportamentais e o controle robusto. Sua principal significância reside em:

• Lidar com Dados Ruidosos: Ir além da suposição de dados determinísticos ou livres de ruído, o que é uma grande limitação do Lema Fundamental em aplicações do mundo real.
• Limites de Incerteza Ajustados: Oferecer um método para construir conjuntos de incerteza que são significativamente menos conservadores do que a arte anterior, permitindo assim um controle mais preciso sem sacrificar as garantias de segurança.
• Solução de Ponta a Ponta: Fornecer um caminho direto dos dados brutos para um controlador robusto que direciona a distribuição do estado, evitando a necessidade de identificação explícita do sistema que pode falhar para modelos complexos.

Os autores reconhecem limitações, observando que a teoria atual assume dinâmica linear invariante no tempo e distúrbios Gaussianos. Eles identificam direções de trabalhos futuros, incluindo a incorporação de restrições de chance (chance constraints), o tratamento de incerteza distributiva (ex: conjuntos de ambiguidade de Wasserstein) e a extensão do framework para sistemas não lineares ou a derivação de uma versão estocástica do Lema Fundamental para trajetórias de média e covariância.