On the Global Optimality of Linear Policies for Sinkhorn Distributionally Robust Linear Quadratic Control

1. Problema Abordado

O artigo aborda a fragilidade do regulador Linear Quadrático Gaussiano (LQG) clássico quando as distribuições de ruído do sistema se desviam do modelo Gaussiano assumido. Embora o LQG tenha uma solução de forma fechada elegante (combinando um filtro de Kalman com controle por realimentação de estado), ele pode falhar catastróficamente sob misspecification de modelo.

O objetivo é generalizar o problema de controle LQG de horizonte finito para um cenário Distribucionalmente Robusto (DR). Especificamente, os autores consideram que as distribuições verdadeiras dos ruídos (processo e medição) são desconhecidas, mas pertencem a um conjunto de ambiguidade definido pela discrepância de Sinkhorn (uma métrica de transporte ótimo regularizada por entropia) centrada em uma distribuição Gaussiana nominal. O problema consiste em encontrar uma política de controle que minimize o custo esperado sob a pior distribuição possível dentro desse conjunto de ambiguidade.

2. Metodologia

A abordagem proposta segue uma estrutura de "sanduíche" para provar a otimalidade global de políticas lineares, envolvendo os seguintes passos técnicos:

• Reparametrização por Saídas Purificadas: O problema é reescrito utilizando "saídas purificadas" (purified observations). Isso permite separar a dependência do controle em relação aos ruídos, transformando o problema original em uma forma onde o controle e o ruído são independentes, facilitando a análise de jogos de soma zero entre o controlador e um "adversário" (natureza).
• Limites Inferior e Superior:
  • Limite Inferior (Dual): O problema é restrito ao subconjunto de distribuições Gaussianas dentro do conjunto de ambiguidade. Utilizando propriedades da discrepância de Sinkhorn entre Gaussianas, o problema é reformulado como um programa de otimização de dimensão finita envolvendo apenas as matrizes de covariância.
  • Limite Superior (Primal): O conjunto de ambiguidade é ampliado para incluir todas as distribuições com certas covariâncias (conjunto de Gelbrich regularizado por entropia), e a classe de políticas é restrita a políticas lineares.
• Novas Desigualdades e Propriedades Topológicas:
  • Os autores derivam uma nova desigualdade do tipo Gelbrich para a discrepância de Sinkhorn, que permite limitar a discrepância entre uma distribuição arbitrária e uma Gaussiana apenas com base nas suas covariâncias.
  • Eles provam que o conjunto de covariâncias definido pela restrição de Sinkhorn (conjunto de Gelbrich regularizado) é convexo e compacto.
• Teorema Minimax: Com a convexidade e compacidade estabelecidas, aplica-se o Teorema Minimax de Sion para demonstrar que os limites inferior e superior coincidem. Isso implica a existência de um equilíbrio de Nash no espaço de políticas lineares.

3. Principais Contribuições

• Prova de Otimalidade Global de Políticas Lineares: O resultado central é a demonstração de que, mesmo com a robustificação no espaço de probabilidade usando a métrica de Sinkhorn, a política ótima para o problema DR-LQG permanece linear. Isso é crucial, pois evita a necessidade de políticas não-lineares complexas e computacionalmente intratáveis.
• Generalização do LQG Robusto: O trabalho estende resultados anteriores de LQG robusto baseado em transporte ótimo de Wasserstein para o caso de Sinkhorn. A introdução do termo de regularização KL altera fundamentalmente a geometria do conjunto de ambiguidade (tornando-o contínuo em vez de de suporte finito), invalidando técnicas de prova anteriores e exigindo novas ferramentas matemáticas.
• Novas Ferramentas Matemáticas:
  • Derivação de um limite inferior para o problema DR-LQG baseado em transporte ótimo regularizado.
  • Estabelecimento de uma desigualdade Gelbrich para a discrepância de Sinkhorn (não disponível na literatura anterior).
  • Prova de convexidade e compacidade do conjunto de ambiguidade de Gelbrich regularizado por entropia.
• Formulação Computacional: O problema é reformulado como um programa cônico finito (SDP), permitindo sua resolução eficiente.

4. Resultados e Simulações Numéricas

Os autores realizaram experimentos numéricos em um sistema linear discreto instável em malha aberta:

• Configuração: Compararam o controlador LQG clássico (baseado na distribuição nominal) com o controlador Sinkhorn DR-LQG.
• Desempenho Nominal: Quando os ruídos seguem a distribuição Gaussiana nominal, o controlador DR-LQG apresenta um custo médio ligeiramente maior (trade-off esperado entre desempenho nominal e robustez).
• Desempenho Robusto: Quando os ruídos são escolhidos adversariamente dentro do conjunto de ambiguidade (pior caso), o controlador Sinkhorn DR-LQG demonstra um custo médio significativamente menor em comparação ao LQG clássico, que falha sob essas condições.
• Validação: Os resultados validam a eficácia da abordagem em melhorar a robustez distribucional sem sacrificar a estrutura linear do controlador.

5. Significado e Impacto

Este trabalho é significativo porque:

1. Preserva a Estrutura Linear: Demonstra que a complexidade adicional introduzida pela robustez distribucional não força a adoção de políticas não-lineares para problemas LQG, mantendo a tratabilidade computacional.
2. Avança a Teoria de Controle Robusto: Oferece uma alternativa mais expressiva e menos conservadora que o controle $H_\infty$ (que lida com incertezas adversárias determinísticas) e mais robusta que o LQG clássico.
3. Aplicabilidade Prática: A formulação como programa cônico permite a implementação prática em sistemas de engenharia onde a incerteza na distribuição de ruído é uma preocupação real, garantindo estabilidade e desempenho mesmo sob desvios de modelo.

Em resumo, o artigo estabelece que, para o problema de controle LQG com incerteza modelada por discrepância de Sinkhorn, a melhor estratégia é ainda uma política de realimentação linear, com parâmetros otimizados para o pior caso de covariância dentro do conjunto de ambiguidade.