Distributionally Robust Regret Optimal Control Under Moment-Based Ambiguity Sets

Resumo Técnico: Controle Ótimo de Regret Robusto Distribucionalmente sob Conjuntos de Ambiguidade Baseados em Momentos

1. Problema Investigado

O artigo aborda o desafio do controle de sistemas dinâmicos lineares sujeitos a perturbações estocásticas, onde a distribuição de probabilidade real do ruído é desconhecida.

• Contexto: Em vez de assumir uma distribuição fixa (como na teoria de controle estocástico clássica), o autor considera que a distribuição verdadeira pertence a um conjunto de ambiguidade.
• Conjuntos de Ambiguidade Propostos: O conjunto é definido por restrições nos momentos (média e covariância) da distribuição. Especificamente, a média e a matriz de covariância devem residir dentro de bolas de norma centradas em valores nominais (estimados a partir de dados):
  • A média está dentro de uma bola de norma euclidiana.
  • A covariância está dentro de uma bola de norma de Schatten $p$ (que generaliza normas como a nuclear, Frobenius e espectral).
• Objetivo: Projetar políticas de controle afins causais que minimizem o pior caso do regret esperado sobre todas as distribuições no conjunto de ambiguidade.
  • Definição de Regret: A diferença entre o custo incurrido pelo controlador causal e o custo mínimo alcançável por um controlador não causal (que tem conhecimento perfeito do futuro das perturbações).
  • Motivação: Minimizar o regret tende a produzir controladores menos conservadores do que a minimização direta do pior caso de custo, evitando perdas excessivas de desempenho quando a distribuição real é menos severa do que o previsto.

2. Metodologia

Os autores desenvolvem uma abordagem teórica e algorítmica para resolver o problema de otimização minimax resultante.

• Reformulação Convexa:

  • O problema original (minimizar o supremo do regret esperado) é reformulado como um programa convexo tratável de dimensão finita.
  • A solução ótima é mostrada ser uma política de feedback afim da forma $\phi(w) = K(w - \hat{\mu}) + K_o\hat{\mu}$, onde $K_o$ é o controlador não causal ótimo nominal e $K$ é um ganho de feedback a ser otimizado.
  • O problema de otimização para $K$ é equivalente a um problema de controle linear-quadrático (LQ) com regularização. A função objetivo inclui:
    1. O custo esperado nominal (sob a covariância nominal).
    2. Um termo de penalidade baseado na norma espectral (derivado da incerteza na média).
    3. Um termo de penalidade baseado na norma de Schatten dual (derivado da incerteza na covariância).
  • Esta reformulação permite interpretar o controlador robusto como uma interpolação entre o controle LQ clássico, o controle robusto de regret (sem incerteza estocástica) e o controle estocástico nominal.

• Algoritmo de Solução (Método do Subgradiente Projetado Dual):

  • Embora o problema possa ser formulado como um Programa Semidefinido (SDP), a resolução de SDPs em grande escala é computacionalmente proibitiva.
  • Os autores propõem um algoritmo de subgradiente projetado aplicado ao problema dual.
  • Vantagem: Quando a covariância nominal é definida positiva, o problema dual torna-se diferenciável, reduzindo o método a um gradiente projetado ascendente, permitindo o uso de técnicas de aceleração (como momentum e busca de linha).
  • A projeção no conjunto de restrições é realizada eficientemente utilizando decomposições espectrais e projeções em bolas de norma $\ell_p$ sobre os autovalores.

3. Principais Contribuições

1. Novos Conjuntos de Ambiguidade: Introdução de conjuntos de ambiguidade baseados em normas de Schatten para a covariância, permitindo modelar diferentes formas de incerteza (ex: nuclear para esparsidade, espectral para limites de energia) e generalizar trabalhos anteriores baseados em distâncias de Wasserstein.
2. Reformulação Tractable: Demonstração de que o problema de controle ótimo de regret robusto distribucionalmente pode ser reescrito como um programa convexo finito, interpretável como um problema LQ regularizado.
3. Algoritmo Escalável: Desenvolvimento de um método numérico eficiente (subgradiente projetado dual) que supera a escalabilidade dos métodos de ponto interior tradicionais para SDPs, permitindo a aplicação em sistemas de maior dimensão.
4. Generalização: O framework proposto generaliza o controle ótimo de regret robusto (baseado em conjuntos normados determinísticos) para o contexto estocástico.

4. Resultados Numéricos

Os autores realizaram experimentos em um sistema de duplo integrador amortecido com perturbações AR(1) (auto-regressivas) para avaliar o desempenho fora da amostra (out-of-sample).

• Comparação: O método proposto foi comparado com:
  • Métodos baseados em conjuntos de ambiguidade de Wasserstein (regret e custo).
  • Aproximação da Média Amostral (SAA).
  • Controlador Causal Ótimo (que conhece a distribuição verdadeira).
• Desempenho:
  • Os controladores baseados em normas de Schatten (especialmente SPEC-REGRET e FROB-REGRET) demonstraram superioridade consistente em termos de custo esperado fora da amostra em comparação com os métodos baseados em Wasserstein e SAA.
  • O controlador SPEC-REGRET (baseado em norma espectral) mostrou-se particularmente eficaz, alcançando desempenho próximo ao do controlador causal ótimo quando a perturbação é não correlacionada no tempo.
  • A escolha do raio do conjunto de ambiguidade é crucial; o método proposto permite um equilíbrio melhor entre robustez e desempenho nominal.
• Escalabilidade: O algoritmo proposto convergiu significativamente mais rápido (em segundos) do que os solvers de ponto interior para SDPs (que levaram minutos ou falharam por falta de memória) à medida que o horizonte de controle aumentava.

5. Significado e Impacto

Este trabalho oferece uma ponte teórica e prática importante entre o controle robusto determinístico e o controle estocástico baseado em dados.

• Redução de Conservadorismo: Ao focar no regret em vez do custo absoluto, o método evita políticas excessivamente cautelosas que degradam o desempenho em cenários comuns.
• Flexibilidade de Modelagem: A utilização de normas de Schatten permite aos engenheiros ajustar a forma da incerteza na covariância (ex: priorizar a estrutura de baixo posto ou limites de energia) de forma mais flexível do que as bolas de Wasserstein.
• Viabilidade Computacional: A proposta de um algoritmo escalável torna viável a aplicação de controle robusto distribucionalmente em sistemas dinâmicos complexos e de grande escala, onde métodos baseados em SDP seriam inviáveis.

Em suma, o artigo estabelece um novo paradigma para o projeto de controladores que são simultaneamente robustos a erros de estimação de distribuição e otimizados para desempenho, com garantias teóricas e eficiência computacional comprovada.