Exact and Approximate Convex Reformulation of Linear Stochastic Optimal Control with Chance Constraints

Resumo Técnico: Reformulação Convexa Exata e Aproximada de Controle Ótimo Estocástico Linear com Restrições de Probabilidade

1. Problema Abordado

O artigo aborda o problema de Planejamento de Movimento Estocástico e Controle Ótimo Estocástico para sistemas lineares de tempo discreto sujeitos a incertezas (ruído de processo e medição). O objetivo é encontrar uma lei de controle que minimize uma função de custo quadrática, garantindo ao mesmo tempo que o sistema satisfaça restrições de chance (chance constraints) com alta probabilidade.

As restrições de chance são fundamentais para garantir segurança em ambientes incertos, exigindo que:

• Restrições Lineares: $P(a^T x \leq b) \geq 1 - \epsilon$ (ex: limites de posição ou controle).
• Restrições Quadráticas: $P((x - E[x])^T Q^{-1} (x - E[x]) \leq 1) \geq 1 - \epsilon$ (ex: limites de covariância ou elipsoides de confiança).

O desafio central reside no fato de que, na formulação original, o problema é não-convexo e difícil de resolver numericamente, especialmente quando se considera restrições acopladas entre estados e controles em múltiplos passos de tempo. Métodos existentes frequentemente utilizam relaxações conservadoras ou linearizações que resultam em soluções subótimas ou inviáveis sob níveis de ruído elevados.

2. Metodologia Proposta

Os autores propõem uma metodologia de representação "levantada" (lifted representation) que transforma o problema estocástico original em um problema determinístico convexo equivalente (ou uma aproximação conservadora rigorosa).

Principais Pilares da Metodologia:

• Representação da Base Estocástica:
  Em vez de propagar apenas a média e a covariância (o que pode desacoplar o trade-off risco-desempenho), o método representa o estado $x_k$ e o controle $u_k$ explicitamente como combinações lineares de variáveis aleatórias gaussianas independentes (a base estocástica $e(k)$).

  • $x_k = \mu_k + \Psi_k e(k)$
  • $u_k = \nu_k + V_k e(k)$
    Onde $\mu, \nu$ são os vetores de média e $\Psi, V$ são matrizes que codificam a estrutura de covariância e a dependência causal do controle em relação ao ruído histórico.

• Reformulação Exata para Restrições Lineares:
  Demonstra-se que, sob a suposição de distribuições gaussianas, as restrições de chance lineares (incluindo restrições mistas de múltiplos passos de tempo) podem ser exatamente reformuladas como restrições de Cone de Segunda Ordem (SOCP). Isso elimina a necessidade de conservadorismo excessivo comum em métodos de linearização.

• Aproximações Convexas para Restrições Quadráticas:
  Para restrições de chance quadráticas (elipsoidais), os autores derivam duas aproximações convexas:

  1. Restrição LMI (Linear Matrix Inequality): Baseada na inclusão de conjuntos elipsoidais, utilizando o complemento de Schur. É mais precisa quando os autovalores da covariância são semelhantes.
  2. Restrição Quadrática: Baseada em limites de concentração (usando o traço da matriz de covariância e desigualdades de Markov/Chebyshev refinadas). É mais precisa quando a covariância é altamente anisotrópica (autovalores muito diferentes).

• Formulação Determinística Convexa:
  O problema original (Problem 1) é transformado no Problema 2, um problema de otimização convexa determinística sobre as variáveis de decisão $(\mu, \nu, \Psi, V)$. A função de custo e as dinâmicas são reescritas em termos dessas variáveis levantadas, mantendo a convexidade.

3. Contribuições Chave

1. Reformulação Exata sem Conservadorismo: O método fornece uma reformulação exata para restrições de chance lineares em sistemas lineares gaussianos, capturando a distribuição completa do estado e controle sem perda de informação.
2. Gestão de Múltiplos Passos de Tempo: A abordagem lida naturalmente com restrições acopladas entre diferentes instantes de tempo (ex: $P(a^T x_{0:N} + \alpha^T u_{0:N-1} \leq b) \geq 1-\epsilon$), algo que métodos anteriores tinham dificuldade em tratar sem conservadorismo.
3. Aproximações Menos Conservadoras: Para restrições quadráticas, oferece duas opções (LMI e Quadrática) que são provadamente menos conservadoras que métodos existentes (como o limite de Markov simples), adaptando-se à estrutura da covariância.
4. Prova de Equivalência: O Teorema 1 prova que a solução do problema convexo levantado é equivalente à solução ótima do problema estocástico original dentro da classe de políticas afins causais.

4. Resultados Experimentais

Os autores validaram a metodologia na geração de trajetórias de "minimum-snap" (mínimo de aceleração) para um quadricóptero em um plano 2D, comparando com abordagens de referência ([7] e [11]).

• Cenário "Circle Arena" (Arena Circular):

  • O método proposto reduziu o custo da trajetória em até 35,48% comparado à referência [7].
  • Robustez ao Ruído: O método permaneceu viável com desvio padrão de ruído ($\sigma$) até 0,85, enquanto as abordagens de referência tornaram-se inviáveis já em $\sigma \approx 0,06$. Isso representa uma melhoria de uma ordem de magnitude na capacidade de lidar com incerteza.

• Cenário "Funnel Corridor" (Corredor Funil):

  • Em corredos estreitos e com ruído moderado, houve melhoria de custo de até 43,65%.
  • Novamente, o método proposto manteve a viabilidade em níveis de ruído ($\sigma = 0,6$) onde os métodos de base falharam completamente.

• Restrições Quadráticas:

  • A comparação entre a aproximação LMI e a Quadrática mostrou que a escolha depende da anisotropia do ruído. O limite de Markov (usado em trabalhos anteriores) mostrou-se excessivamente conservador, levando a inviabilidade ou custos muito altos.

5. Significado e Impacto

Este trabalho é significativo porque:

• Supera Limitações de Conservadorismo: Ao eliminar o conservadorismo desnecessário nas restrições lineares, permite que robôs operem em espaços mais apertados e com trajetórias mais eficientes, mesmo sob incerteza.
• Viabilidade em Tempo Real: Ao converter um problema estocástico complexo em um problema convexo determinístico (SOCP/LMI), o método torna-se computacionalmente tratável para controle em tempo real.
• Segurança em Ambientes Hostis: A capacidade de operar com ruído uma ordem de magnitude maior que métodos anteriores torna a técnica crucial para aplicações em ambientes dinâmicos e imprevisíveis, como UAVs em ventos turbulentos ou veículos espaciais próximos a objetos interplanetários.

Em resumo, a paper oferece uma ponte teórica e prática robusta entre o controle estocástico teórico e a implementação prática, garantindo segurança probabilística sem sacrificar a otimização de desempenho.