Relative Entropy-Bounded Ambiguous Chance Constraints for Robust Planning in Nonlinear Systems

Enunciado do Problema
O artigo aborda o desafio de projetar políticas de orientação e controle robustas para sistemas estocásticos não lineares sob ambiguidade de distribuição. Os métodos tradicionais de controle com restrições de probabilidade (chance-constrained), particularmente dentro da estrutura de controle de covariância (covariance steering - CS), tipicamente assumem que a verdadeira distribuição de estado é conhecida exatamente e segue uma distribuição Gaussiana. Essas suposições são frequentemente inválidas para aplicações de engenharia do mundo real que envolvem dinâmicas altamente não lineares (por exemplo, orientação de espaçonaves no sistema Terra-Lua), onde as dinâmicas do sistema podem ser apenas modeladas aproximadamente ou onde as não linearidades degradam rapidamente a gaussianidade. Consequentemente, os métodos padrão podem falhar em quantificar com precisão o risco de violações de restrições, como colisões, quando a verdadeira função de densidade de probabilidade (PDF) desvia da referência Gaussiana nominal.

Metodologia
Os autores propõem um framework para "restrições de probabilidade distribuicionalmente robustas" utilizando um conjunto de ambiguidade limitado por entropia relativa (divergência de Kullback-Leibler, KLD). A metodologia procede através de etapas fundamentais:

1. Limite Superior Variacional: O artigo utiliza a fórmula variacional de Donsker–Varadhan para derivar um limite superior para o risco esperado (probabilidade de violação de restrição) sob uma distribuição verdadeira desconhecida $\pi_t$. Este limite é expresso em termos de uma distribuição de referência Gaussiana nominal $\hat{\pi}_t$ e a entropia relativa $R(\pi_t \| \hat{\pi}_t)$. O limite recupera o valor exato do risco da distribuição de referência conforme a entropia relativa se aproxima de zero.
2. Limitação do Crescimento da Entropia Relativa: Uma contribuição crítica é a derivação de um limite superior variante no tempo para a própria entropia relativa, sem exigir o conhecimento explícito da distribuição verdadeira. Ao analisar as equações de Fokker-Planck para ambas as densidades (verdadeira e de referência), os autores derivam uma desigualdade diferencial para a taxa de crescimento da entropia relativa. Esta taxa é limitada pelo erro quadrático esperado entre o drift não linear verdadeiro e o drift linearizado de referência, ponderado pela covariância do ruído do processo.
3. Tratamento da Não Linearidade: Para tornar o limite computável, os autores aproximam o erro de drift usando uma expansão de Taylor de segunda ordem (resto quadrático) centrada na média de referência. Eles aproveitam as propriedades dos momentos Gaussianos (especificamente a esperança de formas quadráticas) para expressar o limite em termos da matriz de covariância de referência e do Hessiano do drift não linear.
4. Implementação Numérica: O crescimento da taxa de entropia relativa derivado é integrado numericamente usando um método de Euler de primeira ordem dentro de um framework de otimização convexa. Os autores empregam uma relaxação convexa das restrições de controle de covariância (usando complementos de Schur) para resolver os ganhos de controle de feedback ótimos.

Principais Contribuições

• Limite de Risco sob Ambiguidade: O artigo estabelece um limite superior rigoroso para restrições de probabilidade que considera a ambiguidade de distribuição, preenchendo a lacuna entre o risco Gaussiano nominal e o risco de pior caso dentro de uma bola de entropia relativa.
• Dimensionamento Dinâmico do Conjunto de Ambiguidade: Diferente de trabalhos anteriores que frequentemente tratam o tamanho do conjunto de ambiguidade como um parâmetro fixo, este trabalho introduz um método fundamentado para determinar o limite superior da entropia relativa como uma função da evolução da covariância de referência e dos erros de truncamento dinâmico de segunda ordem. Isso permite que o tamanho do conjunto de ambiguidade seja controlado dinamicamente com base na não linearidade do sistema e nas características do ruído.
• Framework para CS Não Linear: O trabalho fornece um framework fundamental para incorporar a ambiguidade de distribuição em problemas de controle de covariância não lineares, indo além das limitações de suposições de sistemas lineares invariantes no tempo (LTI) ou misturas Gaussianas fixas.

Resultados
O método proposto é avaliado utilizando um problema de orientação de espaçonave estocástica não linear na região do problema circular restrito de três corpos (CRTBP) Terra-Lua.

• Configuração de Simulação: O cenário envolve o direcionamento da distribuição de uma espaçonave ao longo de um período orbital enquanto evita uma colisão com uma espaçonave "perseguidora" (chaser). Dois níveis diferentes de magnitude de difusão (níveis de ruído de processo) foram testados.
• Validação: Os autores compararam o limite superior da entropia relativa derivado contra um modelo "truth-surrogate", que calcula a KLD entre a Gaussiana de referência e uma redução Gaussiana de uma simulação de Monte Carlo de 4.000 tentativas.
• Descobertas:
  • O limite superior de entropia relativa derivado rastreou com sucesso a evolução da entropia relativa verdadeira, permanecendo válido (conservador) ao longo da trajetória para vários parâmetros de ajuste ($\gamma$).
  • Os resultados demonstraram que o risco nominal (calculado sob a suposição Gaussiana) subestima significativamente o risco real, particularmente na segunda metade da trajetória, onde os erros não lineares se acumulam.
  • O limite superior de risco proposto restringiu efetivamente tanto as probabilidades de risco nominal quanto as de risco real, fornecendo uma margem de segurança robusta.
  • O parâmetro de ajuste ótimo $\lambda^*$ para o limite variacional mostrou-se variante no tempo, dependente do limite da entropia relativa.

Significância
O artigo afirma fornecer as ferramentas fundamentais necessárias para lidar com a ambiguidade de distribuição em problemas de controle de covariância não lineares. Sua principal significância reside em oferecer um método para quantificar e limitar o risco sem assumir o conhecimento perfeito da distribuição de probabilidade do sistema. Ao vincular o tamanho do conjunto de ambiguidade diretamente aos erros dinâmicos do sistema e à evolução da covariância, a abordagem oferece uma maneira sistemática de projetar políticas de controle que sejam robustas a imprecisões de modelo e efeitos não lineares. Os autores posicionam este trabalho como um passo para tornar as restrições de probabilidade distribuicionalmente robustas operacionais em procedimentos de otimização convexa para sistemas complexos de engenharia.