Resumo Técnico: Método de Entropia Cruzada Eficiente em Amostragem e Suave

Declaração do Problema

O Controle Preditivo por Modelo (MPC) é uma abordagem padrão para controle ótimo não linear, contudo, resolver o problema de otimização subjacente permanece desafiador, particularmente para sistemas com dinâmicas não diferenciáveis ou funções de custo não convexas. Em tais cenários, métodos sem gradiente, como o Método de Entropia Cruzada (CEM), são preferidos. No entanto, o MPC baseado em CEM padrão (CEM-MPC) depende de amostragem aleatória para explorar o espaço de controle. Essa dependência apresenta duas limitações primárias:

1. Ineficiência: A amostragem aleatória frequentemente leva a uma exploração ineficiente, exigindo um grande número de amostras para alcançar resultados satisfatórios, o que é computacionalmente caro.
2. Não Suavidade: Mesmo com melhorias como correlações temporais (por exemplo, no CEM Melhorado ou iCEM), a amostragem aleatória pode produzir trajetórias de controle não suaves. Esse comportamento errático é indesejável na prática, pois pode danificar atuadores e causar comportamento instável do sistema.

Metodologia

Os autores propõem o Método de Entropia Cruzada com Amostragem Determinística (dsCEM), um framework que substitui o passo de amostragem aleatória no CEM-MPC por amostras determinísticas derivadas de Distribuições Cumulativas Localizadas (LCDs).

Mecanismo Central

Em vez de extrair amostras aleatórias de uma distribuição proposta, o dsCEM utiliza conjuntos de amostras ótimas pré-calculados baseados em LCDs. Essas amostras são projetadas para cobrir o espaço de solução com baixa discrepância, evitando o agrupamento e as lacunas inerentes à amostragem aleatória.

• Geração Offline: Amostras determinísticas ótimas $\{\tilde{\xi}^{(i)}\}$ são geradas offline para uma distribuição Gaussiana padrão isotrópica, minimizando uma distância modificada de Cramér–von Mises (CvM) entre a Gaussiana alvo e uma aproximação de mistura de Dirac.
• Transformação Online: Em tempo de execução, essas amostras pré-calculadas são transformadas para corresponder à distribuição proposta atual $N(\hat{\xi}_j, C_j)$ do otimizador CEM usando a transformação afim:
  $$\xi^{(i)} = \hat{\xi}_j + L_j \tilde{\xi}^{(i)}$$
  onde $L_j$ é a raiz quadrada matricial da matriz de covariância $C_j$.

Esquemas de Variabilidade e Adaptação

Para prevenir convergência prematura e garantir exploração adequada, os autores introduzem esquemas modulares para gerar conjuntos de amostras variados ao longo das iterações e passos de tempo:

• Esquemas de Variabilidade (V1–V3):
  • V1 (Rotação Aleatória): Rotaciona as amostras por uma matriz aleatória em cada iteração, introduzindo estocasticidade.
  • V2 (Densidade Conjunta Determinística): Pré-calcula amostras em um espaço de alta dimensão que abrange todas as iterações, particionando-as para fornecer conjuntos determinísticos únicos para cada passo.
  • V3 (Combinado): Rotaciona um conjunto de alta dimensão uma vez por passo de tempo do MPC, utilizando então as amostras resultantes de forma determinística para todas as iterações internas do CEM.
• Adaptação de Covariância (M1–M2):
  • M1 (Correlação Fixa, Variância Adaptativa): Mantém uma estrutura de correlação temporal fixa (derivada da densidade espectral de potência de ruído colorido) enquanto atualiza as variâncias marginais.
  • M2 (Covariância Completa Adaptativa): Atualiza a matriz de covariância completa online para adaptar as correlações temporais, exigindo um conjunto de elite maior.

Esses esquemas são projetados como substituições "plug-and-play" para o passo de amostragem em controladores baseados em CEM existentes.

Contribuições Principais

1. Framework Inovador: Introdução do dsCEM, que integra amostragem determinística via LCDs no loop do CEM-MPC.
2. Design Modular: Os esquemas de amostragem propostos são ortogonais a outras melhorias do CEM (por exemplo, inicialização quente baseada em aprendizado) e podem ser combinados com eles.
3. Suavidade e Eficiência: O método visa explicitamente a geração de trajetórias de controle suaves sem exigir penalidades de suavidade explícitas ou hiperparâmetros adicionais, enquanto melhora simultaneamente a eficiência de amostragem.

Resultados Experimentais

Os autores avaliaram o dsCEM contra o método iCEM, estado da arte, em dois benchmarks de controle não linear: a tarefa Mountain Car e a tarefa Cart-Pole Swing-Up. A avaliação focou no custo cumulativo e na suavidade da entrada de controle através de tamanhos de amostra variados ($N_{CEM}$ de 20 a 300).

• Desempenho: Em ambas as tarefas, as variantes do dsCEM superaram consistentemente o iCEM em termos de custo cumulativo, particularmente no regime de baixa amostragem. Embora o desempenho tenha convergido para tamanhos de amostra maiores, o dsCEM alcançou resultados comparáveis a uma linha de base iCEM com $10^4$ amostras usando significativamente menos amostras.
• Suavidade: O dsCEM produziu trajetórias de controle significativamente mais suaves que o iCEM. Notavelmente, a variante totalmente determinística (dsCEM-Var V2) alcançou a maior suavidade, frequentemente superando a extensa linha de base iCEM mesmo com uma fração do orçamento de amostras.
• Convergência: Nos gráficos de convergência (tamanho de amostra fixo de 50), as variantes do dsCEM demonstraram convergência mais rápida para custos de estágio baixos em comparação com o iCEM.
• Sobrecarga Computacional: Os autores relatam nenhuma sobrecarga de tempo de execução mensurável decorrente dos esquemas de amostragem determinística e variação em comparação com a amostragem aleatória, sendo a paralelização capaz de reduzir ainda mais o tempo de execução.

Significado e Alegações

O artigo afirma que substituir a amostragem aleatória por amostragem determinística baseada em LCDs aborda as ineficiências fundamentais do CEM-MPC. O significado deste trabalho reside em:

• Eficiência de Amostragem: Permitir controle de alto desempenho com menos amostras, o que é crítico para aplicações em tempo real onde os recursos computacionais são limitados.
• Suavidade Inerente: Alcançar entradas de controle suaves naturalmente através da estrutura do processo de amostragem, em vez de através de termos de penalidade adicionais.
• Implantação Prática: A redução nos requisitos de amostras diminui a carga computacional em todas as etapas do algoritmo CEM (amostragem, seleção de elite, disparo de trajetória e avaliação de custo). Isso torna o MPC viável para sistemas com modelos complexos e horizontes de previsão mais longos em hardware com capacidades limitadas de paralelização.

Os autores concluem que o dsCEM é uma opção promissora para controle em tempo real em hardware com restrições computacionais e sugerem que sua natureza ortogonal permite futuras combinações com melhorias baseadas em aprendizado.