Resumo Técnico: Controle Preditivo Baseado em Modelos com Amostragem Utilizando Regiões de Confiança

Declaração do Problema

Algoritmos de Controle Preditivo Baseado em Modelos (MPC) com amostragem, como o Método de Entropia Cruzada (CEM) e o Integral de Caminho Preditivo por Modelo (MPPI), resolvem problemas de controle ótimo refinando iterativamente uma função de densidade de probabilidade (PDF) proposta sobre sequências de controle. Esses métodos extraem amostras, avaliam custos de trajetória e atualizam parâmetros da proposta. No entanto, as abordagens atuais dependem fortemente de estratégias heurísticas para adaptação de hiperparâmetros, tais como:

• Parâmetros de temperatura: Utilizados no MPPI para controlar a nitidez do ponderamento por importância, frequentemente mantidos constantes ou ajustados de forma heurística.
• Momento/Alisamento: Utilizados no CEM e no MPPI iterativo para evitar o colapso prematuro da distribuição proposta.

Essas heurísticas são difíceis de sintonizar e podem comprometer a convergência ou o desempenho em diferentes configurações de problemas. Além disso, a amostragem aleatória padrão pode ser ineficiente, exigindo grandes tamanhos de amostra para alcançar trajetórias de controle suaves e convergência confiável, particularmente em regimes de baixa amostragem e baixa iteração.

Metodologia

Os autores propõem uma estrutura fundamentada que substitui a sintonia heurística de hiperparâmetros por uma formulação de Região de Confiança derivada da otimização dual.

1. Formulação de Região de Confiança

O núcleo do método restringe a atualização da distribuição proposta $f_{j+1}$ em relação à distribuição anterior $f_j$ utilizando um limite de divergência de Kullback–Leibler (KL). O problema de otimização é definido como:
$$\min_{f_{j+1}} \mathbb{E}_{f_{j+1}}[J(\bar{\xi})]$$
Sujeito a:

• $D_{KL}(f_{j+1} \| f_j) \leq \epsilon$ (Restrição de região de confiança)
• $H(f_{j+1}) \geq H_{min}$ (Limite inferior opcional de entropia para evitar colapso)
• Restrições de normalização

Aqui, $J(\bar{\xi})$ é o custo cumulativo, $\epsilon$ é a divergência máxima permitida e $H_{min}$ é a entropia mínima requerida.

2. Otimização Dual e Derivação de Pesos

O problema restrito é resolvido utilizando multiplicadores de Lagrange ($\eta$ para KL, $\alpha$ para entropia, $\nu$ para normalização). Ao tomar a derivada funcional do Lagrangiano, os autores derivam a distribuição proposta ótima:
$$f^*_{j+1}(\bar{\xi}) = \frac{1}{Z_{\eta,\alpha}} f_j(\bar{\xi})^{\frac{\eta}{\eta+\alpha}} \exp\left(-\frac{J(\bar{\xi})}{\eta + \alpha}\right)$$
Os multiplicadores de Lagrange ótimos $\eta^*$ e $\alpha^*$ são encontrados resolvendo numericamente o problema de maximização dual. Esse processo produz pesos ótimos para as trajetórias amostradas sem sintonia manual. Quando a restrição de entropia está inativa ($\alpha^*=0$), a formulação coincide com o ponderamento padrão do MPPI, mas é derivada de forma ótima em vez de heurística.

3. Projeção e Amostragem

Como a $f^*_{j+1}$ ótima é geralmente não-Gaussiana (a menos que $\alpha^*=0$), ela é projetada de volta para a família paramétrica original (por exemplo, Gaussiana) via correspondência de momentos. A média empírica ponderada e a covariância são usadas para atualizar os parâmetros da proposta para a próxima iteração.

4. Melhorias Algorítmicas

Para melhorar ainda mais a eficiência, os autores integram a amostragem Determinística de Distribuição Cumulativa Localizada (LCD):

• Amostragem LCD: Amostras determinísticas pré-calculadas são usadas para representar a distribuição normal padrão de forma ótima.
• Transformação: Essas amostras são mapeadas para os parâmetros da proposta atual via escalonamento e uma matriz de rotação aleatória (extraída de $SO(d_\xi)$) para preservar a optimalidade enquanto introduzem a estocasticidade necessária.
• Armazenamento em Buffer: Um buffer retém as melhores trajetórias de iterações anteriores para iniciar a otimização de forma quente.
• Covariância Correlacionada no Tempo: Uma estrutura de correlação fixa (ruído colorido) é aplicada para incentivar trajetórias de controle suaves, com apenas as variâncias marginais atualizadas durante a otimização.

Principais Contribuições

1. Atualização de Região de Confiança Fundamentada: O artigo introduz uma regra de atualização restrita por KL para MPC baseado em amostragem que elimina a necessidade de sintonia heurística de temperatura ou momento. Os hiperparâmetros são derivados como soluções ótimas de um problema de otimização dual.
2. Integração com Amostragem Determinística: A atualização de região de confiança é combinada com amostragem determinística baseada em LCD. Essa combinação demonstra melhorar a eficiência de amostragem e a convergência, particularmente em regimes com orçamentos computacionais limitados (baixas contagens de amostras e poucas iterações).
3. Avaliação Abrangente: O método é avaliado contra bases heurísticas (MPPI e CEM) utilizando estratégias de amostragem aleatória, de baixa discrepância (Sobol, Halton) e determinística LCD em dois ambientes de referência.

Resultados Experimentais

O método proposto foi testado em dois ambientes: Cart-Pole Swing-Up (Balancim de Pólo) e Truck Backer-Upper (Caminhão Reversor).

• Eficiência de Amostragem: Em regimes de baixa amostragem (por exemplo, $N < 100$), as variantes de região de confiança alcançaram consistentemente custos cumulativos menores do que as variantes heurísticas. A combinação de Região de Confiança e amostragem LCD (dsTR) superou todos os outros métodos, incluindo dsCEM e MPPI heurístico.
• Convergência: As variantes de região de confiança demonstraram convergência mais rápida, alcançando custos cumulativos medianos menores com menos iterações. Na tarefa de Truck Backer-Upper, as variantes heurísticas falharam em alcançar o custo atingido pelas variantes de região de confiança mesmo após dez iterações, enquanto as variantes de região de confiança alcançaram isso com apenas três.
• Suavidade de Controle: O método dsTR geralmente alcançou o melhor equilíbrio entre baixo custo e alta suavidade. Embora algumas variantes heurísticas com amostragem aleatória mostraram controles ligeiramente mais suaves em cenários específicos de cart-pole, o dsTR manteve desempenho geral superior.
• Tempo de Execução: As atualizações de região de confiança incorrem em um custo computacional maior por etapa do que os métodos heurísticos devido à etapa adicional de otimização dual. No entanto, a maior eficiência de amostragem significa que menos amostras são necessárias para alcançar um desempenho alvo, o que pode compensar os custos de tempo de execução, especialmente em hardware paralelo.

Significado e Alegações

Os autores afirmam que a formulação de região de confiança proposta fornece uma alternativa fundamentada à adaptação heurística de parâmetros no MPC baseado em amostragem. Ao derivar pesos de atualização a partir de um problema de otimização restrito, o método garante aprendizado estável e evita atualizações agressivas que poderiam degradar o desempenho.

O artigo enfatiza que a combinação de atualizações de região de confiança com amostragem determinística LCD é particularmente eficaz para aplicações com recursos restritos. Ela alcança convergência mais rápida e melhor eficiência de amostragem em regimes de baixa amostragem e baixa iteração sem sacrificar a suavidade do controle. Os autores sugerem que essa abordagem é bem adequada para aplicações do mundo real onde convergência confiável e eficiência de amostragem são críticas, observando que a redução do tamanho de amostra requerido se traduz diretamente em tempo de computação reduzido em hardware paralelo.