Resumo Técnico: Controle Preditivo Baseado em Modelo com Amostragem Suave Usando Amostras Determinísticas

Definição do Problema

O Controle Preditivo Baseado em Modelo (MPC) baseado em amostragem ganhou destaque por sua capacidade de lidar com sistemas não lineares complexos e funções de custo não convexas sem depender de otimização baseada em gradiente. No entanto, uma limitação crítica dos métodos existentes, como o Método de Entropia Cruzada (CEM) e o Controle de Integral de Caminho de MPPI (MPPI), é a geração de entradas de controle não suaves. Este problema surge porque a atualização dos parâmetros da distribuição de proposta é aproximada usando um número finito de amostras aleatórias, o que leva a estimativas ruidosas. Em aplicações práticas, tais entradas ruidosas podem causar desgaste excessivo de atuadores, reversões rápidas de velocidade e alternância de torque. Embora técnicas de pós-processamento, como a filtragem passa-baixa, sejam comumente utilizadas para mitigar isso, elas resultam em desempenho subótimo porque o suavizamento não é integrado ao processo de otimização.

Metodologia

O artigo propõe o dsMPPI (deterministic sampling MPPI), um novo algoritmo que integra os pontos fortes do CEM e do MPPI com a amostragem determinística para produzir trajetórias de controle mais suaves. Os componentes principais do dsMPPI incluem:

1. Amostragem Determinística: Em vez de amostragem aleatória, o método utiliza amostras determinísticas geradas offline minimizando a distância de Cramér–von Mises (CvM) modificada. Essas amostras são transformadas online para corresponder aos parâmetros da distribuição de proposta atual (média e covariância). Isso garante baixa discrepância, cobrindo o espaço de busca sem agrupamentos ou lacunas.
2. Ponderação Exponencial (estilo MPPI): Diferente do CEM padrão, que depende de uma seleção de elite "rígida" (ponderando igualmente o conjunto superior de $N$ amostras), o dsMPPI utiliza um esquema de ponderação exponencial suave baseado nos custos das amostras: $w^{(i)} \propto \exp(-J(\bar{\xi}^{(i)})/\lambda)$. Isso permite atualizações mais suaves da distribuição de proposta.
3. Otimização Iterativa: O algoritmo realiza múltiplas iterações ($j_{max}$) por passo de tempo para refinar a distribuição de proposta, de forma semelhante ao CEM melhorado (iCEM), em vez da atualização de passo único típica do MPPI padrão.
4. Suavização por Momento: Para estabilizar a otimização e evitar a convergência prematura, a suavização por momento é aplicada tanto na atualização da média quanto na da covariância.
5. Temperatura Adaptativa: Um parâmetro de temperatura inversa ($\lambda$) é adaptado heuristicamente em cada iteração com base na constante de normalização dos pesos, garantindo um desempenho robusto sem necessidade de ajuste manual.
6. Esquemas de Variação para Exploração: Para evitar uma exploração deficiente ao reutilizar amostras determinísticas, dois esquemas de variação são introduzidos:
   • Método de múltiplas iterações: Selecionar diferentes subconjuntos de um pool maior de amostras pré-calculadas para cada iteração.
   • Método de permutação: Permutar aleatoriamente as dimensões das amostras determinísticas em cada iteração. Esta abordagem requer o armazenamento de apenas um conjunto de amostras, enquanto promove a diversidade através do embaralhamento de dimensões.
7. Correlações Temporais: Para aumentar ainda mais a suavidade, a matriz de covariância é construída usando uma matriz de correlação temporal fixa derivada de ruído colorido (lei da densidade espectral de potência), atualizando apenas as variâncias marginais para manter a eficiência computacional.

Principais Contribuições

• Algoritmo dsMPPI: A integração da amostragem determinística com a ponderação exponencial do MPPI e a estrutura iterativa do CEM.
• Esquema de Variação por Permutação: Um método eficiente em termos de memória para aumentar a exploração com amostras determinísticas através do embaralhamento de dimensões, oferecendo um equilíbrio entre desempenho de custo e suavidade em comparação com o método de subconjunto de múltiplas iterações.
• Avaliação Abrangente: Simulações extensas em duas tarefas de benchmark não lineares: o balanço do pêndulo (cart-pole swing-up) e o recuo do caminhão (truck backer-upper).

Resultados Experimentais

O dsMPPI proposto foi avaliado contra o MPPI padrão, o dsCEM (CEM de amostragem determinística) e uma variante iterativa de amostragem aleatória (MPPI Iterativo).

• Suavidade: O dsMPPI alcançou consistentemente as entradas de controle mais suaves em ambas as tarefas. No balanço do pêndulo, superou tanto o dsCEM quanto o MPPI Iterativo, particularmente na "suavidade de assentamento" (a segunda metade da trajetória), que é crítica para evitar oscilações próximo ao ponto de ajuste. As visualizações confirmaram uma redução significativa de chattering (trepidação) em comparação ao MPPI padrão.
• Desempenho de Custo: Embora o dsCEM tenha geralmente alcançado custos cumulativos ligeiramente menores que o dsMPPI, o dsMPPI superou consistentemente seu contraparte de amostragem aleatória (MPPI Iterativo), demonstrando os benefícios da amostragem determinística. O esquema de permutação mostrou uma leve vantagem de custo sobre o método de múltiplas iterações, particularmente em tamanhos de amostra menores.
• Eficiência Computacional: O MPPI padrão foi o mais rápido devido à sua natureza não iterativa. No entanto, todos os métodos iterativos (dsMPPI, dsCEM, MPPI Iterativo) exibiram tempos de computação semelhantes. Crucialmente, o uso de amostragem determinística não acarretou nenhum overhead computacional online adicional em comparação com a amostragem aleatória.

Significância e Alegações

O artigo afirma que o dsMPPI aproveita efetivamente a ponderação exponencial do MPPI junto com a eficiência e as propriedades de baixa discrepância das amostras determinísticas. A principal significância reside na capacidade de gerar trajetórias de controle significativamente mais suaves sem a necessidade de filtragem de pós-processamento subótima. Essa redução no estresse mecânico e no desgaste do atuador torna o método particularmente adequado para aplicações do mundo real. Além disso, os autores enfatizam que essas melhorias são alcançadas sem aumentar o ônus computacional online, tornando o dsMPPI um upgrade convincente para as implementações existentes de MPC baseado em amostragem. O esquema de variação por permutação é destacado como uma contribuição inovadora que equilibra exploração e eficiência de memória.