Résumé technique : Contrôle Prédictif de Modèle basé sur l'Échantillonnage utilisant des Régions de Confiance

Énoncé du problème

Les algorithmes de Contrôle Prédictif de Modèle (MPC) basés sur l'échantillonnage, tels que la méthode de l'entropie croisée (CEM) et l'intégrale de chemin prédictive de modèle (MPPI), résolvent des problèmes de contrôle optimal en affinant itérativement une fonction de densité de probabilité (PDF) de proposition sur les séquences de contrôle. Ces méthodes génèrent des échantillons, évaluent les coûts de trajectoire et mettent à jour les paramètres de proposition. Cependant, les approches actuelles reposent fortement sur des stratégies heuristiques pour l'adaptation des hyperparamètres, telles que :

• Paramètres de température : Utilisés dans MPPI pour contrôler la netteté du pondération par importance, souvent maintenus constants ou ajustés de manière heuristique.
• Momentum/Lissage : Utilisés dans CEM et MPPI itératif pour empêcher l'effondrement prématuré de la distribution de proposition.

Ces heuristiques sont difficiles à régler et peuvent compromettre la convergence ou les performances dans différents contextes de problèmes. De plus, l'échantillonnage aléatoire standard peut être inefficace, nécessitant de grandes tailles d'échantillons pour obtenir des trajectoires de contrôle lisses et une convergence fiable, en particulier dans les régimes à faible nombre d'échantillons et à faible nombre d'itérations.

Méthodologie

Les auteurs proposent un cadre fondé sur des principes qui remplace le réglage heuristique des hyperparamètres par une formulation de région de confiance dérivée de l'optimisation duale.

1. Formulation de région de confiance

Le cœur de la méthode contraint la mise à jour de la distribution de proposition $f_{j+1}$ par rapport à la distribution précédente $f_j$ en utilisant une borne de divergence de Kullback–Leibler (KL). Le problème d'optimisation est défini comme suit :
$$\min_{f_{j+1}} \mathbb{E}_{f_{j+1}}[J(\bar{\xi})]$$
Sous les contraintes :

• $D_{KL}(f_{j+1} \| f_j) \leq \epsilon$ (Contrainte de région de confiance)
• $H(f_{j+1}) \geq H_{min}$ (Borne inférieure d'entropie facultative pour prévenir l'effondrement)
• Contraintes de normalisation

Ici, $J(\bar{\xi})$ représente le coût cumulatif, $\epsilon$ est la divergence maximale autorisée, et $H_{min}$ est l'entropie minimale requise.

2. Optimisation duale et dérivation des poids

Le problème contraint est résolu à l'aide de multiplicateurs de Lagrange ($\eta$ pour KL, $\alpha$ pour l'entropie, $\nu$ pour la normalisation). En prenant la dérivée fonctionnelle du lagrangien, les auteurs dérivent la distribution de proposition optimale :
$$f^*_{j+1}(\bar{\xi}) = \frac{1}{Z_{\eta,\alpha}} f_j(\bar{\xi})^{\frac{\eta}{\eta+\alpha}} \exp\left(-\frac{J(\bar{\xi})}{\eta + \alpha}\right)$$
Les multiplicateurs de Lagrange optimaux $\eta^*$ et $\alpha^*$ sont obtenus en résolvant numériquement le problème de maximisation duale. Ce processus produit des poids optimaux pour les trajectoires échantillonnées sans réglage manuel. Lorsque la contrainte d'entropie est inactive ($\alpha^*=0$), la formulation coïncide avec la pondération MPPI standard, mais elle est dérivée de manière optimale plutôt qu'heuristique.

3. Projection et échantillonnage

Puisque la distribution optimale $f^*_{j+1}$ est généralement non gaussienne (sauf si $\alpha^*=0$), elle est projetée sur la famille paramétrique d'origine (par exemple, gaussienne) via un appariement de moments. La moyenne empirique pondérée et la covariance sont utilisées pour mettre à jour les paramètres de proposition pour l'itération suivante.

4. Améliorations algorithmiques

Pour améliorer davantage l'efficacité, les auteurs intègrent l'échantillonnage par Distribution Cumulative Localisée Déterministe (LCD) :

• Échantillonnage LCD : Des échantillons déterministes précalculés sont utilisés pour représenter de manière optimale la distribution normale standard.
• Transformation : Ces échantillons sont mappés aux paramètres de proposition actuels via un échelonnement et une matrice de rotation aléatoire (tirée de $SO(d_\xi)$) pour préserver l'optimalité tout en introduisant la stochasticité nécessaire.
• Mise en mémoire tampon : Un tampon conserve les meilleures trajectoires des itérations précédentes pour amorcer le processus d'optimisation.
• Covariance corrélée dans le temps : Une structure de corrélation fixe (bruit coloré) est appliquée pour encourager des trajectoires de contrôle lisses, seules les variances marginales étant mises à jour lors de l'optimisation.

Contributions clés

1. Mise à jour de région de confiance fondée sur des principes : L'article introduit une règle de mise à jour contrainte par KL pour le MPC basé sur l'échantillonnage qui élimine le besoin de réglage heuristique de la température ou du momentum. Les hyperparamètres sont dérivés comme solutions optimales d'un problème d'optimisation duale.
2. Intégration avec l'échantillonnage déterministe : La mise à jour de région de confiance est combinée à un échantillonnage déterministe basé sur LCD. Cette combinaison s'avère améliorer l'efficacité de l'échantillonnage et la convergence, en particulier dans les régimes à budgets de calcul limités (faibles nombres d'échantillons et peu d'itérations).
3. Évaluation complète : La méthode est évaluée par rapport à des bases heuristiques (MPPI et CEM) en utilisant des stratégies d'échantillonnage aléatoire, à faible discrépance (Sobol, Halton) et déterministe LCD dans deux environnements de référence.

Résultats expérimentaux

La méthode proposée a été testée sur deux environnements : Cart-Pole Swing-Up (balancement du pendule inversé sur un chariot) et Truck Backer-Upper (manœuvre de recul d'un camion).

• Efficacité de l'échantillonnage : Dans les régimes à faible nombre d'échantillons (par exemple, $N < 100$), les variantes de région de confiance ont systématiquement atteint des coûts cumulatifs inférieurs à ceux des variantes heuristiques. La combinaison de la région de confiance et de l'échantillonnage LCD (dsTR) a surpassé toutes les autres méthodes, y compris dsCEM et MPPI heuristique.
• Convergence : Les variantes de région de confiance ont démontré une convergence plus rapide, atteignant des coûts cumulatifs médians inférieurs avec moins d'itérations. Dans la tâche Truck Backer-Upper, les variantes heuristiques n'ont pas réussi à atteindre le coût réalisé par les variantes de région de confiance même après dix itérations, alors que les variantes de région de confiance y sont parvenues en seulement trois.
• Lissage du contrôle : La méthode dsTR a généralement atteint le meilleur équilibre entre faible coût et haute lisibilité. Bien que certaines variantes heuristiques avec échantillonnage aléatoire aient montré des contrôles légèrement plus lisses dans des scénarios spécifiques de pendule inversé sur chariot, dsTR a maintenu des performances globales supérieures.
• Temps d'exécution : Les mises à jour de région de confiance entraînent un coût de calcul par étape plus élevé que les méthodes heuristiques en raison de l'étape supplémentaire d'optimisation duale. Cependant, l'amélioration de l'efficacité de l'échantillonnage signifie que moins d'échantillons sont nécessaires pour atteindre une performance cible, ce qui peut compenser les coûts de temps d'exécution, en particulier sur du matériel parallèle.

Importance et revendications

Les auteurs affirment que la formulation de région de confiance proposée fournit une alternative fondée sur des principes à l'adaptation heuristique des paramètres dans le MPC basé sur l'échantillonnage. En dérivant les poids de mise à jour à partir d'un problème d'optimisation contraint, la méthode assure un apprentissage stable et empêche les mises à jour agressives qui pourraient dégrader les performances.

L'article souligne que la combinaison des mises à jour de région de confiance avec l'échantillonnage déterministe LCD est particulièrement efficace pour les applications aux ressources contraintes. Elle atteint une convergence plus rapide et une meilleure efficacité de l'échantillonnage dans les régimes à faible nombre d'échantillons et à faible nombre d'itérations sans sacrifier la lisibilité du contrôle. Les auteurs suggèrent que cette approche convient bien aux applications réelles où une convergence fiable et une efficacité de l'échantillonnage sont critiques, notant que la réduction de la taille d'échantillon requise se traduit directement par une réduction du temps de calcul sur du matériel parallèle.