LP-MPPI: Low-Pass Filtering for Efficient Model Predictive Path Integral Control

Résumé Technique : LP-MPPI : Filtrage Passe-Bas pour un Contrôle par Intégrale de Trajectoire Prédictive de Modèle Efficace

Énoncé du Problème
Le contrôle par Intégrale de Trajectoire Prédictive de Modèle (MPPI) est une approche de planification de mouvement robuste et basée sur l'échantillonnage, appréciée pour sa capacité à gérer des dynamiques et des fonctions de coût arbitraires sans nécessiter de différentiabilité. Cependant, le MPPI standard repose sur l'échantillonnage de perturbations de trajectoires de commande à partir d'une distribution de bruit blanc (Gaussienne avec des éléments indépendants). Cela entraîne un manque de corrélation temporelle au sein des trajectoires, introduisant efficacement du bruit haute fréquence. Dans les systèmes robotiques, où les dynamiques atténuent naturellement les hautes fréquences, ces composantes ne contribuent pas à la recherche de contrôles optimaux. Au lieu de cela, elles provoquent un « chattering » (tremblement) dans les signaux de commande appliqués, entraînant l'usure des actionneurs et des processus de recherche inefficaces. Les solutions existantes, telles que l'interpolation par spline ou le way of lifting d'entrée, n'offrent qu'un contrôle grossier ou indirect sur le spectre de fréquences. D'autres approches utilisant du bruit coloré (par exemple, dans iCEM ou des variantes spécifiques de MPPI) atténuent les composantes du signal proportionnellement à l'inverse de leur fréquence, ce qui peut biaiser excessivement la recherche vers les plus basses fréquences, risquant ainsi de manquer des comportements optimaux qui nécessitent des variations de fréquence modérées (par exemple, dans la locomotion quadrupède).

Méthodologie
Les auteurs proposent le Contrôle par Intégrale de Trajectoire Prédictive de Modèle à Passe-Bas (LP-MPPI), qui intègre directement un filtre passe-bas dans le processus d'échantillonnage du MPPI.

• Mécanisme Central : Contra à le MPPI standard qui échantillonne un bruit blanc $\epsilon$ et l'ajoute à la commande nominale $U$, le LP-MPPI échantillonne un bruit blanc puis le fait passer par un filtre passe-bas (spécifiquement un filtre Butterworth) pour générer des perturbations filtrées $\epsilon_{LP}$. La séquence de commande est ensuite mise à jour comme $U + \epsilon_{LP}$.
• Mise en Forme de la Fréquence : Cette approche introduit une corrélation temporelle aux perturbations, façonnant ainsi le spectre de fréquence de la distribution de recherche. Elle biaise la recherche vers des signaux basse fréquence tout en permettant à l'utilisateur de définir explicitement la bande passante.
• Paramètres : La méthode introduit deux paramètres physiques interprétables :
  1. Fréquence de Coupure ($f_c$) : Contrôle la largeur de la bande passante, déterminant la plage de fréquences ayant la densité de puissance la plus élevée dans les perturbations.
  2. Ordre du Filtre ($o_{LPF}$) : Contrôle la pente de coupure dans la bande d'arrêt, déterminant l'agressivité de l'atténuation des composantes haute fréquence.
• Implémentation : Le filtrage est appliqué aux séquences de bruit avant la simulation, et non au signal de commande final. Cela garantit que le signal de commande appliqué reste réactif (la première entrée de commande peut toujours changer rapidement) tandis que la recherche de trajectoire est biaisée vers des chemins lisses et plausibles. Le coût computationnel est négligeable, car le filtrage ne nécessite qu'un petit nombre de multiplications proportionnel à la longueur de l'horizon.

Principales Contributions

1. Innovation Algorithmique : La proposition du LP-MPPI, qui façonne le spectre de fréquence des perturbations de trajectoire de commande pour éliminer le bruit haute fréquence préjudiciable sans sacrifier l'efficacité de la recherche.
2. Interprétabilité et Réglage : La méthode offre un contrôle direct et intuitif sur le spectre de fréquences via des paramètres physiquement significatifs ($f_c$ et $o_{LPF}$), contrairement aux approches de bruit coloré qui offrent un biais moins flexible.
3. Évaluation Complète : Une analyse expérimentale approfondie à travers trois domaines distincts :
   • Environnements Gymnasium : Hopper-v5, Ant-v5 et HalfCheetah-v5.
   • Locomotion Quadrupède Simulée : Robots Unitree Go2 et MAB Silver Badger via un cadre de MPC basé sur la diffusion (Dial-MPC).
   • Application en Monde Réel : Course automobile autonome F1TENTH sur une piste ovale physique.

Résultats Expérimentaux
L'article rapporte des améliorations de performance constantes du LP-MPPI par rapport aux variantes de pointe du MPPI (incluant le MPPI original, SMPPI, SCP-MPPI et ColoredMPPI) :

• Environnements Gymnasium : Le LP-MPPI a surpassé les bases de référence sur une large gamme de longueurs d'horizon ($H$) et de nombres de rollouts ($N$). En moyenne, il a amélioré les résultats de 24 % par rapport aux bases de référence. Il a démontré une efficacité d'échantillonnage particulièrement élevée, montrant des gains plus importants avec moins de rollouts.
• Lissage de la Commande : Les métriques quantitatives (Dérivée Seconde Moyenne et Déviation du Filtre de Savitzky-Golay Moyenne) ont confirmé que le LP-MPPI génère des signaux de commande nettement plus lisses, réduisant le chattering tout en maintenant des récompenses élevées.
• Locomotion Quadrupède : Lorsqu'il est intégré à Dial-MPC (créant le LP-Dial-MPC), la méthode a obtenu un gain de performance moyen de 32 % par rapport au Dial-MPC standard et a nettement surpassé une variante de ColoredMPPI (qui produisait des récompenses environ deux fois moindres).
• Course en Monde Réel : Dans la course autonome F1TENTH, le LP-MPPI a atteint les distances médianes couvertes les plus élevées lors d'essais de 30 secondes, surpassant toutes les bases de référence. Il a maintenu des performances en temps réel sur un CPU standard (Intel Core i5-12500H) avec un surcoût computationnel négligeable (environ 2,4 % pour F1TENTH, et même une légère diminution du temps de simulation pour Ant-v5, probablement due à des interactions physiques simplifiées).

Signification et Revendications
Les auteurs affirment que le LP-MPPI représente une modification simple mais puissante de l'algorithme MPPI. Sa signification réside dans :

• Efficacité : Il améliore la recherche de contrôles optimaux en concentrant l'exploration sur la plage de fréquences admissible où résident typiquement les comportements optimaux, plutôt que de gaspiller des échantillons sur du bruit haute fréquence que les dynamiques robotiques filtrent.
• Praticité : Il réduit l'usure des actionneurs en lissant les signaux de commande et est facile à implémenter avec un surcoût de calcul minimal, ce qui le rend adapté aux dispositifs de bord (edge devices) en temps réel.
• Adaptabilité : La méthode est hautement adaptable à divers systèmes robotiques grâce au réglage intuitif des paramètres (fréquence de coupure et ordre du filtre) et peut être intégrée de manière transparente à d'autres approches de MPC basées sur l'échantillonnage, comme démontré avec Dial-MPC.

L'article conclut que le LP-MPPI offre un meilleur équilibre entre efficacité de recherche, lissage de commande et coût computationnel, ce qui en fait un candidat sérieux pour les tâches de contrôle robotique en temps réel exigeant une optimisation de trajectoire de haute performance.