Résumé technique : PISTO – Inférence proximale pour l'optimisation stochastique de trajectoires

Énoncé du problème

Les méthodes d'optimisation stochastique de trajectoires, telles que STOMP (Stochastic Trajectory Optimization for Motion Planning), offrent une flexibilité significative par rapport aux approches basées sur le gradient en gérant des fonctions de coût non différentiables et discontinues (par exemple, des pénalités de collision). Cependant, les fondements théoriques des règles de mise à jour de STOMP sont restés quelque peu opaques, et l'algorithme peut souffrir d'une dynamique d'optimisation instable. Bien que STOMP lisse efficacement les paysages de coûts par échantillonnage, il est nécessaire de comprendre son objectif implicite et d'introduire des mécanismes stabilisant les mises à jour itératives, en particulier dans des environnements complexes et non convexes.

Méthodologie

Fondement théorique : STOMP comme inférence variationnelle

Les auteurs établissent d'abord un lien théorique entre STOMP et l'inférence variationnelle (VI). Ils démontrent que STOMP minimise implicitement la divergence de Kullback-Leibler (KL) inverse entre une distribution propositionnelle gaussienne, $N(Y, \Sigma)$, et une distribution cible de trajectoires de Boltzmann, $Y^\star \propto \exp(-S(\tilde{Y}))N(0, R^{-1})$. Ici, $S(\tilde{Y})$ représente le coût accumulé dépendant de l'état (par exemple, l'évitement d'obstacles), et $N(0, R^{-1})$ agit comme une régularisation gaussienne de lissage. Cette reformulation révèle que la moyenne pondérée par le coût de STOMP est équivalente à une solution d'appariement de moments dans un cadre VI.

L'algorithme PISTO

S'appuyant sur cette interprétation VI, l'article propose Proximal Inference for Stochastic Trajectory Optimization (PISTO). L'innovation centrale est l'ajout d'un terme de régularisation proximale à l'objectif VI.

1. Formulation proximale : Au lieu de minimiser directement la divergence KL vers la cible, PISTO résout un problème de mise à jour proximale :
   $$Y_{k+1} = \arg \min_Y \left[ D_{KL}(N(Y, \Sigma) \parallel Y^\star) + \frac{1}{\eta} D_{KL}(N(Y, \Sigma) \parallel N(Y_k, \Sigma)) \right]$$
   où $\eta$ est un paramètre de taille de pas. Cette formulation admet une interprétation de région de confiance, pénalisant les écarts importants par rapport à l'itéré actuel $Y_k$ pour assurer une convergence stable.

2. Distribution de substitution : La mise à jour proximale est montrée comme équivalente à la minimisation de la divergence KL vers une distribution de substitution $Y^\star_k$. Cette substitution est une interpolation géométrique entre la cible de Boltzmann réelle et l'approximation gaussienne actuelle.

3. Mises à jour sous forme close par échantillonnage d'importance : La solution du problème proximal est une mise à jour d'appariement de moments où la nouvelle moyenne $Y_{k+1}$ est l'espérance de la distribution de substitution. Puisque la distribution de substitution est généralement intraitable à échantillonner directement, PISTO emploie un échantillonnage de Monte Carlo pondéré par l'importance.

   • Des échantillons sont tirés à partir d'une proposition gaussienne centrée sur l'itéré actuel.
   • Des poids sont calculés en fonction de la fonction de coût et du terme proximal.
   • La mise à jour est une moyenne pondérée de ces échantillons.

4. Nature sans dérivée : Crucialement, l'algorithme ne nécessite que l'évaluation de la fonction de coût $S(\cdot)$, ce qui le rend sans dérivée. Il hérite de la capacité de STOMP à gérer des coûts non différentiables et discontinus sans modification.

5. Extensions :

   • Tâches riches en contacts : Le cadre est étendu à l'optimisation de politiques dans l'espace d'action pour des systèmes à dynamique complexe (par exemple, MuJoCo), où la trajectoire d'état est déterminée par le déroulement de la dynamique à partir de séquences de commande.
   • Recuit : La méthode utilise une programmation adaptative de la covariance (recuit cosinus) et un schéma de recuit de la taille de pas proximale pour équilibrer exploration et exploitation. Un mécanisme de sélection d'ensemble d'élite est également employé pour réduire la variance en se concentrant sur les échantillons à faible coût.

Contributions clés

1. Insight théorique : L'article révèle que STOMP minimise implicitement la divergence KL inverse d'une distribution de trajectoires de Boltzmann, établissant une structure d'inférence variationnelle claire pour l'algorithme.
2. Algorithme PISTO : Les auteurs proposent PISTO, qui introduit une pénalité proximale (régularisation KL) entre des propositions gaussiennes successives. Cela fournit une interprétation de région de confiance qui stabilise la dynamique d'optimisation.
3. Mises à jour sans dérivée sous forme close : La formulation proximale produit des mises à jour de moyenne sous forme close calculables par échantillonnage de Monte Carlo pondéré par l'importance. Cela résulte en un algorithme simple, sans dérivée, qui maintient la flexibilité tout en offrant des garanties de stabilité fondées sur des principes.

Résultats expérimentaux

Benchmarks de planification de mouvement

PISTO a été évalué sur des benchmarks de planification de mouvement pour bras robotiques utilisant le framework MoveIt à travers sept environnements de manipulation (par exemple, Cuisine, Bibliothèque, Boîte).

• Taux de réussite : PISTO a atteint un taux de réussite de 89 %, surpassant significativement CHOMP (63 %), STOMP (68 %) et la Descente de Gradient Naturel (76 %).
• Efficacité : PISTO s'est exécuté environ deux fois plus vite que les méthodes stochastiques concurrentes tout en produisant des trajectoires plus courtes et plus lisses.
• Métriques : Il a démontré des performances supérieures en termes de dégagement de trajectoire et de temps de planification par rapport aux références.

Locomotion et manipulation riches en contacts

L'algorithme a été testé sur des tâches MuJoCo impliquant des dynamiques de contact complexes (par exemple, PushT, Course de Humanoïde, Debout d'un Humanoïde).

• Performance de récompense : PISTO a constamment surpassé les méthodes de référence Cross-Entropy Method (CEM) et Model Predictive Path Integral (MPPI) en termes de récompense sur toutes les tâches testées. Notamment, il a converti la récompense négative de MPPI sur la tâche PushT (−0,17) en une récompense positive (0,46).
• Vitesse : PISTO a démontré des accélérations significatives, s'exécutant 1,4 à 3,2 fois plus vite que les références sur la plupart des tâches (par exemple, 36,5 s contre ~115 s pour la Course de Humanoïde).
• Robustesse : La méthode a résolu avec succès des tâches humanoïdes de haute dimension (17 degrés de liberté) en quelques minutes, validant sa robustesse dans des systèmes dynamiques hybrides avec des contacts discontinus.

Importance et affirmations

L'article affirme que PISTO représente une avancée fondée sur des principes dans l'optimisation stochastique de trajectoires en unifiant la flexibilité des méthodes basées sur l'échantillonnage avec la stabilité de l'inférence proximale. En révélant la structure variationnelle de STOMP, les auteurs fournissent une base théorique pour des améliorations algorithmiques. L'algorithme résultant est mis en avant pour être :

• Simple et sans dérivée : Capable de gérer des coûts non différentiables sans modification.
• Stable : La formulation proximale empêche les étapes trop agressives, assurant une convergence fiable dans des paysages non convexes.
• Efficace : Il atteint des taux de réussite et des vitesses à la pointe de l'état de l'art sur les benchmarks standards de planification de mouvement et sur des tâches de contrôle riches en contacts et exigeantes.

Les auteurs concluent que PISTO offre une solution robuste pour l'optimisation de trajectoires dans des systèmes robotiques complexes, avec des travaux futurs suggérés pour l'intégration de gradients là où ils sont disponibles et l'extension de la méthode au contrôle prédictif modèle (MPC) à horizon glissant.