Résumé Technique : Contrôle par Échantillonnage via le Transport Optimal Régularisé par l'Entropie

Énoncé du Problème

Les méthodes de Contrôle Prédictif de Modèle (MPC) basées sur l'échantillonnage, telles que le Modèle Prédictif d'Intégrale de Trajectoire (MPPI) et la Méthode de l'Entropie Croisée (CEM), sont largement utilisées pour le contrôle en temps réel de systèmes robotiques non linéaires, en particulier lorsque les gradients sont indisponibles ou que les dynamiques sont discontinues. Cependant, ces méthodes reposent sur des objectifs théoriques de l'information (par exemple, la divergence KL) qui sont aveugles à la structure géométrique de l'espace de contrôle.

Cette ignorance géométrique conduit à deux modes de défaillance principaux :

1. Moyennage des Modes : Le MPPI agrège les échantillons via une moyenne pondérée. Dans des paysages de coûts complexes et multimodaux (par exemple, naviguer autour d'un obstacle), cela se traduit par des commandes de contrôle qui mélangent des minima locaux distincts, dirigeant souvent le robot directement vers des obstacles plutôt que de choisir un chemin valide pour les contourner.
2. Recherche de Mode : Le CEM évite le moyennage en sélectionnant des échantillons « élites », mais cela l'engage agressivement vers un seul mode, limitant l'exploration et risquant de faire manquer à l'algorithme des solutions viables au profit d'un optimum local.

Les solutions existantes reposent souvent sur des heuristiques a posteriori (par exemple, des calendriers de recuit, une adaptation de la covariance) qui ne modifient pas fondamentalement l'objectif variationnel. L'article soutient qu'un changement fondamental est nécessaire pour intégrer l'information spatiale dans le processus d'optimisation.

Méthodologie : OT-MPC et Descente de Coordonnées de Sinkhorn

Les auteurs proposent OT-MPC (MPC par Transport Optimal), un algorithme basé sur l'échantillonnage dérivé d'une formulation de Transport Optimal Régularisé par l'Entropie (EOT). Au lieu de minimiser une divergence théorique de l'information, OT-MPC minimise le coût du transport de masse de probabilité entre des séquences de contrôle candidates et des propositions à faible coût, incorporant explicitement la proximité géométrique.

Algorithme Central : Descente de Coordonnées de Sinkhorn (SCD)

Le moteur d'optimisation est la Descente de Coordonnées de Sinkhorn (SCD), un algorithme sans gradient qui fait évoluer un ensemble de $N$ particules (séquences de contrôle candidates) vers une distribution cible en utilisant $M$ propositions.

1. Formulation : Le problème est formulé comme la recherche d'un couplage optimal $\Gamma$ entre les particules $z$ et les propositions $y$ qui minimise un coût de transport $c(z, y)$ régularisé par l'entropie $H(\Gamma)$.
2. Optimisation Alternée :
   • Mise à jour du Couplage : Étant donné des particules fixes, le couplage optimal $\Gamma$ est calculé efficacement à l'aide de l'algorithme de Sinkhorn. Cette étape prend en compte à la fois le coût des propositions et la distance géométrique entre les particules et les propositions.
   • Mise à jour des Particules : Étant donné le couplage, les particules sont mises à jour. Pour des coûts quadratiques, cette mise à jour possède une solution sous forme fermée : chaque particule se déplace vers le barycentre pondéré de ses propositions couplées.
   • Relaxation : Un paramètre de pas $\eta$ est utilisé pour stabiliser les mises à jour, en particulier lorsque les propositions sont rééchantillonnées à chaque itération.
3. Distribution des Propositions : Pour équilibrer exploration et exploitation, les propositions sont échantillonnées à partir d'une distribution de mélange : une fraction $\rho$ est tirée d'une distribution globale (par exemple, uniforme ou gaussienne large), tandis que le reste correspond à des perturbations locales des particules existantes.

Propriétés Théoriques Clés

• Biconvexité : La fonction objectif est biconvexe par rapport aux particules et au couplage, garantissant des solutions uniques pour les sous-problèmes.
• Descente Monotone : L'algorithme garantit une séquence de valeurs d'objectif non croissante.
• Convergence : Les itérés convergent vers un point stationnaire.
• Généralisation : Le SCD généralise le MPPI ; dans la limite où le nombre de particules $N=1$ ou la régularisation $\epsilon \to \infty$, le SCD retrouve la moyenne pondérée par l'importance standard du MPPI.

Contributions Clés

1. Innovation Algorithmique : La proposition du SCD et son instantiation sous forme d'OT-MPC. Contrairement aux méthodes d'échantillonnage existantes, le SCD met à jour les particules en se basant à la fois sur le coût et la proximité géométrique, permettant un raffinement local tout en préservant la diversité à travers les modes.
2. Garanties Théoriques : Établissement des propriétés théoriques du SCD, incluant la descente monotone, les garanties de convergence et les mises à jour sous forme fermée pour les coûts quadratiques (et d'autres fonctions de coût spécifiques comme la distance circulaire et les métriques Log-Euclidiennes).
3. Validation Empirique : Démonstration que OT-MPC atteint des taux de réussite supérieurs à ceux du MPPI, du CEM et du MPC Variationnel de Stein (SV-MPC) sur diverses tâches robotiques, en particulier celles présentant des paysages de coûts multimodaux.

Résultats Expérimentaux

Les auteurs ont évalué OT-MPC sur des tâches de navigation, de manipulation et de locomotion, en le comparant au MPPI, au CEM et au SV-MPC.

• Évitement d'Obstacles par Voiture (Véhicule Cinématique) : Dans des champs d'obstacles denses (configuration « Difficile »), OT-MPC a atteint un taux de réussite de 93,5 % contre 88,5 % pour le MPPI. L'écart de performance s'est élargi dans des environnements complexes où le MPPI souffrait du moyennage des modes.
• 2D Push-T (Manipulation Riche en Contacts) : OT-MPC a atteint un taux de réussite de 76 %, surpassant significativement le MPPI (4 %) et le CEM (46 %). Le SV-MPC a échoué complètement (0 %) en raison de l'absence de gradients différentiables dans les dynamiques de contact hybrides.
• Évitement d'Obstacles par Quadrotor (12 DDL) : Dans des configurations d'obstacles denses moyennes et difficiles, OT-MPC a atteint des taux de réussite de 100 % et 92 % respectivement, contre 60 % et 19 % pour le MPPI. Le MPPI échouait fréquemment à trouver des trajectoires réalisables, restant coincé dans des minima locaux.
• Transport de Charge Coopératif (Deux Quadrotors) : Dans une tâche nécessitant une coordination précise à travers une ouverture étroite dans un mur, OT-MPC a atteint 75 % de réussite dans la configuration « Difficile » contre 10 % pour le MPPI. Le goulot d'étranglement étroit a exacerbé les problèmes de moyennage des modes du MPPI, perturbant la coordination.
• Franka Push-T (Manipulation 3D) : OT-MPC a atteint 66 % de réussite, comparable à un MPPI fortement réglé (64 %), mais a nécessité un effort de réglage des hyperparamètres significativement moindre.
• Locomotion Quadrupède (Unitree Go2) : OT-MPC a démontré une efficacité supérieure, nécessitant moins de pas moyens pour atteindre les objectifs dans des tâches d'escalade de rampe et de poussée de boîte par rapport au MPPI.

Surcharge Computationnelle : Bien que l'étape de Sinkhorn ajoute un coût computationnel ($O(NM)$ contre $O(M)$ pour le MPPI), les auteurs rapportent que OT-MPC atteint souvent des temps d'exécution comparables ou plus rapides. Cela s'explique par le fait que le couplage de transport extrait plus d'informations par échantillon, permettant à l'algorithme d'utiliser moins de propositions (déroulements) pour atteindre la convergence.

Importance et Revendications

L'article affirme que OT-MPC répond aux limitations fondamentales des méthodes d'échantillonnage basées sur la théorie de l'information en remplaçant la divergence KL par un objectif de Transport Optimal. Ce changement permet au contrôleur de :

• Préserver les Modes : Éviter le « moyennage des modes » qui conduit aux collisions dans les environnements multimodaux.
• Coordonner les Mises à Jour : Maintenir la diversité de l'ensemble tout en affinant les candidats vers des régions locales prometteuses.
• Opérer Sans Gradients : Rester compatible avec des simulateurs boîte noire et des dynamiques non lisses, à l'instar du MPPI.

Les auteurs positionnent OT-MPC non pas simplement comme une amélioration heuristique, mais comme un changement fondamental dans la manière dont le contrôle basé sur l'échantillonnage agrège l'information, exploitant la structure géométrique de l'espace de contrôle pour atteindre des performances robustes dans des tâches robotiques complexes, riches en contacts et de haute dimension. Ils reconnaissent des limitations, telles que la dépendance à la couverture des propositions pour l'exploration et la nécessité d'un réglage attentif du paramètre de régularisation entropique $\epsilon$, mais affirment que la méthode offre une alternative fondée sur des principes aux contrôleurs d'échantillonnage de pointe existants.