⚡ electrical engineering

Amortising Trajectory Optimisation for Residual MPC via Implicit Contact Differentiation

Cet article introduit une méthode de simulation différentiable efficace basée sur le théorème de la fonction implicite pour l'optimisation de trajectoire riche en contacts, qui réduit considérablement l'utilisation de la mémoire par rapport à la différenciation automatique déroulée, et la combine avec la distillation d'optimiseur pour améliorer significativement le taux de réussite du MPC résiduel dans des tâches robotiques complexes.

Auteurs originaux : Daniel Layeghi, Thomas Corbères, Calum Arnott, Aditya Kamireddypalli, Hashim Al-Obaidi, Steve Tonneau, Michael Mistry

Publié 2026-07-29

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daniel Layeghi, Thomas Corbères, Calum Arnott, Aditya Kamireddypalli, Hashim Al-Obaidi, Steve Tonneau, Michael Mistry

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à marcher, à jongler ou à jouer au football. Pour ce faire, le robot a besoin d'un « cerveau » capable de simuler le futur dans sa tête, en testant des millions de mouvements différents pour voir lequel fonctionne le mieux. C'est ce qu'on appelle l'optimisation de trajectoire. La partie délicate est le contact. Lorsqu'un pied de robot frappe le sol, qu'une balle rebondit contre un mur ou qu'une main saisit une tasse, la physique devient complexe et imprévisible. C'est comme essayer de prédire exactement comment un tas de blocs Jenga va tomber lorsque vous en retirez un ; de minuscules variations de force entraînent des changements massifs de résultat.

Pour réaliser ces prédictions, les scientifiques utilisent la simulation différentiable. Considérez cela comme un moteur de jeu vidéo surpuissant qui ne se contente pas de vous montrer l'image suivante, mais qui vous dit aussi exactement comment le jeu changerait si vous modifiez légèrement les commandes. Cette « sensibilité au petit ajustement » permet au robot d'apprendre instantanément de ses erreurs. Cependant, il y a un piège : calculer ces ajustements pour des tâches impliquant beaucoup de contacts est incroyablement coûteux. C'est comme essayer de filmer un film au ralenti, mais chaque fois que la caméra zoome sur une collision, la bobine de film s'allonge, finissant par remplir votre disque dur avant même que vous ne puissiez terminer la scène. Ce papier s'attaque à ce problème de mémoire et montre comment faire apprendre des compétences de contact complexes aux robots beaucoup plus rapidement et plus de manière plus fiable.

Le Problème : Le « Monstre de Mémoire » dans les cerveaux de robots

Imaginez que vous essayez de résoudre un labyrinthe. La méthode standard pour apprendre à un robot à résoudre un labyrinthe consiste à le laisser traverser le labyrinthe, heurter un mur, puis à rembobiner la cassette pour voir exactement où il s'est trompé. Dans le monde de la physique des robots, ce « rembobinage » est appelé différenciation automatique déroulée (unrolled automatic differentiation).

Le problème survient lorsque le robot heurte un mur (ou un sol, ou un autre objet). Pour comprendre la physique de ce rebond, l'ordinateur doit exécuter un calcul complexe de nombreuses fois, comme un détective vérifiant et revérifiant les indices jusqu'à ce que la réponse soit parfaite. Si l'ordinateur doit vérifier les indices 10 fois pour obtenir le résultat exact, la « cassette de rembobinage » doit stocker la mémoire de tous ces 10 contrôles. Si vous voulez que la réponse soit encore plus parfaite, vous devrez peut-être effectuer 100 contrôles. Soudain, la cassette de mémoire devient 100 fois plus longue.

Cela crée un compromis terrible. Si vous voulez que le robot soit précis (vérifier les indices 100 fois), vous ne pouvez faire fonctionner que peu de robots à la fois car votre ordinateur manque de mémoire. Si vous voulez faire fonctionner des milliers de robots simultanément pour apprendre plus vite, vous devez écourter les vérifications (peut-être seulement 5 fois), ce qui signifie que le robot apprend à partir d'une réponse imprécise et bâclée. C'est comme essayer d'apprendre une danse en regardant seulement les cinq premières secondes de la vidéo ; vous comprendrez peut-être les pas, mais vous manquerez le tour crucial à la fin.

La Solution : Le « Instantané Magique »

Les auteurs de ce papier, travaillant avec le simulateur de physique MuJoCo (un outil populaire dans la recherche robotique), ont trouvé un moyen ingénieux de contourner le monstre de mémoire. Au lieu de rembobiner toute la cassette des 100 contrôles du détective, ils ont utilisé un tour mathématique appelé le Théorème de la Fonction Implicite (TFI).

Voyez les choses ainsi : imaginez un détective qui a résolu un mystère. Au lieu de vous montrer les 100 pages de notes qu'il a prises pour y parvenir, il vous remet simplement le dossier final de l'affaire résolue et un « instantané magique » de la solution. Cet instantané vous indique exactement comment la solution changerait si vous modifiiez un minuscule détail, sans que vous ayez besoin de voir les notes désordonnées.

En termes techniques, le papier introduit une méthode qui différencie le résidu de stationnarité (une façon élégante de dire « le point où les mathématiques indiquent que nous avons terminé ») plutôt que les étapes parcourues pour y arriver.

L'ancienne méthode (AD déroulée) : Stocke chaque étape du solveur. Si vous passez de 1 étape à 10 étapes, l'utilisation de la mémoire bondit de 10,6 fois.
La nouvelle méthode (TFI) : Stocke une quantité de mémoire presque constante. Même si vous augmentez l'effort du solveur de 1 étape à 10 étapes, l'utilisation de la mémoire ne change que de moins de 4 %.

C'est un changement de donne. Cela signifie que l'ordinateur peut exiger une réponse ultra-précise (vérifier les indices 100 fois) sans tomber en panne de mémoire. En fait, lorsque le papier a testé cela avec 256 contacts actifs (comme un robot avec de nombreux doigts touchant une table), la nouvelle méthode a utilisé 20 fois moins de mémoire que l'ancienne méthode. Avec 16 contacts et un modèle de robot complexe, elle a utilisé 6 fois moins de mémoire.

Le Résultat : Apprendre aux robots à « distiller » la sagesse

Avec ce nouvel outil économisant la mémoire, les auteurs ne se sont pas contentés de rendre les mathématiques plus rapides ; ils l'ont utilisé pour mieux enseigner aux robots. Ils ont créé un système qu'ils appellent Distillation d'Optimiseur.

Imaginez un chef cuisinier expert (l'« enseignant ») qui passe des heures à perfectionner une recette complexe. Ce chef est lent mais incroyablement précis. Ensuite, vous avez un sous-chef (l'« étudiant » ou la politique) qui est rapide mais a besoin de conseils.

L'Enseignant : L'ordinateur exécute une optimisation complète à long horizon (comme le chef perfectionnant tout le repas) pour trouver la séquence de mouvements parfaite. Ceci est fait par lots, grâce au nouveau tour d'économie de mémoire.
L'Étudiant : Le robot apprend de ces séquences parfaites, créant une « politique » (un ensemble d'instincts) qui connaît le plan général.
L'Hybride : Lorsque le robot effectue réellement la tâche, il ne suit pas aveuglément la politique. Il utilise la politique pour la vue d'ensemble (le plan à long terme) mais ajoute une correction locale rapide, un « résidu » (un optimiseur à court horizon), pour gérer les chocs ou glissements soudains.

Le papier a testé cela sur trois robots différents :

Finger : Un petit bras faisant tourner une toupie.
Franka : Un grand bras poussant une boîte.
Unitree : Un robot quadrupède de type chien en pleine course.

Les résultats ont été impressionnants. Lorsque l'horizon de planification (combien de temps à l'avance le robot regarde) était court (seulement 6 étapes), la méthode standard (iLQR) échouait souvent. Mais avec la politique « distillée » guidant le robot, le taux de réussite a bondi de manière spectaculaire :

Sur les trois tâches (Finger, Franka et Unitree) : Le succès a augmenté de 28 à 98 points de pourcentage par rapport à l'iLQR standard.

Pour le robot Franka poussant une boîte, le robot standard à vision courte-vue réussissait à peine, tandis que le nouveau robot hybride réussissait avec moins de « lookahead » (anticipation), prouissant que la politique fournissait la stratégie à long terme tandis que l'optimiseur local gérait les moments de contact délicats.

Pourquoi cela importe

Ce papier ne se contente pas de suggérer une idée théorique ; il fournit un outil opérationnel et en open-source qui change les règles du jeu. En prouvant qu'il est possible d'obtenir des dérivées de contact de haute précision sans le coût massif de la mémoire, les auteurs ont levé un obstacle majeur dans l'apprentissage robotique. Ils ont montré qu'on n'est pas obligé de choisir entre « rapide mais imprécis » et « lent mais précis ». On peut avoir les deux.

Les auteurs sont confiants dans ces résultats, ayant validé leur méthode par rapport aux méthodes numériques standards (différences finies) et montant que leur nouvelle méthode égale la précision des anciennes méthodes tout en utilisant une fraction des ressources. Ils ont même rendu leur code public, invitant d'autres chercheurs à construire des robots plus rapides, plus intelligents et plus dextres capables de gérer la physique complexe des contacts du monde réel sans rester bloqués dans une boucle de mémoire.

Résumé Technique : Optimisation de Trajectoire par Amortissement pour le MPC Résiduel via la Différentiation de Contact Implicite

Énoncé du Problème

La simulation différentiable est essentielle pour l'optimisation de trajectoires et l'apprentissage riches en contacts, car elle expose les sensibilités locales des résultats des tâches par rapport aux commandes. Cependant, le passage à l'échelle de ce pipeline est entravé par le coût computationnel de la différenciation des solveurs de contact itératifs. Les approches existantes font face à un compromis fondamental entre convergence et parallélisme :

Différences Finies (FD) : Coûteuses et sensibles au pas de calcul.
Différenciation Automatique (AD) déroulée : Différencie toute la trace du solveur. Bien qu'exacte, elle stocke une trace de calcul croissante pour chaque itération du solveur. Le resserrement de la solution de contact (augmentation des itérations) consomme considérablement plus de mémoire, limitant le nombre de trajectoires parallèles pouvant être traitées.
Dérivations de Sensibilité KKT : Nécessitent des dérivations complexes et spécifiques au solveur, assemblées manuellement.

Le défi central est que l'AD en mode inverse standard différencie la trace exécutée du solveur plutôt que la solution convergée. Cela crée un goulot d'étranglement de mémoire où l'effort du solveur (pour améliorer la précision) réduit directement la capacité de traitement par lot (batch), empêchant une optimisation efficace de l'horizon complet.

Méthodologie

Les auteurs proposent un cadre qui découple le solveur direct de sa dérivée inverse en utilisant le Théorème des Fonctions Implicites (IFT).

1. Différenciation Implicite via l'IFT

Au lieu de dérouler les itérations du solveur, la méthode différencie le résidu de stationnarité du problème de contact lisse régularisé à la solution convergée selon la tolérance.

Formulation : Le problème de contact dans MuJoCo (MJX) est formulé comme une optimisation convexe régularisée. La solution $a^\star$ est définie comme la racine du résidu de stationnarité $F(a, \theta) = 0$ , où $\theta$ représente les paramètres du système (état, commandes, friction, etc.).
Dérivation : En appliquant l'IFT au résidu $F$ , la dérivée de la solution par rapport aux paramètres est dérivée comme suit :
$\frac{da^\star}{d\theta} = -F_a^{-1} F_\theta$
où $F_a$ est le Jacobien du résidu par rapport à l'accélération.
Implémentation : La méthode utilise jax.lax.custom_root pour implémenter ce passage arrière. Elle ne nécessite qu'un seul solve linéaire transposé et un produit vecteur-Jacobien. Crucialement, elle ne stocke pas les états intermédiaires des $K$ itérations du solveur utilisées lors du passage direct.
Portée : La dérivée est locale aux régions de contact lisse fixes et peut changer lors des transitions de l'ensemble de contact ou de mode de friction, mais au sein d'un régime fixe, elle fournit les gradients exacts de la solution convergée.

2. Distillation d'Optimiseur pour le MPC Résiduel

Pour tirer parti de la scalabilité de la dérivée implicite, les auteurs introduisent un pipeline de distillation d'optimiseur pour le Contrôle Prédictif par Modèle (MPC) :

Enseignant (Teacher) : Un iLQR (Iterative Linear Quadratic Regulator) par lots, sur un horizon complet, utilise la dynamique MJX différentiable implicitement pour générer des trajectoires de haute qualité, riches en contacts.
Politique Étudiante (Student Policy) : Un réseau de neurones est entraîné pour imiter les actions de l'enseignant iLQR à horizon complet.
Déploiement (Contrôleur Hybride) : Au moment de l'exécution, le système utilise une approche de MPC Résiduel :
- La politique distillée fournit l'action nominale à long horizon ( $\bar{u}_t$ ).
- Un iLQR résiduel à court horizon calcule une correction locale ( $r_t$ ) et les gains de rétroaction basés sur le modèle de contact différentiable.
- La commande finale est $u_t = \text{sg}[\pi_\theta(o_t)] + r_t$ , où $\text{sg}$ désigne une opération de stop-gradient, empêchant la mise à jour de la politique par l'optimiseur à court horizon pendant le déploiement.

Principales Contributions

Passage Arrière Implicite Assisté par AD : Les auteurs introduisent un passage arrière pour le résidu de stationnarité de la résolution de contact régularisée de MJX. Cette approche laisse le solveur direct inchangé, évite les systèmes KKT assemblés manuellement et supprime le stockage de la mémoire dépendant des itérations du solveur requis par l'AD déroulée.
Validation et Scalabilité : La méthode est validée par rapport aux différences finies centrales et à l'AD déroulée. Les résultats montrent que l'IFT correspond à la précision de l'AD déroulée avec un nombre élevé d'itérations tout en surpassant substantiellement cette dernière en mémoire temporaire compilée.
- Échelle de Mémoire : La mémoire de l'IFT reste presque constante à mesure que les itérations du solveur augmentent (variation de <4 % de 1 à 10 itérations), tandis que l'AD déroulée croît de 10,6×.
- Échelle de Contact/Dimension : L'IFT utilise 20× moins de mémoire à 256 contacts actifs et 6× moins à 16 contacts avec 96 degrés de liberté (DoF) par rapport à l'AD déroulée.
MPC Résiduel Guidé par Politique : Le papier démontre un pipeline de distillation où les actions optimisées à horizon complet sont distillées dans une politique. Cette politique guide un iLQR résiduel à court horizon, permettant une exécution réussie sur des tâches complexes là où l'iLQR standard à court horizon échoue.

Résultats Expérimentaux

Le cadre a été évalué sur trois tâches riches en contacts : Finger (faire tourner un spinner), Franka (pousser une boîte) et Unitree (accélération de quadrupède).

Optimisation de Trajectoire : Dans l'optimisation par lots à horizon complet, l'iLQR utilisant la dérivée implicite a obtenu des coûts de fonctionnement moyens plus faibles et des plages de percentiles plus serrées par rapport aux méthodes de premier ordre (Adam) sur toutes les tâches.
Performance de la Distillation :
- Le contrôleur hybride (Politique + iLQR Résiduel à Court Horizon) a nettement surpassé l'iLQR standard à court horizon.
- À un horizon de planification de 6 étapes, l'approche hybride a amélioré les taux de réussite de 28 à 98 points de pourcentage par rapport à l'iLQR standard sur les trois tâches.
- Franka : L'iLQR standard à court horizon a obtenu un succès quasi nul, tandis que le contrôleur hybride a réussi avec un horizon de prévision nettement plus court. La politique fournissait la stratégie de poussée à long horizon, tandis que l'iLQR gérait les corrections de contact locales.
- Finger & Unitree : La politique a permis au système de réussir avec des horizons de prévision plus courts que ceux requis par l'iLQR pur. Dans certains régimes (ex: Finger), une politique seule a surpassé un contrôleur résiduel très court, car l'optimiseur résiduel pouvait perturber une politique déjà correcte.

Signification et Revendications

Le papier affirme que la différenciation implicite basée sur les résidus rend les dérivées de contact MJX convergées à la tolérance pratiques à l'échelle des accélérateurs. En supprimant le goulot d'étranglement de la mémoire associé aux itérations du solveur, la méthode permet :

Une Convergence plus Serrée : Les solveurs peuvent être exécutés avec une plus grande précision sans sacrifier le parallélisme par lots.
Une Supervision à Horizon Complet : La capacité d'exécuter un iLQR par lots à horizon complet comme enseignant en ligne, ce qui était auparavant irréalisable en raison des contraintes de mémoire.
Un Amortissement Efficace : Le contrôleur hybride résultant atteint des taux de réussite nettement plus élevés que l'iLQR standard à des horizons de planification courts, amortissant efficacement le calcul coûteux spécifique à la tâche sur les conditions initiales et les objectifs.

Les auteurs rendent l'implémentation disponible en open source, fournissant un modèle modulaire pour la simulation de contact différentiable qui sépare le solveur direct de sa dérivée sans nécessiter de dérivations analytiques spécifiques au solveur.