🤖 machine learning

Bayesian Optimization for Learning Nonlinear MPC in Autonomous Agent Navigation

Ce document présente un cadre de navigation autonome sans carte qui intègre la planification réactive basée sur le LiDAR avec une commande prédictive de modèle non linéaire, utilisant l'optimisation bayésienne hors ligne pour ajuster les paramètres du contrôleur pour un déploiement robuste et performant sur un robot quadrupède dans des environnements dynamiques tant en simulation que dans le monde réel.

Auteurs originaux : Lorenzo Ortolani, Gabriel Voss, Gabriele Beltrami, Francesco Dorati, Tommaso Felice Banfi

Publié 2026-06-16

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lorenzo Ortolani, Gabriel Voss, Gabriele Beltrami, Francesco Dorati, Tommaso Felice Banfi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot chien à quatre pattes (plus précisément un Unitree Go2) comment naviguer dans une pièce bondée et inconnue sans carte. Le défi est que la pièce est remplie de personnes en mouvement, de meubles et d'interstices étroits. Si le robot se déplace trop vite, il s'écrase ; s'il est trop prudent, il reste coincé. Si vous essayez de le programmer à la main, vous devez deviner exactement à quel point il doit être « courageux » ou « prudent », ce qui est un jeu fastidieux de tâtonnements qui échoue rarement bien dans de nouveaux endroits.

Ce document présente une façon plus intelligente d'enseigner au robot : laisser le robot apprendre les réglages parfaits en simulant d'abord des milliers de scénarios, puis le laisser partir.

Voici comment leur système fonctionne, décomposé en concepts simples :

1. Les « Yeux » et le « Cerveau » du Robot (Le Cadre)

Au lieu de construire une carte permanente du monde (ce qui est difficile quand le monde change constamment), le robot utilise son LiDAR (un scanner laser) pour créer une image temporaire et « floue » de ce qui se trouve juste devant lui.

La Carte : Voyez cela comme une grille de carreaux. Si un faisceau laser frak l'une de ces surfaces, le carreau devient « occupé ». S'il est vide, le carreau est sûr.
Le Planificateur (A) :* C'est comme un GPS. Il regarde la grille floue et trace une ligne grossière vers l'objectif. Il est bon pour trouver un chemin, mais il ne sait pas comment le robot se déplace réellement (comme la façon dont un chien tourne ou s'arrête).
Le Conducteur (MPC Non Linéaire) : C'est le « cerveau » qui dirige réellement le robot. Il prend la ligne grossière du GPS et détermine exactement comment bouger les pattes pour suivre le chemin de manière fluide sans trébucher. Il vérifie constamment : « Si je bouge de cette façon, vais-je heurter cette chaise dans 2 secondes ? »

2. Le Problème : Régler les « Molettes »

Le cerveau du « Conducteur » possède de nombreuses molettes (paramètres) qui contrôlent sa personnalité.

Une molette dit : « À quel point est-ce que je tiens à atteindre l'objectif ? »
Une autre dit : « À quel point est-ce que je tiens à ne pas cogner les objets ? »
Une autre dit : « À quel point mes mouvements doivent-ils être fluides ? »

Si vous tournez ces molettes à la main (la méthode « Baseline »), vous pourriez obtenir un robot excellent dans un couloir vide, mais médiocre dans un bureau encombré. C'est comme essayer de régler le moteur d'une voiture en devinant quelle vis tourner.

3. La Solution : Le « Coach Virtuel » (Optimisation Bayésienne)

Les auteurs ont utilisé une technique appelée Optimisation Bayésienne (spécifiquement en utilisant des Estimateurs de Parzen structurés en arbre, ou TPE). Considérez cela comme un coach virtuel super intelligent.

La Simulation : Ils ont placé le robot dans un jeu vidéo (Gazebo) avec trois niveaux différents : une pièce vide, un bureau encombré et un entrepôt étroit.
L'Essai et l'Erreur : Le coach fait passer le robot à travers ces niveaux 120 fois. À chaque fois, il modifie légèrement les « molettes » (les paramètres).
Le Score : Après chaque passage, le coach donne un score au robot basé sur : A-t-il atteint l'objectif ? Le chemin était-il court ? A-t-il percuté des objets ? Le mouvement était-il fluide ?
L'Apprentissage : Le coach utilise un tour de passe-passe mathématique (Processus Gaussiens) pour observer les résultats et deviner : « D'accord, augmenter un peu la molette de la "fluidité" et baisser un peu celle de la "prudence" semble mieux fonctionner. »

Il ne se contente pas de deviner au hasard ; il apprend de ses erreurs pour trouver la combinaison parfaite de molettes qui fonctionne bien à travers tous les différents niveaux.

4. Les Résultats : De la Simulation à la Réalité

Une fois que le coach a trouvé les meilleurs réglages dans le jeu vidéo, ils ont téléchargé ces réglages exacts sur le vrai robot chien.

Pas de Nouveau Réglage : Ils n'ont pas touché à une seule molette sur le vrai robot. Ils ont simplement utilisé les réglages trouvés par le coach dans la simulation.
Le Résultat :
- Taux de réussite : Le robot a réussi 90 % de ses essais en conditions réelles (contre 50 % avec les réglages ajustés à la main).
- Efficacité : Il a mis 53 % de temps en moins pour atteindre l'objectif.
- Fluidité : Les trajectoires étaient beaucoup plus courtes et fluides.
- Généralisation : Même lorsqu'ils ont testé le robot dans un environnement d'« Entrepôt » que le coach n'avait jamais vu auparavant, le robot a tout de même performé de manière incroyable.

5. Ce qui rend cela Spécial

L'article souligne quelques « super-pouvoirs » clés de cette approche :

Elle est Indépendante du Robot : Le système est conçu de telle sorte qu'il pourrait théoriquement fonctionner sur n'importe quel robot, pas seulement sur ce chien spécifique.
Sans Carte : Le robot n'a pas besoin de mémoriser le bâtiment à l'avance ; il réagit à ce qu'il voit sur le moment.
Elle est Robuste : Le « Coach Virtuel » a trouvé des réglages moins sensibles aux petits changements, ce qui signifie que le robot est moins susceptible de s'écraser si l'environnement est légèrement différent de celui attendu.

Résumé

En bref, les auteurs ont construit un système de navigation pour un robot chien qui ne repose pas sur l'intuition humaine. Au lieu de cela, ils ont utilisé une simulation informatique pour permettre à un « coach » IA de déterminer le style de conduite parfait pour le robot. Lorsqu'ils ont appliqué ces réglages sur le vrai robot, celui-ci a navigué dans des pièces complexes du monde réel de manière beaucoup plus rapide, plus fluide et avec plus de succès que le robot piloté par des réglages humains.

Note sur les Limites : L'article admet que ce système traite actuellement le robot comme s'il glissait sur un sol plat (2D). Si le robot rencontre une rampe raide ou une marche, le système devra être mis à jour pour gérer les mouvements en 3D. De plus, le « Coach Virtuel » ne peut régler que les molettes auxquelles il a accès ; si le réglage parfait nécessite une molette qu'ils n'ont pas incluse, il ne pourra pas la trouver.

Résumé technique : Optimisation bayésienne pour l'apprentissage de la commande prédictive non linéaire (NMPC) pour la navigation d'agents autonomes

Énoncé du problème
La navigation autonome en temps réel dans des environnements dynamiques et inconnus demeure un défi fondamental pour la robotique mobile, particulièrement pour les plateformes de type jambes (legged platforms) où des dynamiques de contact complexes exigent un mouvement fluide et dynamiquement cohérent. Les architectures classiques découplées, qui séparent la planification globale du contrôle de bas niveau, échouent souvent à capturer le couplage entre la planification et la faisabilité dynamique, entraînant une exécution saccadée et une faible capacité de généralisation. De plus, le déploiement de la commande prédictive (MPC) est historiquement entravé par deux facteurs : le besoin de représentations d'environnements informatiquement efficaces et la difficulté de régler manuellement les poids des fonctions de coût. Le réglage manuel est chronophage, spécifique à l'environnement et échoue souvent à se généraliser à travers différentes tâches et configurations.

Méthodologie
Les auteurs proposent un cadre de navigation hiérarchique sans carte (map-free) qui intègre étroitement une planification réactive à horizon roulant avec une commande prédictive non linéaire (Nile MPC). Le système est indépendant du type de robot et a été validé sur le quadrupède Unitree Go2. L'architecture se compose de cinq modules interconnectés :

Cartographie et perception : Une grille d'occupation gaussienne basée sur le LiDAR est construite à chaque cycle de contrôle à partir du nuage de points actuel. Les cellules encodent la probabilité d'occupation basée sur la distance euclidienne minimale aux retours LiDAR. De plus, un graphe de navigation topologique persistant (inspiré de WildOS) encode la connectivité de haut niveau entre les régions visitées pour soutenir la planification globale.
Planification de trajectoire à horizon roulant : Une stratégie de global-à-local est employée. Un graphe topologique fournit des points de passage (waypoints) à un planificateur A* local opérant sur la grille d'occupation. Le planificateur A* génère des trajectoires sans collision en utilisant une pénalité d'obstacle douce pour les cellules sous le seuil et des contraintes strictes pour les cellules occupées. La trajectoire résultante est rééchantillonnée et lissée pour éliminer les artefacts de la grille.
Suivi par MPC non linéaire : La trajectoire de référence issue de A* est suivie par une MPC non linéaire formulée dans CasADi et résolue avec IPOPT. La MPC opère sur un horizon de 5 secondes (50 étapes à 10 Hz) en utilisant un modèle cinématique holonome. Crucialement, l'évitement d'obstacles est imposé via une fonction barrière sigmoïde lisse et dérivable évaluée sur les retours LiDAR les plus proches, préservant ainsi la parcimonie du problème de programmation non linéaire.
Pipeline d'optimisation bayésienne (BO) : Pour répondre à la sensibilité des paramètres, un schéma d'optimisation bayésienne hors ligne est introduit. Le système règle un vecteur de paramètres à 11 dimensions $\theta$ $θ$ (incluant les poids de suivi, l'effort de commande, la régularisation du jerk et les paramètres de la barrière d'obstacle) à travers une suite d'environnements de simulation.
- Stratégie d'acquisition : Le cadre utilise des estimateurs de Parzen structurés en arbre (TPE) pour identifier les configurations quasi optimales basées sur un score de performance composite. Ce score agrège des métriques telles que la progression vers l'objectif, l'efficacité du chemin, la fluidité du contrôle (jerk), l'évitement d'obstacles et l'efficacité temporelle.
- Analyse de sensibilité : Un modèle de substitution par processus gaussien (GP) est ajusté aux résultats d'optimisation pour analyser la sensibilité des paramètres et visualiser le paysage d'optimisation.

Principales contributions

Cadre intégré : Une pile de navigation modulaire et sans carte combinant cartographie d'occupation gaussienne, planification de graphe topologique, planification locale A* et MPC non linéaire dérivable.
Réglage automatique des paramètres : L'introduction d'un pipeline de BO hors ligne utilisant TPE pour optimiser les hyperparamètres de la MPC à travers divers scénarios de simulation, éliminant le besoin de réglage manuel spécifique à l'environnement.
Validation Sim-to-Real : Une validation expérimentale étendue démontrant que les paramètres réglés en simulation se transfèrent efficacement au matériel physique sans réglage en ligne supplémentaire.
Évitement d'obstacles dérivable : L'implémentation d'une barrière sigmoïde lisse dans la fonction de coût de la MPC, permettant une résolution efficace du NLP tout en maintenant les contraintes de sécurité.

Résultats
Le système a été évalué dans trois environnements simulés (Ouvert, Bureau Intérieur, et un Entrepôt non utilisé lors de l'entraînement) et déployé sur un robot physique Unitree Go2 dans une salle de laboratoire réelle.

Gains de performance : Comparée à une base réglée manuellement, la configuration optimisée par BO a atteint une réduction moyenne de 38,7 % de la longueur du chemin et une réduction de 25,3 % du temps de résolution de la MPC à travers les environnements simulés.
Efficacité : Dans l'environnement confiné du bureau intérieur, la longueur du chemin a diminué de 32,3 % et le temps de résolution de 49,2 %. Dans l'environnement de l'entrepôt inédit, la longueur du chemin a chuté de 44,5 %, démontrant une forte généralisation hors distribution.
Taux de réussite : Le système a atteint un taux de réussite de navigation de 90,0 % sur le robot physique (8/10 essais) en utilisant les paramètres réglés en simulation, une amélioration significative par rapport au taux de 50 % (5/10) de la base de référence.
Sensibilité des paramètres : L'analyse de sensibilité via le substitut GP a révélé que la régularisation dynamique (jerk) et les poids de l'effort de commande étaient les paramètres les plus décisifs, tandis que les poids de suivi présentaient une sensibilité moindre. Le processus de BO a réduit la sensibilité moyenne des paramètres de 42,3 %, résultant en un paysage d'optimisation plus lisse.

Signification et affirmations
L'article affirme que ce cadre fournit une solution fondée sur des principes au fossé "sim-to-real" du réglage de la MPC pour les robots à jambes. En automatisant le processus de réglage via l'optimisation bayésienne, les auteurs démontrent qu'un ensemble unique de paramètres peut être dérivé en simulation pour performer de manière robuste à travers diverses complexités environnementales et se transférer directement au matériel physique. Ce travail souligne que l'optimisation à travers des environnements de difficultés contrastées permet d'obtenir des configurations de paramètres qui sont non seulement plus efficaces, mais aussi plus robustes aux changements de distribution que les bases réglées manuellement. Les auteurs positionnent cela comme une étape vers des piles de navigation sans carte et polyvalentes, pouvant être déployées sur diverses plateformes robotiques sans intervention manuelle extensive.