💻 computer science

Safe Learning Predictive Control for Ego-World Robotic Systems

Cet article présente SOWL-MPC, un cadre de commande prédictive basée sur l'apprentissage sécurisé qui permet à un robot ego de naviguer dans des environnements partagés avec des robots du monde inconnus en combinant l'apprentissage par processus gaussiens variationnels parcimonieux en ligne avec une commande prédictive sensible à l'incertitude.

Auteurs originaux : Davide Valenti, Giuseppe Notarstefano

Publié 2026-07-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Davide Valenti, Giuseppe Notarstefano

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous jouez à une partie de chat haut en couleur dans un couloir bondé et chaotique. Vous êtes le joueur « Ego », et votre objectif est de parcourir un chemin spécifique sans heurter personne. Mais voici le piège : les autres joueurs, les robots « World », se déplacent autour de vous, et vous n'avez aucune idée de leur plan de jeu. Vont-ils s'arrêter ? Tourner à gauche ? Accélérer ? Dans le monde de la robotique, c'est le défi ultime : comment conduire une voiture ou un robot en toute sécurité quand les autres conducteurs peuvent faire n'importe quoi, et que vous ne pouvez pas lire dans leurs pensées ?

Pour résoudre cela, les scientifiques s'appuient généralement sur deux éléments. Premièrement, ils utilisent la Commande Prédictive de Modèle (MPC - Model Predictive Control), qui est comme un GPS super intelligent qui ne se contente pas de regarder où vous êtes maintenant, mais simule les prochaines secondes de votre trajet pour voir si vous allez percuter quelque chose. Deuxièmement, ils utilisent l'apprentissage automatique, plus précisément un outil appelé Processus Gaussiens, qui agit comme une boule de cristal statistique. Au lieu de deviner, il observe les données passées pour prédire l'avenir, mais surtout, il vous indique à quel point il est incertain. Si la boule de cristal tremble, le robot sait qu'il doit être particulièrement prudent. La grande question que cet article traite est la suivante : peut-on apprendre à un robot à saisir la « personnalité » d'un robot étranger à la volée, à mettre à jour sa boule de cristal en temps réel et à utiliser cela pour éviter les collisions en toute sécurité, même lorsque l'étranger fait quelque chose de totalement inattendu ?

Cet article présente une nouvelle stratégie appelée SOWL-MPC (Safe Online World policy Learning Model Predictive Control). Considérez cela comme le fait de donner à votre robot un « superpouvoir » pour apprendre instantanément les habitudes d'un étranger. Dans le scénario « Ego-World » des auteurs, le robot que vous contrôlez (l'Ego) ne connaît pas les règles suivies par l'autre robot (le World). L'autre robot peut suivre un script caché, ou bien changer d'avis chaque seconde. Les méthodes traditionnelles tentent de deviner la trajectoire de l'autre robot en utilisant des règles fixes ou une mémoire pré-entraînée, mais si l'autre robot fait quelque chose de nouveau, ces méthodes échouent ou deviennent trop effrayées pour avancer.

SOWL-MPC change la donne en agissant comme un détective qui apprend en marchant. Au lieu de simplement observer l'autre robot, il utilise un tour mathématique spécial appelé Processus Gaussiens Variationnels Creux (SVGPs - Sparse Variational Gaussian Processes) pour construire un modèle du « cerveau » de l'autre robot (sa politique de contrôle) tout en l'observant bouger. L'article montre que le robot peut prendre des observations bruitées et floues de la position de l'autre robot et déterminer quels ordres sont probablement envoyés à ses roues. Il y parvient grâce à une technique appelée Conditionnement Variationnel en Ligne (OVC - Online Variational Conditioning), qui est comme mettre à jour une carte en temps réel sans avoir à redessiner entièrement la carte chaque fois que vous voyez une nouvelle rue.

Les auteurs ont testé cela de deux manières. Premièrement, ils ont lancé des milliers de simulations dans un monde virtuel en utilisant des voitures NVIDIA JetRacer sur une piste de course. Ils ont découvert que lorsque la voiture « World » commençait à conduire dans une partie nouvelle et inexplorée de la piste, SOWL-MPC apprenait rapidement son nouveau comportement. Alors qu'un robot standard incapable d'apprendre en ligne continuait de percuter ou de rater sa cible, SOWL-MPC s'adaptait, réduisant ses erreurs de prédiction de fautes énormes à un minuscule 0,05 mètre (environ 5 cm) après seulement un tour. Ils ont également testé la « sécurité » du robot en modifiant un bouton de réglage de la sécurité appelé $n_\sigma$ . Lorsqu'ils ont poussé la prudence à 3, le robot est devenu incroyablement précautionneux, planifiant à l'avance pour éviter toute chance de collision, atteignant un taux de réussite de 100 % dans l'évitement de collisions sur 50 essais aléatoires différents.

Enfin, l'équipe ne s'est pas arrêtée aux simulations informatiques. Ils ont transféré le code sur de vrais robots physiques dans une arène intérieure. Ils ont observé le robot « Ego » esquiver avec succès un robot « World » qui croisait son chemin ou le dépassait. Les tests en conditions réelles ont confirmé ce que les simulations suggéraient : le robot peut apprendre le comportement de l'autre robot à la volée et naviguer en toute sécurité. L'article conclut que cette approche fonctionne, prouvant qu'un robot peut être à la fois un apprenant rapide et un conducteur sûr, même quand l'autre conducteur est un mystère. Ce n'est pas une baguette magique qui résout tous les problèmes de l'univers, mais pour le défi spécifique de deux robots partageant un espace où l'un d'eux est inconnu, SOWL-MPC montre une voie très prometteuse.

Résumé Technique : SOWL-MPC (Safe Online World Policy Learning Model Predictive Control)

Énoncé du Problème
L'article traite du défi de la navigation autonome sécurisée pour un robot « ego » opérant dans un environnement partagé avec un robot « monde » dont la politique de contrôle est inconnue et potentiellement non stationnaire. Ce scénario, nommé cadre EGO–WORLD, suppose que le robot ego n'a accès qu'à des mesures d'état bruitées du robot monde ( $\tilde{z}_t = z_t + w_t$ ) et à une connaissance préalable de la dynamique nominale du robot monde (vecteur de dérive $g(z)$ et matrice de contrôle $H(z)$ ), mais ne connaît pas la politique de contrôle réelle du robot monde $\pi(z)$ . Les méthodes réactives traditionnelles (par exemple, l'approche de la fenêtre dynamique ou les fonctions de barrière de contrôle) sont souvent myopes, tandis que les approches prédictives existantes reposent généralement sur des modèles entraînés hors ligne ou des hypothèses de mouvement fixes qui ne parviennent pas à s'adapter à des comportements inédits. Le problème central est de concevoir un cadre de contrôle en ligne capable d'apprendre de manière itérative la politique latente du monde à partir de données en flux continu et d'utiliser cet apprentissage pour effectuer des manœuvres sûres et sans collision via le contrôle prédictif de modèle (MPC).

Méthodologie
La solution proposée, SOWL-MPC, intègre l'apprentissage en ligne à un schéma de contrôle à horizon fuyant à travers trois étapes principales :

Modélisation de la Politique et Préentraînement Hors Ligne :
La politique inconnue du monde $\pi(z)$ est modélisée comme un ensemble de processus gaussiens à variables sparses (SVGP) indépendants, un pour chaque composante du vecteur de politique. Initialement, les hyperparamètres sont sélectionnés via un préentraînement hors ligne sur un ensemble de paires état-entrée bruitées. Les données d'entrée (entrées de contrôle du monde) sont reconstruites en ligne à partir d'observations d'états bruitées consécutives en utilisant une approche de moindres carrés basée sur la dynamique nominale connue.
Apprentissage en Ligne via le Conditionnement Variationnel en Ligne (OVC) :
Pour s'adapter à de nouvelles données en temps réel sans le coût computationnel prohibitif d'un réentraînement, les auteurs utilisent le Conditionnement Variationnel en Ligne (OVC). Au lieu de stocker l'intégralité de l'historique des données, l'OVC maintient des statistiques suffisantes (emplacements d'induction, moyennes variationnelles et covariances) pour mettre à jour les paramètres du SVGP de manière récursive. L'algorithme projette le postérieur actuel en « pseudo-données », les combine avec la nouvelle observation, et met à jour les points d'induction ainsi que les paramètres variationnels. Cela permet au système d'apprendre la politique latente directement à partir de mesures bruitées en flux continu.
Prédiction de Trajectoire et Contrôle Sensibles à l'Incertitude :
La politique apprise est propagée à travers la dynamique non linéaire du monde en utilisant un schéma de propagation de moments gaussiens de premier ordre (analogue à une étape de prédiction d'un filtre de Kalman étendu). Cela génère une prévision probabiliste multi-étapes de la trajectoire future du robot monde, incluant une mesure de l'incertitude prédictive.
Ces prédictions sont injectées dans un contrôleur MPC non linéaire. La formulation du MPC comprend :
- Fonction de Coût : Un coût de suivi standard avec des pénalités pour l'effort de contrôle et la fluidité des entrées.
- Contraintes de Sécurité : L'évitement de collision est assuré par l'inflation de la distance de sécurité entre les robots. La marge de sécurité est ajustée dynamiquement en fonction de l'incertitude prédictive (trace de la matrice de covariance) mise à l'échelle par un paramètre de sécurité $n_\sigma$ défini par l'utilisateur. Des contraintes strictes sont appliquées à l'étape suivante immédiate, tandis que des variables d'écart permettent une relaxation temporaire dans l'horizon de prédiction ultérieur afin de garantir la faisabilité.

Principales Contributions
L'article présente trois contributions primaires :

Cadre SOWL-MPC : Une stratégie de contrôle novatrice pour les systèmes EGO–WORLD qui apprend la politique de rétroaction état-espace latente d'un robot monde non coopératif en ligne, plutôt que d'apprendre la dynamique du système ou de s'appuyer sur des prédicteurs hors ligne. Cette formulation tire parti de la plus faible dimensionnalité de l'espace d'entrée par rapport à l'espace d'état pour l'efficacité des données.
Application de l'OVC à la Robotique : La première application du Conditionnement Variationnel en Ligne à l'identification de politique en ligne et à la prédiction de trajectoire dans les systèmes robotiques. Cela permet aux modèles SVGP de se mettre à jour continuellement sur des données en flux avec une complexité computationnelle fixe ( $O(M^3)$ par mise à jour, où $M$ est le nombre de points d'induction).
Validation en Temps Réel : Une implémentation complète dans ROS 2 (intégrée à la boîte à outils CHOIRBOT) démontrant la faisabilité en temps réel. L'approche a été validée par des expériences virtuelles de Monte Carlo étendues et des tests matériels réels impliquant des manœuvres de dépassement et de croisement.

Résultats Expérimentaux
La stratégie a été évaluée dans des environnements virtuels (Webots/ROS 2) et réels (arène intérieure avec des voitures NVIDIA JetRacer) :

Précision de Prédiction : Dans les expériences virtuelles sur les pistes ETHZ MOBIL et LEMNISCATE, SOWL-MPC a nettement surpassé une base GP entraînée hors ligne et une base de vitesse constante (CV). L'erreur de déplacement moyenne (ADE) pour SOWL-MPC s'est stabilisée à environ 0,05 m après la phase initiale d'apprentissage, contre des erreurs dépassant 0,4 m pour la base CV et des pics périodiques supérieurs à 0,7 m pour la base hors ligne.
Garanties de Sécurité : Les simulations de Monte Carlo ont démontré que le réglage du paramètre de sécurité $n_\sigma$ permet un compromis entre agressivité et sécurité. Avec $n_\sigma = 3$ , la méthode a atteint un taux de succès de 100 % dans l'évitement de collisions sur 50 essais, alors qu'une approche déterministe ( $n_\sigma = 0$ ) a échoué dans 36 % des cas.
Performance en Temps Réel : Le temps de calcul moyen par étape de contrôle est resté bien en dessous du temps d'échantillonnage de 50 ms, même pour des horizons de prédiction allant jusqu'à $T=40$ , confirmant la faisabilité en temps réel.
Validation sur Matériel Réel : Sur le matériel physique, le système a exécuté avec succès des manœuvres d'évitement anticipatrices, avec une ADE se stabilisant autour de 0,05 m, confirmant le transfert des résultats virtuels vers la dynamique réelle.

Signification et Revendications
L'article affirme que SOWL-MPC représente une avancée significative en comblant le fossé entre la sécurité réactive et la planification prédictive dans des environaux contenant des agents adaptatifs et inconnus. En modélisant et en apprenant explicitement la politique du robot monde plutôt que simplement sa dynamique, et en utilisant l'OVC pour des mises à jour en ligne efficaces, le cadre atteint des garanties de sécurité qui s'adaptent au comportement observé du robot monde. Les auteurs soulignent qu'il s'agit de la première application de l'OVC à ce problème robotique spécifique, permettant un apprentissage efficace des données des politiques latentes qui peuvent être directement intégrées dans des boucles de contrôle sensibles à l'incertitude. Le travail démontre qu'une navigation anticipative sûre est possible même lorsque la logique de contrôle du robot monde est totalement inconnue et que seules des mesures d'état bruitées sont disponibles.

Résumé Technique : SOWL-MPC (Safe Online World Policy Learning Model Predictive Control)

Articles similaires