L4acados: Learning-based models for acados, applied to Gaussian process-based predictive control

Ce papier présente L4acados, un cadre général permettant d'intégrer des modèles d'apprentissage, tels que les processus gaussiens, dans le logiciel de contrôle optimal temps réel acados via des sensibilités externes, afin de réaliser des contrôleurs prédictifs performants et évolutifs appliqués avec succès à la conduite autonome.

L'essentiel

🚗 Le Problème : Le Conducteur qui ne connaît pas la route

Imaginez que vous conduisez une voiture autonome. Pour rouler vite et en sécurité, la voiture doit prédire ce qui va se passer dans les prochaines secondes.

Habituellement, les ingénieurs donnent à la voiture une "carte" mathématique très précise de la physique (comment les pneus frottent, comment le moteur réagit). C'est comme si la voiture connaissait la route par cœur.

Mais il y a un problème :

1. La vraie route est parfois glissante, il y a du vent, ou la voiture a des pièces d'usure. La "carte" officielle est donc imparfaite.
2. Pour corriger cela, on utilise l'Intelligence Artificielle (IA) (comme un cerveau qui apprend). L'IA observe la voiture et dit : "Attends, en réalité, quand on tourne à gauche ici, on glisse un peu plus que prévu."

Le dilemme :
L'IA est excellente pour apprendre, mais elle est très lente à "parler" aux logiciels de contrôle de la voiture. C'est comme essayer de faire passer un message urgent d'un expert en mathématiques (l'IA) à un pilote de course (le logiciel de contrôle) qui parle une langue différente. Le message met trop de temps à arriver, et la voiture risque de rater le virage.

---

💡 La Solution : L4acados, le Super-Traducteur

Les auteurs de ce papier ont créé un outil génial appelé L4acados.

Imaginez que L4acados est un traducteur ultra-rapide et un chef d'orchestre.

• Il écoute l'IA (qui parle Python, le langage des data scientists).
• Il traduit instantanément les conseils de l'IA en instructions que le logiciel de contrôle (acados) peut comprendre et exécuter en temps réel.
• Surtout, il est capable de paralléliser le travail : au lieu de demander à l'IA de réfléchir à un virage après l'autre, il lui demande de calculer toute la trajectoire d'un coup, comme si on lançait 100 calculs en même temps au lieu de les faire un par un.

Le résultat ? La voiture peut utiliser les conseils de l'IA pour s'adapter à la route pendant qu'elle roule, sans ralentir.

---

🏎️ Les Démonstrations : Deux Courses Réelles

Pour prouver que leur invention fonctionne, les chercheurs l'ont testée sur deux situations très différentes :

1. La Formule 1 miniature (La petite voiture)

Imaginez une voiture de course miniature (taille d'un jouet) qui fait des tours sur un circuit.

• Sans L4acados : La voiture est prudente. Elle reste au milieu de la piste par peur de glisser, car elle ne connaît pas parfaitement l'adhérence. Elle va lentement.
• Avec L4acados : La voiture apprend en temps réel. Si elle sent que le sol est plus glissant, elle ajuste sa trajectoire.
• L'analogie : C'est comme un coureur cycliste qui, au lieu de rouler prudemment au milieu de la route, commence à "sentir" le vent et la pente. Il ose prendre des virages plus serrés et aller plus vite, tout en restant parfaitement sûr de ne pas tomber.
• Résultat : Elle a fait le tour beaucoup plus vite et a réussi à éviter les accidents même avec des conditions imprévues.

2. La vraie voiture (La grosse voiture)

Ensuite, ils ont testé cela sur une vraie voiture autonome (de la taille d'une voiture normale) pour un exercice de changement de voie (comme sur l'autoroute).

• Le défi : Changer de voie rapidement et confortablement sans que les passagers ne soient secoués.
• Le résultat : La voiture standard (sans IA) a eu du mal, les mouvements étaient un peu brusques. La voiture avec L4acados et l'IA a fait le mouvement de manière fluide, confortable et précise, en anticipant les petites erreurs de la physique réelle.

---

🌟 En Résumé : Pourquoi c'est important ?

Ce papier ne dit pas seulement "l'IA c'est bien". Il résout un problème technique ennuyeux : comment faire parler deux mondes qui ne se comprennent pas ?

• Avant : Utiliser l'IA pour contrôler une voiture en temps réel était lent et compliqué. C'était comme essayer de diriger un orchestre avec un mégaphone qui a des piles faibles.
• Aujourd'hui (avec L4acados) : C'est comme si on avait branché un câble fibre optique direct entre le cerveau de l'IA et les muscles de la voiture.

L'analogie finale :
C'est comme passer d'un conducteur qui lit une vieille carte papier (l'ancien logiciel) à un conducteur qui a un GPS connecté en direct avec la météo et le trafic, capable de recalculer la route en une fraction de seconde pour éviter un embouteillage ou une plaque de verglas.

Grâce à L4acados, les voitures autonomes pourront bientôt apprendre de leurs erreurs en temps réel, rouler plus vite, plus sûrement et plus confortablement, que ce soit sur un circuit miniature ou sur l'autoroute.

Résumé technique

1. Problématique

L'intégration de modèles basés sur l'apprentissage automatique (tels que les réseaux de neurones artificiels ou les processus gaussiens) dans les stratégies de commande prédictive par modèle (MPC) permet d'améliorer significativement la précision des prédictions et l'adaptation en ligne pour des applications réelles. Cependant, une barrière majeure persiste : l'interfaçage efficace de ces modèles d'apprentissage avec des logiciels de contrôle optimal en temps réel.

Les défis spécifiques incluent :

• Complexité de l'interfaçage : Les solveurs MPC rapides (comme acados) reposent généralement sur des expressions symboliques (via CasADi) pour calculer les sensibilités (dérivées premières et secondes). Les modèles d'apprentissage modernes (PyTorch, GPyTorch) utilisent leurs propres moteurs de différenciation automatique, ce qui rend leur couplage direct difficile.
• Efficacité computationnelle : Les approches existantes (réimplémentation dans CasADi, approximations constantes) souffrent souvent d'un manque de parallélisation, d'une complexité accrue ou d'une perte de précision.
• Gestion de l'incertitude : Pour les MPC basés sur les processus gaussiens (GP-MPC), la propagation de l'incertitude (covariance de l'état) dans le problème d'optimisation rend le calcul extrêmement coûteux, souvent au point de rendre l'application en temps réel impossible sans heuristiques simplificatrices.

2. Méthodologie : L4acados

Les auteurs proposent L4acados, un cadre logiciel général permettant d'intégrer des modèles de dynamique basés sur Python (et donc des modèles d'apprentissage) dans le logiciel de contrôle optimal en temps réel acados.

Principe de fonctionnement :
Au lieu de réimplémenter les modèles dans le moteur de différenciation automatique de acados (CasADi), L4acados modifie l'algorithme de résolution du problème d'optimisation (SQP - Sequential Quadratic Programming) :

1. Paramétrisation externe : À chaque itération du solveur SQP, au lieu de calculer les sensibilités symboliquement, le solveur interroge un module Python utilisateur défini par l'utilisateur.
2. Calcul des sensibilités externes : Ce module fournit les valeurs du modèle résiduel $g(x, u)$ et ses jacobiennes ($\partial g/\partial x$, $\partial g/\partial u$) pour une série de points de linéarisation (batch).
3. Linéarisation affine : Le problème d'optimisation non linéaire original est reformulé comme un problème à dynamique affine où les termes de sensibilité ($\hat{A}_k, \hat{B}_k, \hat{c}_k$) sont traités comme des paramètres mis à jour dynamiquement. Cela permet d'utiliser les solveurs QP rapides de acados tout en utilisant des modèles externes.
4. Parallélisation : L4acados permet d'évaluer les sensibilités en lot (batch) sur plusieurs points de l'horizon de prédiction simultanément, exploitant ainsi le parallélisme (CPU/GPU) pour réduire le temps de calcul.

Cas d'usage spécifique (GP-MPC) :
Pour les processus gaussiens, les auteurs implémentent l'algorithme zoGPMPC (Zero-Order Gaussian Process MPC).

• Ils utilisent l'algorithme d'optimisation robuste d'ordre zéro (zoRO) qui sépare la propagation de la covariance (basée sur l'itérée précédente) de la résolution du problème d'optimisation quadratique.
• Cela évite de calculer les dérivées de la covariance (très coûteuses) à chaque itération SQP, tout en maintenant la faisabilité et la sécurité via un resserrement (tightening) des contraintes basé sur l'incertitude.

3. Contributions Clés

1. Framework L4acados : Une bibliothèque open-source permettant d'utiliser n'importe quel modèle Python (PyTorch, TensorFlow, simulateurs différentiables, boîtes noires) dans acados via une interface de sensibilités externes.
2. Efficacité et Scalabilité : Démonstration que L4acados offre des accélérations significatives par rapport aux méthodes existantes (comme L4CasADi ou CasADi natif), en particulier pour les horizons de prédiction longs et les modèles complexes, grâce au calcul de sensibilités en lot et au parallélisme.
3. Implémentation Modulaire GP-MPC : Une implémentation efficace et modulaire du MPC basé sur les processus gaussiens, supportant :
   • Des modèles GPyTorch arbitraires.
   • La propagation rapide des covariances.
   • Des stratégies de mise à jour en ligne (online learning).
4. Validation Expérimentale : Application réussie sur deux plateformes matérielles distinctes : une voiture de course miniature autonome et un véhicule autonome à échelle réelle.

4. Résultats Expérimentaux

A. Benchmark de Performance (Réseaux de Neurones)

• Comparaison : L4acados a été comparé à L4CasADi et à une implémentation pure CasADi sur un système double intégrateur avec des dynamiques de réseaux de neurones.
• Résultats : L4acados démontre des accélérations notables (speed-ups) par rapport aux autres méthodes, en particulier pour des horizons de prédiction $N \ge 10$ et des architectures de réseaux de neurones larges ou profondes.
• Parallélisation : L'utilisation de batches sur GPU ou multi-cœurs CPU réduit considérablement le temps de préparation du sous-problème quadratique.

B. Course Autonome Miniature (Plateforme CRS)

• Scénario : Course sur un circuit avec une voiture miniature 1:24.
• Résultats :
  • Le MPC basé sur le processus gaussien (zoGPMPC) permet une conduite plus agressive et plus rapide que le MPC nominal (qui est trop conservateur) tout en respectant les contraintes de sécurité.
  • L'apprentissage en ligne (mise à jour du modèle avec de nouvelles données) permet d'adapter le comportement du véhicule en temps réel.
  • Temps de calcul : Les variantes SQP-RTI (Real-Time Iteration) sont réalisables en temps réel (< 33 ms pour 99,9% des cas), même avec des mises à jour de modèle en ligne.

C. Véhicule Autonome à Échelle Réelle (Manœuvre ISO)

• Scénario : Changement de voie double (manœuvre ISO 3888-1) à 30 km/h sur un véhicule de recherche complet.
• Résultats :
  • Le contrôleur nominal seul présentait des performances insatisfaisantes (charges d'actionneurs élevées, suivi instable).
  • L'ajout du terme de correction GP via L4acados a considérablement amélioré le confort et la stabilité du suivi de trajectoire.
  • Temps de calcul : Le temps total de calcul moyen était de 3,1 ms (MPC nominal) et 8,2 ms (zoGPMPC), bien en dessous de la période d'échantillonnage de 20 ms, prouvant la viabilité en temps réel pour des véhicules réels.

5. Signification et Impact

Ce travail comble un vide critique entre les frameworks d'apprentissage automatique modernes et les logiciels de contrôle optimal embarqué haute performance.

• Accessibilité : Il permet aux chercheurs et ingénieurs d'utiliser des modèles d'apprentissage de pointe (PyTorch, GPyTorch) sans avoir à réécrire manuellement leurs équations dans un langage symbolique spécifique (CasADi).
• Performance : Il démontre que l'utilisation de modèles d'apprentissage complexes dans des boucles de contrôle en temps réel est non seulement possible, mais peut être plus rapide que les méthodes d'interfaçage précédentes grâce à une architecture optimisée pour le parallélisme.
• Sécurité : En intégrant efficacement l'incertitude (via les GP) dans la boucle de contrôle, il ouvre la voie à des systèmes autonomes plus sûrs et plus performants capables de s'adapter aux dynamiques non modélisées du monde réel.

En résumé, L4acados est un outil clé pour l'adoption généralisée du "MPC appris" (Learning-based MPC) dans des applications critiques et à haute fréquence comme la robotique mobile et la conduite autonome.