⚡ electrical engineering

A Hybrid End-to-End and Modular Control Architecture Toward Safe Vehicle Lateral Control: Combining Soft Actor-Critic with Model Predictive Control

Cet article propose une architecture de commande latérale pour véhicule hybride qui intègre une politique d'apprentissage par renforcement Soft Actor-Critic avec un contrôleur prédictif basé sur un modèle contraint via un coefficient de mélange monotone, atteignant ainsi l'adaptabilité de l'apprentissage de bout en bout tout en maintenant les garanties de sécurité et l'interprétabilité de la commande basée sur un modèle.

Auteurs originaux : Farzaneh Tatari

Publié 2026-08-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Farzaneh Tatari

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Conduire une voiture implique une négociation constante et subtile entre la route et la machine. Pour rester dans une voie, un véhicule doit constamment ajuster sa direction, réagissant aux courbes, au vent et à l'adhérence inégale des pneus. Pendant des décennies, les ingénieurs se sont appuyés sur deux manières principales d'apprendre à un ordinateur comment faire cela. La première est une approche basée sur des règles, où la voiture suit un ensemble strict d'équations physiques et de limites préprogrammées. Cette méthode est prévisible et sûre, mais elle peut être rigide ; si les conditions de la route changent d'une manière que les règles n'avaient pas anticipée, la voiture peut éprouver des difficultés. La seconde approche est basée sur l'apprentissage, où un programme informatique observe des milliers d'exemples de conduite et détermine de lui-même les meilleurs mouvements. Cette méthode est incroyablement flexible et peut gérer des situations complexes et désordonnées, mais c'est une boîte noire : il est difficile de savoir pourquoi elle a fait un choix spécifique, et elle n'offre aucune garantie qu'elle ne commettra pas une erreur dangereuse dans une situation qu'elle n'a pas encore rencontrée.

Le défi pour l'avenir de la conduite autonome est de combiner le meilleur des deux mondes. Nous avons besoin d'un système qui soit aussi adaptable qu'un apprenant humain mais aussi fiable et compréhensible qu'un ingénieur basé sur des règles. Une nouvelle étude menée par la chercheuse indépendante Farzaneh Tatari s'attaque précisément à ce problème en créant un contrôleur hybride pour le mouvement latéral d'une voiture. La recherche ne repose pas sur une seule méthode, mais fusionne plutôt une politique d'apprentissage avec un filet de sécurité basé sur des règles. L'objectif est de voir si une voiture peut apprendre à conduire de manière fluide et précise tout en restant soumise à un système de sécurité qui l'empêche de dépasser ses limites physiques ou de faire des mouvements erratiques.

Pour tester cette idée, la chercheuse a construit une simulation numérique d'une voiture se déplaçant à une vitesse constante de 15 mètres par seconde. Dans ce monde virtuel, elle a mis en place quatre conducteurs différents pour voir leurs performances. Le premier était un contrôleur simple et standard utilisé dans les voitures depuis des années. Le deuxième était un système sophistiqué, basé sur des règles, qui calcule constamment le meilleur chemin à suivre tout en respectant des limites strictes sur la vitesse de rotation du volant. Le troisième était un système d'apprentissage pur, entraîné à partir de zéro pour minimiser les erreurs sans aucune règle préétablie. Le quatrième, et le plus important, était le nouveau système hybride. Ce système prend la commande de direction de l'IA d'apprentissage et la commande de direction du calculateur basé sur des règles et les mélange en une seule instruction. Il utilise un cadran unique pour ajuster le mélange : tourner le cadran d'un côté donne plus de poids à l'IA d'apprentissage flexible, tandis que le tourner de l'autre côté donne plus de poids au calculateur sûr basé sur des règles.

Les résultats de la simulation ont montré que l'IA d'apprentissage était la plus précise pour maintenir la voiture au centre de la voie, faisant moins d'erreurs que les systèmes traditionnels basés sur des règles. Cependant, l'IA d'apprentissage pure avait une faiblesse : dans quelques situations extrêmes très différentes de son entraînement, elle commettait occasionnellement une erreur qui faisait dévier la voiture trop loin de sa trajectoire. Le système hybride a conservé la haute précision de l'IA d'apprentissage tout en garantissant que chaque commande de direction reste dans les limites physiques sûres de la voiture. Dans la grande majorité des tests, la voiture hybride a performé presque aussi bien que l'IA d'apprentissage pure. Cependant, dans les rares cas extrêmes où l'IA d'apprentissage pure a échoué, le système hybride a hérité de ces mêmes échecs. Parce que l'IA d'apprentissage était si dominante dans le mélange, le composant de sécurité basé sur des règles n'a pas pu la supplanter assez rapidement pour empêcher l'erreur dans ces cas spécifiques.

L'étude a également exploré ce qui se passe lorsque la voiture rencontre des conditions pour lesquelles elle n'a pas été entraînée, telles que des routes glissantes ou des erreurs initiales soudaines et importantes de sa position de départ. Le système hybride s'est montré robuste, maintenant sa précision même lorsque l'adhérence des pneus était plus faible que prévu ou lorsque la voiture commençait avec une dérive latérale significative. Cependant, la chercheuse a trouvé une limite spécifique à cette sécurité. Dans quelques cas extrêmes très rares, où la voiture commençait avec une erreur importante et où l'IA d'apprentissage tentait de diriger dans une direction qui était déjà à son maximum physique, le mélange ne pouvait pas corriger l'erreur assez vite. Cela se produisait parce que l'IA d'apprentissage était si dominante dans le mélange que le composant de sécurité basé sur des règles ne pouvait pas la supplanter assez rapidement pour empêcher un accident.

Cette découverte a conduit à une intuition cruciale sur la manière dont un tel système devrait fonctionner dans le monde réel. La chercheuse a proposé que le « cadran » contrôlant le mélange ne soit pas fixe. Au lieu de cela, il devrait être connecté à des informations extérieures, telles que des données provenant d'autres voitures ou de capteurs routiers. Si le système détecte que la voiture entre dans une situation qu'elle n'a jamais vue auparavant, ou si les conditions routières sont dangereuses, le cadran devrait automatiquement basculer pour donner plus de puissance au calculateur sûr basé sur des règles. Cela permettrait à la voiture de rester flexible et efficace sur les routes normales, tout en devenant instantanément plus conservatrice et prévisible lorsque la situation devient incertaine.

Ce travail démontre qu'il est possible de construire un contrôleur de véhicule qui apprend de l'expérience sans perdre les garanties de sécurité de l'ingénierie traditionnelle. L'approche hybride a réussi à conserver le suivi fluide et précis du système d'apprentissage tout en maintenant la voiture dans ses limites physiques. Bien que la version actuelle soit un mélange simplifié de deux signaux, la recherche pointe vers un avenir où une version plus avancée pourrait résoudre les échecs rares restants. En connectant le contrôleur à un réseau de véhicules et d'infrastructures routières, le système pourrait ajuster dynamiquement son comportement, garantissant que la voiture reste sûre même lorsque la route lui lance un imprévu qu'elle n'a jamais vu. Cela représente une étape significative vers des véhicules qui sont non seulement assez intelligents pour apprendre, mais aussi assez sages pour savoir quand s'appuyer sur leurs règles de sécurité.

Résumé Technique : Une architecture de contrôle hybride bout-en-bout et modulaire vers un contrôle latéral de véhicule sécurisé

Énoncé du problème
Les véhicules connectés et automatisés (CAV) nécessitent des contrôleurs latéraux qui équilibrent la précision, l'effort de commande réduit et la sécurité dans des conditions d'erreur de modèle, de bruit de capteur et de perturbations non modélisées. La littérature est actuellement dominée par deux approches distinctes, chacune présentant des limitations significatives :

Contrôleurs modulaires (ex. : MPC, PID) : Ils reposent sur des modèles basés sur la physique et des contraintes explicites, offrant interprétabilité et garanties de sécurité. Cependant, ils sont sensibles aux imprécisions du modèle et nécessitent un réglage manuel extensif.
Politiques apprises de bout en bout (ex. : Deep RL) : Elles s'adaptent aux non-linéarités et aux dynamiques non modélisées sans lois de commande conçues à la main, mais manquent de garanties de sécurité intrinsèques, d'interprétabilité et de robustesse face aux décalages de distribution.

Le présent article traite du défi consistant à combiner l'adaptabilité des politiques apprises avec la sécurité et la prédictibilité du contrôle modulaire sans sacrifier les forces de l'un ou de l'autre.

Méthodologie
L'auteur propose une architecture hybride qui mélange linéairement une politique Soft Actor-Critic (SAC) entraînée avec un contrôleur de commande prédictive (MPC) linéaire contraint.

Modèle de véhicule : Les expériences utilisent un modèle de bicyclette latéral linéarisé à quatre états à une vitesse longitudinale constante de 15 m/s.
Composante modulaire (MPC) : Un MPC linéaire est formulé comme un programme quadratique (QP) sur un horizon de 15 étapes avec des contraintes explicites d'entrée ( $|\delta| \leq 0,4$ rad) et de taux d'entrée ( $|\dot{\delta}| \leq 3$ rad/s). Il est réglé via une recherche par grille sur 243 configurations de poids.
Composante de bout en bout (SAC) : Une politique SAC est entraînée à partir de zéro sur le même système en utilisant une fonction de récompense pénalisant l'erreur latérale, l'erreur de cap, l'amplitude de direction et le taux de direction. L'entraînement se déroule dans un simulateur épisodique avec des conditions initiales randomisées.
Architecture hybride : À chaque pas de temps $k$ , le contrôleur calcule une combinaison convexe de l'optimum de la première étape du MPC ( $\delta_{MPC}$ ) et de la sortie de la politique SAC ( $\delta_{SAC}$ ). La commande de direction finale est :
$\delta_k = \text{sat}_{\delta_{max}} \left( (1 - \alpha(\lambda)) \delta_{MPC} + \alpha(\lambda) \delta_{SAC} \right)$
où $\alpha(\lambda) = \lambda / (1 + \lambda)$ est un coefficient de mélange monotone. Le résultat est saturé aux mêmes limites d'actionneur que celles utilisées par le MPC.
Évaluation : Le système est comparé à un PID, un MPC linéaire réglé, et un SAC autonome selon des conditions nominales, des cas de robustesse (grandes erreurs initiales, bruit de processus, décalage de rigidité des pneus) et un ensemble multi-conditions initiales (grille 5x5 croisée avec 5 graines d'entraînement).

Principales contributions

Évaluation comparative (Benchmarking) : Une comparaison complète de quatre contrôleurs (PID, MPC, SAC, Hybride) sur un modèle de bicyclette latéral utilisant des métriques partagées (RMSE, erreur de crête, direction absolue moyenne, erreur finale).
Formulation hybride : La proposition d'un mécanisme de mélange à forme fermée qui interpole entre une ancre modulaire contrainte et une politique apprise, garantissant que la sortie reste dans l'enveloppe de l'actionneur.
Analyse de robustesse : Évaluation de la performance de l'hybride sous des perturbations significatives, incluant le bruit de processus et les décalages de rigidité des pneus.
Analyse des limites et extensions : Une discussion détaillée de l'incapacité de l'implémentation actuelle à garantir la faisabilité récursive ou à prévenir toutes les divergences de cas limites, motivant une extension sensible à la connectivité où le coefficient de mélange est programmé en fonction des signaux V2X (Vehicle-to-Everything).

Résultats

Performance nominale : La politique SAC a obtenu la RMSE d'erreur latérale la plus faible (0,0167 m), surpassant le PID de 48 % et le MPC linéaire de 41 %. Le contrôleur hybride (avec $\lambda=12$ ) correspond étroitement à la qualité de suivi du SAC (RMSE 0,0171 m) tout en maintenant l'enveloppe d'actionneur du MPC et en fournissant une contribution déterministe basée sur le modèle à chaque commande.
Robustesse : Dans les quatre cas de robustesse (grande erreur latérale, grande erreur de cap, bruit de processus et décalage de rigidité des pneus), le SAC et l'hybride ont obtenu les RMSE les plus faibles, réduisant les erreurs de 32 à 49 % par rapport au PID et au MPC.
Divergence de cas limites : Dans un ensemble multi-conditions initiales (125 paires), le PID et le MPC sont restés convergents sur tous les essais. Le SAC et l'hybride ont divergé dans 3 cas sur 125, spécifiquement aux limites extrêmes de la distribution d'entraînement (ex. : $\pm 0,4$ m d'erreur latérale, $\pm 0,10$ rad d'erreur de cap).
Mode de défaillance : L'analyse a révélé qu'au poids de mélange choisi ( $\alpha \approx 0,92$ ), la contribution basée sur le modèle est limitée à $\approx 0,031$ rad. Cela est insuffisant pour contrer une commande SAC saturée dans la mauvaise direction au sein d'un seul échantillon, ce qui conduit à la divergence.

Signification et affirmations
L'article affirme que l'architecture hybride parvient à conserver la qualité de suivi d'un SAC autonome tout en préservant les contraintes de sécurité et l'interprétabilité du MPC modulaire. La valeur primaire de l'hybride n'est pas nécessairement une réduction de la RMSE nominale (où le SAC excelle déjà), mais la fourniture d'une interface réglable (le coefficient de mélange $\lambda$ ) qui permet aux intégrateurs de systèmes d'ajuster l'équilibre entre adaptabilité et sécurité.

L'auteur note modestement que l'implémentation actuelle est un mélange convexe à forme fermée et non un filtre de sécurité prédictif complet. Par conséquent, elle ne garantit pas la faisabilité récursive ou l'invariance terminale, et ne peut pas prévenir les échecs lors de décalages de distribution sévères, mais peut seulement en atténuer l'ampleur.

L'article conclut que l'architecture est une étape vers un filtre de sécurité plus rigoureux. La voie proposée pour les travaux futurs implique :

Remplacer le mélange à forme fermée par un filtre de sécurité prédictif de type QP contraint (où l'action du SAC entre comme une préférence douce dans l'objectif du MPC).
Implémenter une extension sensible à la connectivité où $\lambda$ est programmé dynamiquement en fonction des signaux V2X (ex. : friction de la route, météo) pour redonner l'autorité au contrôleur basé sur le modèle lorsque le véhicule opère en dehors de la distribution d'entraînement.

Le travail est présenté comme une étude indépendante, distincte de tout produit de l'employeur, et sert de fondation pour des travaux futurs impliquant des modèles non linéaires de plus haute fidélité et une validation sur véhicule réel.

Articles similaires