⚡ electrical engineering

Adaptive Control in Autonomous Driving via Real-Time Recurrent RL

Ce papier présente un cadre de contrôle adaptatif pour la conduite autonome qui combine un apprentissage par imitation comportemental hors ligne avec un affinage en ligne par apprentissage par renforcement récurrent en temps réel (RTRRL) utilisant LrcSSM, démontrant avec succès une adaptation améliorée de la politique aux décalages de distribution à la fois dans des simulations CarRacing et des expériences réelles sur une plateforme RoboRacer à l'échelle 1:10 équipée d'une caméra événementielle.

Auteurs originaux : Julian Lemmel, Felix Resch, Mónika Farsang, Ramin Hasani, Daniela Rus, Radu Grosu

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Julian Lemmel, Felix Resch, Mónika Farsang, Ramin Hasani, Daniela Rus, Radu Grosu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez appris à un robot voiture à conduire en lui montrant des milliers d'heures de vidéo d'un conducteur humain. Vous avez fait cela dans un simulateur et même sur une petite piste réelle. Le robot est maintenant « pré-entraîné ». Il sait bien conduire... dans les conditions exactes où il a été enseigné.

Mais voici le problème : le monde réel est désordonné. Le soleil peut éblouir la caméra, la route peut être légèrement différente, ou le volant peut se bloquer légèrement vers la gauche. Par le passé, si le robot rencontrait ces changements, il paniquait et se crashait car il ne pouvait pas s'adapter. C'était comme un étudiant qui a mémorisé les réponses à un test spécifique mais échoue immédiatement si l'enseignant change un seul mot dans la question.

Ce papier introduit une nouvelle façon d'enseigner au robot : l'Apprentissage par Renforcement Récurrent en Temps Réel (RTRRL).

L'Idée Centrale : Apprendre en Conduisant

Pensez à l'entraînement traditionnel comme à l'étude pour un examen final. Vous lisez le livre, prenez des notes, puis passez le test. Si vous vous trompez sur une question, vous devez retourner à la bibliothèque, relire tout le chapitre, et repasser le test. C'est lent et nécessite beaucoup de mémoire.

Le RTRRL est différent. C'est comme un étudiant qui apprend pendant qu'il passe le test.

Pas de bouton « Rembobiner » : Habituellement, pour apprendre d'une erreur, un ordinateur doit « rembobiner » le temps pour voir exactement ce qu'il a fait de travers (un processus appelé Rétropropagation à travers le temps). C'est lourd et lent.
L'Approche « Uniquement vers l'Avant » : Cette nouvelle méthode est comme un conducteur qui fait une petite correction immédiatement après sentir la voiture dériver, sans avoir besoin de rejouer la dernière minute de conduite dans sa tête. Il met à jour son « cerveau » (la politique) à chaque instant, étape par étape.

Le Nouveau Modèle de « Cerveau » : LrcSSM

Les chercheurs n'ont pas seulement utilisé la nouvelle méthode d'apprentissage ; ils ont également amélioré l'architecture du « cerveau » du robot.

L'Ancien Cerveau (LRU) : Imaginez un cerveau qui ne pense qu'en lignes droites. Il est rapide et efficace, mais si la route tourne brusquement ou si la lumière change soudainement, un penseur en ligne droite se perd.
Le Nouveau Cerveau (LrcSSM) : C'est un cerveau « bio-inspiré ». C'est comme un organisme vivant qui peut plier et adapter sa logique interne en fonction de ce qu'il voit. Il conserve la vitesse de l'ancien cerveau mais ajoute la capacité de gérer des situations complexes et non linéaires (comme des changements soudains de lumière ou de direction).

L'Expérience : Deux Pistes

L'équipe a testé cela sur deux pistes très différentes :

La Piste de Jeu Vidéo (CarRacing) : Ils ont utilisé un simulateur standard avec des images de caméra normales. Ils ont montré au robot comment conduire, puis l'ont laissé conduire seul. Lorsqu'ils ont introduit un « bug » (comme changer la sensibilité de la direction), le robot utilisant la nouvelle méthode a rapidement compris comment compenser et a continué à conduire fluidement. Les anciennes méthodes ont lutté ou échoué.
La Piste Réelle (RoboRacer) : C'est le gros morceau. Ils ont placé le robot sur une voiture de course à l'échelle 1:10 dans un vrai laboratoire. Au lieu d'une caméra normale, ils ont utilisé une Caméra Événementielle.
- Analogie : Une caméra normale prend une photo 60 fois par seconde, même si rien ne bouge. Une Caméra Événementielle est comme un système nerveux ; elle ne « tire » que lorsque quelque chose change (comme un pixel devenant plus lumineux ou plus sombre). Elle est incroyablement rapide et bonne pour voir le mouvement.
- Le robot devait suivre une ligne sur le sol en utilisant uniquement ces « événements ». Lorsque les chercheurs ont perturbé la direction ou ont projeté de la lumière vive (simulant le soleil), les performances du robot ont baissé, puis il s'est adapté en temps réel et a commencé à conduire mieux qu'avant le bug.

La Grande Conclusion

Ce papier prouve que vous n'avez pas besoin d'arrêter un robot, de le réentraîner à partir de zéro, ou de lui fournir de nouveaux ensembles de données massifs pour corriger ses erreurs.

En combinant le Clonage Comportemental (apprendre d'abord des démonstrations humaines) avec l'Apprentissage en Ligne en Temps Réel (ajuster instantanément en conduisant), le robot peut gérer l'imprévu. C'est la différence entre un robot qui est un script rigide et mémorisé et un robot qui est un conducteur flexible et adaptatif, qui apprend de chaque bosse sur la route au fur et à mesure qu'elle se produit.

Principales Affirmations du Papier :

C'est la première fois que cette méthode spécifique d'« apprentissage en ligne » est démontrée avec succès sur un robot réel utilisant des caméras événementielles.
Le nouveau modèle de cerveau « LrcSSM » a fonctionné le mieux, s'adaptant plus rapidement et plus constamment que les modèles plus anciens.
Le système fonctionne sur du matériel informatique standard (pas de super-ordinateurs spécialisés et coûteux), le rendant réalisable pour de vraies voitures et robots.

Résumé Technique : Contrôle Adaptatif dans la Conduite Autonome via l'Apprentissage par Renforcement Récurrent en Temps Réel

Énoncé du Problème

Les politiques de contrôle basées sur l'apprentissage pour la conduite autonome échouent souvent lors de leur déploiement dans des environnements différents de leurs données d'entraînement. Ces « changements de distribution » — causés par des modifications subtiles des dynamiques du système, des caractéristiques des capteurs ou des conditions environnementales — peuvent entraîner une dégradation catastrophique des performances. Les paradigmes traditionnels d'apprentissage hors ligne, où les politiques sont entraînées une fois et déployées sans adaptation, sont insuffisants pour ces environnements réels non stationnaires. Bien que l'adaptation en ligne soit requise, les méthodes existantes reposent souvent sur l'apprentissage par méta-apprentissage (nécessitant des données de tâches spécifiques), l'adaptation au moment du test (reposant sur des récompenses conçues à la main) ou l'apprentissage par renforcement en ligne conventionnel qui introduit une latence en attendant des épisodes complets ou des mini-lots avant la mise à jour. De plus, l'apprentissage en ligne standard dans les réseaux récurrents nécessite souvent la rétropropagation à travers le temps (BPTT), ce qui est gourmand en mémoire et biologiquement peu plausible.

Méthodologie

Les auteurs proposent un pipeline d'apprentissage hybride combinant le clonage comportemental hors ligne avec l'Apprentissage par Renforcement Récurrent en Temps Réel (RTRRL) en ligne. Cette approche permet aux politiques de s'adapter continuellement à chaque pas de temps sans réentraînement à partir de zéro ni accès à de grands jeux de données hors ligne.

Algorithme Central : RTRRL

Le RTRRL est un algorithme économe en mémoire et biologiquement plausible qui met à jour les paramètres de la politique à chaque pas de temps en utilisant une passe unidirectionnelle uniquement, éliminant ainsi le besoin de BPTT.

Calcul du Gradient : Au lieu de la BPTT, le cadre utilise l'apprentissage récurrent en temps réel (RTRL) ou l'apprentissage local en ligne par rétroaction aléatoire (RFLO). Ces méthodes calculent les gradients en ligne en utilisant des traces d'éligibilité et des approximations de Jacobien. Le RFLO, en particulier, impose la localité et la plausibilité biologique en utilisant des matrices de rétroaction aléatoire fixes, réduisant la complexité de $O(n^3)$ à $O(n^2)$ .
Objectif d'Apprentissage : L'algorithme combine l'apprentissage par différence temporelle (TD) avec des traces d'éligibilité (TD( $\lambda$ )) pour gérer les récompenses retardées. Il met à jour les réseaux acteur et critique en fonction de l'erreur TD $\delta_t = r_t + \gamma\hat{v}(h_{t+1}) - \hat{v}(h_t)$ .
Architecture : Les auteurs emploient des réseaux de neurones récurrents (RNN) séparés pour la politique (acteur) et la fonction de valeur (critique), plutôt qu'un socle partagé. L'acteur reçoit des observations encodées et produit une distribution d'actions, tandis que le critique estime la valeur de l'état.

Intégration du Modèle : LrcSSM

Une extension méthodologique clé de ce travail est l'intégration des Modèles d'Espace d'État à Résistance-Liquide et Capacité-Liquide (LrcSSM) dans le cadre RTRRL.

Caractéristiques LrcSSM : Contrairement aux Unités Récurrentes Linéaires (LRU) qui utilisent des dynamiques purement linéaires, ou aux RNN à Temps Continu (CT-RNN) standards avec des constantes de temps fixes, les LrcSSM introduisent des constantes de temps non linéaires dépendantes de l'entrée et de l'état. Cela permet aux neurones d'adapter leur comportement temporel dynamiquement.
Structure Diagonale : Les LrcSSM conservent une structure diagonale, ce qui permet le calcul exact des gradients RTRL sans la perte de performance généralement associée aux approximations, les rendant efficaces sur le plan computationnel pour l'apprentissage en ligne.

Pipeline d'Entraînement

Pré-entraînement Hors Ligne : Une politique est d'abord entraînée par clonage comportemental sur un jeu de données de démonstrations humaines. Cela implique un encodeur convolutif (autoencodeur pour la reconstruction d'images) et un réseau de politique récurrent.
Affinage en Ligne : La politique pré-entraînée est déployée et affinée en temps réel en utilisant le RTRRL. Pour éviter le surapprentissage lors de l'affinage dans un seul environnement (taille de lot effective de 1), une pénalité de changement de paramètre ( $L_\theta = \beta ||\theta_{pre} - \theta_t||^2$ ) est ajoutée à la fonction de perte.

Configuration Expérimentale

L'approche a été validée dans deux contextes distincts :

Simulation (CarRacing) : Un environnement OpenAI Gym modifié où les agents doivent suivre la ligne médiane d'une piste. L'environnement inclut une pénalité pour la déviation des roues.
Monde Réel (RoboRacer) : Un véhicule autonome à l'échelle 1:10 équipé d'un Capteur de Vision Dynamique (DVS) (caméra événementielle). La tâche consiste à suivre une ligne. Cette configuration est remarquable pour l'utilisation de la vision basée sur les événements (capturant les changements d'intensité plutôt que des images) sur du matériel non épique standard.

Résultats Clés

Simulation (CarRacing)

Performance : Tous les types de modèles (CT-RNN, LRU, LrcSSM) ont montré une amélioration significative après l'affinage en ligne par rapport à leurs bases pré-entraînées.
Supériorité du LrcSSM : Les politiques basées sur LrcSSM ont démontré l'amélioration la plus rapide et la plus cohérente à travers différentes graines aléatoires et pistes.
Adaptation : Les politiques affinées se sont ajustées avec succès aux changements de distribution, tels qu'un décalage simulé de l'angle de braquage, retrouvant des niveaux de performance comparables aux récompenses initiales.

Déploiement en Monde Réel (LineTracking)

Succès de la Caméra Événementielle : Ce travail présente la première démonstration d'un affinage par RL en ligne utilisant des observations de caméra événementielle sur du matériel standard dans un contexte de contrôle en boucle fermée.
Échec et Succès du Modèle :
- Échec du LRU : Les modèles LRU pré-entraînés ont échoué à apprendre une politique de suivi de ligne efficace, incapable de compléter un seul tour sans intervention. Les auteurs émettent l'hypothèse que la récurrence purement linéaire des LRU est insuffisante pour capturer les transitions discontinues, de type seuil, inhérentes aux données de trames événementielles (commutation entre les états ligne-visible et ligne-absente).
- Succès du LrcSSM : En revanche, les LrcSSM ont appris avec succès la tâche. Les auteurs attribuent cela aux dynamiques d'état non linéaires des LrcSSM, essentielles pour gérer les caractéristiques spécifiques du contrôle basé sur les événements, tout en conservant la structure diagonale nécessaire au calcul efficace des gradients.
Robustesse : Le système s'est adapté aux changements de distribution du monde réel, incluant un décalage de l'angle de braquage de 0,1 rad et des perturbations visuelles causées par la lumière ambiante du soleil. La récompense a initialement dégradé lors du décalage mais s'est rétablie aux niveaux pré-décalage en quelques tours.

Signification et Revendications

L'article revendique plusieurs premières et contributions significatives au domaine du contrôle autonome :

Première Application du LrcSSM dans le RL en Ligne : Il s'agit de la première application des LrcSSM dans un contexte d'apprentissage par renforcement en ligne, démontrant leur viabilité comme remplacement direct des LRU offrant une expressivité supérieure.
Pipeline d'Apprentissage Hybride : Le travail propose le premier pipeline combinant le clonage comportemental hors ligne avec un affinage RTRRL en temps réel en ligne, permettant une adaptation continue aux environnements non stationnaires sans réentraînement complet.
Faisabilité sur les Systèmes Embarqués : Les résultats valident que les algorithmes d'apprentissage en ligne en temps réel biologiquement plausibles sont réalisables sur des systèmes robotiques embarqués (RoboRacer) sans nécessiter de puces neuromorphiques spécialisées.
Contrôle en Ligne Basé sur les Événements : Il présente la première application d'apprentissage automatique haute fréquence, non épique, d'affinage en ligne utilisant des observations de caméra événementielle dans un contexte de contrôle en boucle fermée.
Synergie de la Bio-Inspiration : L'article met en évidence la synergie entre les capteurs bio-inspirés (caméras événementielles), les modèles récurrents bio-inspirés (LrcSSM) et les règles d'apprentissage biologiquement plausibles (RTRRL/RFLO).

Les auteurs concluent que, bien que le contrôle basé sur l'apprentissage soit vulnérable aux changements de distribution, l'approche proposée basée sur le RTRRL permet aux politiques déployées de maintenir leurs performances en s'adaptant continuellement en temps réel, les LrcSSM émergeant comme l'architecture la plus efficace à cette fin.