💻 computer science

CLEAR: Closed-Loop Reinforcement Learning at Scale for End-to-End Autonomous Driving

CLEAR introduit un cadre d'apprentissage par renforcement en boucle fermée et évolutif pour la conduite autonome de bout en bout qui entraîne une politique de waypoints résiduelle sur des modèles préentraînés de Vision-Langage-Action en utilisant un pipeline de simulation hétérogène, atteignant des performances de pointe sur des bancs d'essai exigeants en surmontant les limitations de décalage de distribution de l'apprentissage par imitation traditionnel.

Auteurs originaux : Yunxiao Shi, Hong Cai, Mohammad Ghavamzadeh, Fatih Porikli

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yunxiao Shi, Hong Cai, Mohammad Ghavamzadeh, Fatih Porikli

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à une voiture autonome. Pendant longtemps, la meilleure façon de le faire était l'Apprentissage par Imitation. Voyez cela comme un élève conducteur assis sur le siège passager d'une voiture conduite par un expert parfait. L'élève se contente de copier ce que fait l'expert. Si l'expert tourne à gauche, l'élève tourne à gauche.

Le problème ? Cela ne fonctionne que pour un examen « à livre ouvert ». Si l'élève est confronté à une situation que l'expert ne lui a jamais montrée, ou si l'élève commet une petite erreur, il est confus. Dans le monde réel (ou dans une simulation complexe), une seule petite erreur peut mener à un accident, et l'élève ne sait pas comment s'en remettre car il a seulement appris à copier, et non à réfléchir ou à s'adapter.

Récemment, des chercheurs ont commencé à utiliser des modèles Vision-Langage-Action (VLA). Ce sont comme des instructeurs de conduite super intelligents capables de « voir » la route, de « lire » les panneaux de signalisation et de « dire » les commandes de conduite, tout cela en même de temps. Mais même ces instructeurs intelligents ont été principalement entraînés avec la méthode du « copier l'expert », ce qui les laisse vulnérables lorsque les choses tournent mal.

Voici venu CLEAR.

La Grande Idée : Le Coach « Résiduel »

Les auteurs de cet article ont conçu un système appelé CLEAR pour corriger cela. Au lieu de simplement copier, ils ont appris à l'IA à être un coach qui corrige un stagiaire.

Le « Stagiaire » Pré-entraîné : D'abord, ils prennent un modèle VLA très intelligent (le stagiaire) et lui enseignent les bases en utilisant une immense bibliothèque de données de conduite d'experts. Ce stagiaire est bon pour prédire une trajectoire générale, comme un GPS qui dirait : « Tournez à gauche dans 500 pieds ».
Le « Coach » (RL) : Ensuite, ils introduisent l'Apprentissage par Renforcement (RL). Imaginez un coach debout à côté du stagiaire. Le stagiaire fait une prédiction (le « chemin de base »), et le coach dit : « En fait, tourne un peu plus vers la gauche pour éviter ce nid-de-poule ».
- L'IA ne réapprend pas à conduire à partir de zéro (ce qui demanderait une puissance de calcul énorme).
- Au lieu de cela, elle apprend une politique résiduelle. C'est comme apprendre la différence entre un bon plan et un plan parfait. Elle n'apprend que les petites « corrections » nécessaires pour réparer les erreurs du stagiaire.

Le « Pipeline Hétérogène » : Résoudre l'Embouteillage

L'entraînement de ces coachs d'IA est extrêmement gourmand en données. Il faut faire tourner des millions de simulations de conduite pour les enseigner.

Voici le goulot d'étranglement :

Le Simulateur (La Route) : Faire tourner un simulateur de conduite réaliste (comme CARLA) est lourd en graphismes informatiques. C'est comme faire tourner un jeu vidéo haut de gamme.
L'Apprenant (Le Cerveau) : Le modèle d'IA est également énorme et nécessite des cartes graphiques (GPU) puissantes pour réfléchir.

Si vous essayez de faire tourner le simulateur et le cerveau sur le même ordinateur, ils se battent pour les cartes graphiques. C'est comme essayer de courir un marathon et une compétition de musculation intensive dans la même petite salle de sport en même temps ; tout ralentit ou plante.

La Solution de CLEAR : Ils ont construit un pipeline hétérogène.

Ils ont placé les Simulateurs (les routes) sur un ensemble d'ordinateurs plus anciens et moins chers.
Ils ont placé le Cerveau de l'IA (l'apprenant) sur un cluster d'ordinateurs séparé et super puissant.
Ils les ont connectés par un tunnel numérique (SSH).

C'est comme avoir une flotte de circuits de course à distance (les simulateurs) envoyant des données à un quartier général central (le cerveau). Les circuits n'ont pas besoin d'être sophistiqués ; ils doivent juste fonctionner. Le cerveau reçoit toutes les données dont il a besoin sans être ralenti par le rendu graphique. Cela leur a permis de faire tourner 64 simulations simultanément et de s'entraîner sur 100 millions d'échantillons.

Les Résultats : De l'« Échec » à la « Victoire »

L'article a testé ce système sur certains défis de conduite très difficiles (comme les benchmarks « longest6 » et « Bench2Drive »).

Avant CLEAR : Les méthodes précédentes, même les plus intelligentes, échouaient presque 100 % du temps sur ces parcours difficiles. Elles finissaient par s'écraser ou rester bloquées car elles ne pouvaient pas se remettre de petites erreurs.
Avec CLEAR : Le système a appris à corriger ses propres erreurs. Il ne s'est pas contenté de suivre un script ; il a appris à naviguer autour des obstacles et à gérer un trafic complexe.
- Sur un benchmark, le taux de réussite est passé de 0 % (échec total) à 25 %.
- Sur un autre, il a obtenu les scores les plus élevés jamais enregistrés, battant toutes les méthodes précédentes en termes d'efficacité de conduite et de sécurité.

Résumé

Considérez CLEAR comme le fait de prendre un élève conducteur intelligent mais rigide, de lui donner un coach super intelligent qui apprend à le pousser légèrement dans la bonne direction lorsqu'il commence à dévier, et de construire une immense installation d'entraînement distribuée pour qu'il puisse pratiquer des millions de kilomètres sans que l'ordinateur ne plante. Le résultat est un système de conduite autonome nettement meilleur pour gérer la réalité désordonnée et imprévisible de la route.

Résumé Technique : CLEAR – Apprentissage par Renforcement en Boucle Fermée à Grande Échelle pour la Conduite Autonome de Bout en Bout

Énoncé du Problème

La conduite autonome de bout en bout (E2E-AD) vise à mapper les données brutes des capteurs directement vers des actions de conduite. Récemment, les modèles Vision-Langage-Action (VLA) sont apparus comme un paradigme prometteur, intégrant la perception visuelle, la compréhension du langage et la prédiction d'actions au sein d'une politique unique. Cependant, les approches existantes basées sur les VLA reposent principalement sur l'Apprentissage par Imitation (IL). Bien que l'IL se mette bien à l'échelle avec les données, il souffre d'un décalage de distribution critique entre l'apprentissage en boucle ouverte (apprentissage à partir de trajectoires d'experts enregistrées) et l'inférence en boucle fermée (où les propres actions de l'agent affectent les états futurs). Ce décalage conduit souvent à des performances sous-optimales et à des échecs dans des scénarios complexes et dynamiques.

De plus, l'application de l'Apprentissage par Renforcement (RL) aux politiques basées sur la vision à grande échelle se heurte à des obstacles d'ingénierie importants. Le RL est gourmand en données et nécessite des milliers d'environnements de simulation parallèles. En pratique, l'exécution du simulateur (par exemple, CARLA) et de l'apprenant VLA sur le même matériel crée une contention de ressources (spécifiquement la mémoire GPU et l'instabilité du rendu), limitant le nombre d'environnements parallèles et entravant un entraînement efficace.

Méthodologie : Le Système CLEAR

Les auteurs proposent CLEAR, un système conçu pour permettre l'ajustement fin (finetuning) par RL en boucle fermée à grande échelle pour les politiques VLA. L'approche se compose de trois composantes fondamentales :

1. Cadre d'Entraînement en Deux Étapes

Étape 1 : Pré-entraînement en Boucle Ouverte : Le système pré-entraîne d'abord un modèle VLA (utilisant InternVL3-1B comme colonne vertébrale) sur un large jeu de données de trajectoires d'experts (~3,1 millions d'échantillons) via l'apprentissage par imitation. Cela établit un « a priori de waypoints » (points de passage), dotant le modèle de capacités de conduite de base et d'une perception robuste.
Étape 2 : Ajustement Fin par RL en Boucle Fermée : Au lieu d'entraîner à partir de zéro ou de produire directement des commandes de bas niveau, CLEAR apprend une politique de waypoint résiduelle.
- Le VLA pré-entraîné génère un chemin de base et des waypoints de vitesse.
- L'agent de RL (optimisé via l'Optimisation de Politique Proximale, PPO) apprend à prédire des corrections résiduelles ( $\Delta y, \Delta v$ ) à ces waypoints de base.
- La commande de waypoint finale est la somme du plan de base et du résiduel, délimitée par des bornes de sécurité.
- Un contrôleur déterministe mappe ensuite ces waypoints vers des commandes de véhicule de bas niveau (direction, accélération, frein). Crucialement, le contrôleur est traité comme faisant partie de la dynamique de l'environnement, ce qui signifie qu'aucun gradient ne circule à travers lui lors des mises à jour du RL.

2. Pipeline d'Ajustement Fin Hétérogène

Pour surmonter le goulot d'étranglement de la mise à l'échelle, CLEAR emploie un pipeline hétérogène qui découple l'environnement de simulation de l'agent d'apprentissage :

Séparation du Calcul : Les simulateurs CARLA sont lancés sur des machines hôtes autonomes (utilisant des GPU de génération plus ancienne ou grand public comme la Tesla V100), tandis que l'apprenant VLA s'exécute sur des clusters haute performance (par exemple, NVIDIA H100).
Communication : Des tunnels Secure Shell (SSH) facilitent la communication entre le serveur (simulateur) et le client (apprenant).
Impact : Cette architecture élimine la contention des ressources GPU, permettant au système de lancer 64 environnements CARLA parallèles simultanément. Cela permet de s'entraîner sur 100 millions d'échantillons avec de grands batchs (batch total : 16 384 ; mini-batch : 4 096), ce qui est crucial pour la convergence des algorithmes de RL gourmands en données.

3. Fonction de Récompense

L'objectif du RL est de maximiser le rendement escompté actualisé basé sur la Complétion de l'Itinéraire (RC). La fonction de récompense inclut :

Un facteur de pénalité douce pour les écarts.
Des pénalités dures (terminant l'épisode) pour les collisions, les infractions aux feux rouges ou les non-respects de panneaux stop.

Contributions Clés

RL en Boucle Fermée pour VLA : CLEAR est le premier système capable d'activer efficacement l'ajustement fin par RL à grande échelle en boucle fermée pour les politiques VLA, dépassant les limites de l'apprentissage par imitation pur.
Politique de Waypoint Résiduelle : En apprenant des corrections autour d'un a priori de waypoint pré-entraîné plutôt que par un contrôle direct de bas niveau, la méthode exploite efficacement les connaissances ancrées dans le VLA pré-entraîné tout en améliorant la robustesse dans les contextes de boucle fermée.
Infrastructure Hétérogène Évolutive : Le pipeline proposé résout le problème de contention des ressources GPU, permettant le déploiement d'un nombre massif d'environnements de simulation parallèles (64+) et l'entraînement sur 100 millions d'échantillons, ce que les auteurs identifient comme un facteur clé pour atteindre des performances de pointe.

Résultats Expérimentaux

CLEAR a été évalué sur trois benchmarks exigeants :

CARLA longest6 v2 : Ce benchmark présente de longs itinéraires avec des scénarios complexes et critiques pour la sécurité.
- Les méthodes précédentes (incluant l'IL à grande échelle et les tentatives antérieures d'IL+RL) ont atteint un Taux de Succès (SR) de 0 %, échouant sur chaque itinéraire.
- CLEAR (InternVL3-1B) a atteint un SR de 25,00 % et une Complétion d'Itinéraire (RC) de 47,24 %, surpassant nettement tous les baselines.
Bench2Drive : Un benchmark avec 220 scénarios distincts critiques pour la sécurité.
- CLEAR a obtenu le Score de Conduite (86,8), le Taux de Succès (69,5 %) et l'Efficacité les plus élevés parmi toutes les méthodes comparées, y compris les autres approches VLA et basées sur les transformers.
nuScenes : Un jeu de données du monde réel.
- CLEAR a été évalué dans un contexte de zero-shot (aucun entraînement sur les données nuScenes). Il a obtenu la meilleure erreur L2 moyenne (0,49 m) et des taux de collision compétitifs par rapport aux modèles entraînés spécifiquement sur nuScenes, démontnant une forte généralisation.

Signification et Limites

L'article affirme que CLEAR établit un nouveau standard de pointe pour les politiques VLA dans les simulateurs de conduite, démontnant que l'Apprentissage par Renforcement à grande échelle est essentiel pour combler l'écart entre l'entraînement en boucle ouverte et la performance en boucle fermée. Le travail souligne que simplement augmenter l'échelle des données via l'imitation est insuffisant ; l'optimisation en boucle fermée est nécessaire pour gérer les décalages de distribution.

Les auteurs reconnaissent plusieurs limites et directions pour les travaux futurs :

Transfert Sim2Real : Le succès actuel se situe dans la simulation ; le déploiement dans le monde réel nécessite d'étudier les techniques de transfert Sim2Real.
Limites de Mise à l'Échelle : La mise à l'échelle actuelle est limitée par le nombre d'instances CARLA parallèles. Améliorer la stabilité de la pile de rendu GPU de CARLA pourrait permettre une mise à l'échelle encore plus grande.
Conception de la Récompense : La fonction de récompense actuelle s'aligne sur l'optimum global de la métrique. Concevoir des récompenses efficaces pour des métriques qui manquent d'un optimum global clair reste une question de recherche ouverte.