🤖 machine learning

CoIRL-AD: Collaborative-Competitive Imitation-Reinforcement Learning in Latent World Models for Autonomous Driving

CoIRL-AD est un cadre collaboratif-compétitif qui intègre l'apprentissage par imitation et l'apprentissage par renforcement au sein de modèles de monde latents afin d'améliorer la robustesse et la généralisation de la conduite autonome de bout en bout, particulièrement dans les scénarios de longue traîne et les contextes inter-villes, en découplant les objectifs et en exploitant des déroulements imaginés pour l'entraînement hors ligne.

Auteurs originaux : Xiaoji Zheng, Ziyuan Yang, Yanhao Chen, Yuhang Peng, Yuanrong Tang, Gengyuan Liu, Bokui Chen, Jiangtao Gong

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaoji Zheng, Ziyuan Yang, Yanhao Chen, Yuhang Peng, Yuanrong Tang, Gengyuan Liu, Bokui Chen, Jiangtao Gong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à une voiture autonome. Traditionnellement, nous le faisons en lui montant des milliers d'heures de vidéos de conducteurs experts et en lui disant : « Copie exactement ce qu'ils font ». C'est ce qu'on appelle l'Apprentissage par Imitation (IL - Imitation Learning). Cela fonctionne très bien sur des routes familières, mais si la voiture rencontre une situation étrange ou rare (comme un cerf surgissant dans une ville qu'elle n'a jamais vue auparavant), elle panique souvent ou s'écrase parce qu'elle n'a jamais vu ce scénario spécifique dans ses vidéos d'entraînement.

Pour corriger cela, les chercheurs ont tenté d'ajouter l'Apprentissage par Renforcement (RL - Reinforcement Learning). Considérez le RL comme un jeu vidéo où la voiture gagne des points pour une conduite sûre et en perd en cas de collision. La voiture apprend en essayant des choses et en voyant ce qui se passe.

Le Problème :
L'article souligne un obstacle majeur : on ne peut pas facilement jouer à des « jeux vidéo » avec de vraies voitures autonomes sur de vraies routes. On ne peut pas les laisser s'écraser des milliers de fois pour apprendre. Nous devons donc les entraîner de manière « hors ligne » (offline) en utilisant uniquement les données vidéo existantes. Mais voici le piècon : ces données existantes sont presque entièrement composées d'une conduite experte parfaite. Il n'y a pas d'exemples de « mauvaise » conduite pour apprendre, et la voiture ne sait pas comment explorer de nouvelles options car elle n'a jamais vu de telles alternatives. Si vous laissez simplement la voiture essayer de « jouer » avec le système de récompense sur ces données limitées, elle finit souvent par s'embrouiller, surestimer ses capacités et conduire dangereusement.

La Solution : CoIRL-AD
Les auteurs proposent un nouveau système appelé CoIRL-AD. Ils utilisent une approche astucieuse à « double politique », qui revient à embaucher deux conducteurs différents pour s'entraîner ensemble dans une simulation virtuelle.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Les Deux Conducteurs (Dual Policies)

Au lieu d'un seul cerveau qui essaie de tout faire, ils divisent le travail :

Le Conducteur « Étudiant » (Imitation) : Son seul travail est de copier parfaitement les vidéos des experts. Il reste prudent et respecte les règles.
Le Conducteur « Explorateur » (Reinforcement) : Ce conducteur est autorisé à essayer de nouvelles choses. Il imagine différents chemins et tente de trouver de meilleures façons de conduire que la simple copie.

2. La Boule de Cristal (Latent World Model)

Puisqu'ils ne peuvent pas tester sur de vraies routes, ils ont besoin d'un simulateur. Mais construire un simulateur 3D parfait est difficile. Au lieu de cela, ils ont construit une « Boule de Cristal » (un Modèle de Monde Latent).

Quand l'Explorateur pense : « Et si je tournais à gauche ici ? », la Boule de Cristal prédit instantanément à quoi ressemblera la route quelques secondes plus tard.
Cela permet à l'Explorateur d'« imaginer » des scénarios futurs et de voir s'il va s'écraser ou réussir, le tout à l'intérieur du cerveau de l'ordinateur, sans toucher à une vraie voiture.

3. La Pensée à Rebours (Inverse Causality)

Habituellement, la planification se fait étape par étape : « Je vais là, puis là, puis là ».
L'article suggère une méthode plus intelligente : penser à rebours.
Imaginez que vous conduisez et que vous voyez une destination. Vous décidez où vous voulez être dans 3 secondes, puis vous déterminez le premier mouvement pour y parvenir. L'article a constaté que cette pensée de type « objectif d'abord » aide l'Explorateur à trouver des trajectoires plus fluides et meilleures que la méthode étape par étape.

4. La Compétition Amicale

C'est la recette secrète. L'Étudiant et l'Explorateur sont constamment en compétition.

Ils font la course l'un contre l'autre.
Si l'Explorateur trouve une meilleure façon de conduire, plus sûre, l'Étudiant apprend de lui.
Si l'Explorateur devient trop imprévisible et commence à conduire dangereusement (parce qu'il hallucine une récompense), l'Étudiant agit comme une ancre, ramenant l'Explorateur vers un comportement sûr, similaire à celui des experts.
Ils échangent constamment leurs connaissances, mais l'Explorateur n'est jamais autorisé à s'éloigner tellement de la trajectoire qu'il en oublierait comment conduire en toute sécurité.

Les Résultats

Lorsqu'ils ont testé ce système sur le jeu de données nuScenes (une vaste collection de données de conduite réelles) :

Une meilleure sécurité : La voiture a moins accidenté que les méthodes précédentes.
Nouvelles villes : Ils ont entraîné la voiture à Singapour et l'ont testée à Boston (une ville complètement différente) ; elle a géré cet environnement nouveau bien mieux que les voitures entraînées uniquement par copie d'experts.
Événements rares : Dans les scénarios de type « long-tail » (accidents ou obstacles rares et étranges), la voiture est beaucoup plus robuste.

En Résumé :
L'article affirme qu'en faisant concourir et apprendre l'un de l'autre un « copieur sûr » et un « explorateur risqué » à l'intérieur d'un simulateur en forme de « boule de cristal », nous pouvons apprendre aux voitures autonomes à être plus sûres et plus adaptables, même lorsque nous ne disposons que d'une quantité limitée de données réelles pour l'apprentissage.

Résumé Technique : CoIRL-AD

1. Énoncé du Problème

Les modèles de conduite autonome de bout en bout (E2E) reposent principalement sur l'Apprentissage par Imitation (IL), entraînés pour imiter des démonstrations d'experts. Bien qu'efficaces dans des scénarios courants, ces modèles souffrent d'une faible généralisation dans les situations de "longue traîne" (long-tail) où les données d'experts sont rares. De petites erreurs de prédiction peuvent se cumuler au fil du temps, décalant l'agent vers des états inconnus (dérive distributionnelle).

L'Apprentissage par Renforcement (RL) offre une solution potentielle en apprenant à partir de signaux de récompense plutôt que de simples démonstrations. Cependant, l'application du RL à la conduite autonome réelle dans un cadre hors ligne (sans simulateurs interactifs) présente des défis importants :

Biais de Données : Les jeux de données du monde réel sont dominés par des trajectoires d'experts quasi optimales, offrant une couverture limitée des comportements sous-optimaux ou alternatifs, ce qui rend difficile l'apprentissage des différences de valeur.
Conflit d'Objectifs : L'optimisation conjointe de l'IL (clonage de comportement) et du RL (maximisation de la récompense) au sein d'une politique unique entraîne souvent des conflits de gradient.
Biais du Modèle : Dans les contextes hors ligne, les modèles de monde entraînés sur des données d'experts peuvent produire des prédictions biaisées pour des actions hors distribution, menant à des estimations de valeur trop optimistes et à une instabilité de l'entraînement s'ils sont utilisés pour l'exploration par RL.

Les approches existantes reposent soit sur des simulateurs externes (convertissant le problème en RL en ligne), soit sur des stratégies en deux étapes (pré-entraînement avec IL, fine-tuning avec RL) qui sont sujettes à l'instabilité sur des données réelles hors ligne.

2. Méthodologie : CoIRL-AD

Les auteurs proposent CoIRL-AD (Collaborative-Competitive Imitation-Reinforcement Learning), un cadre qui intègre l'IL et le RL sous un régime d'entraînement hors ligne unifié utilisant un Modèle de Monde Latent partagé.

Architecture Centrale

Le cadre emploie une architecture à double politique composée de deux acteurs distincts :

Acteur IL : Optimisé via le clonage de comportement (perte d'imitation) pour imiter les trajectoires d'experts.
Acteur RL : Optimisé via l'apprentissage par renforcement pour maximiser les récompenses cumulées.
Les deux acteurs partagent un module de perception et un modèle de monde latent, mais sont mis à jour séparément pour isoler l'apprentissage par imitation du bruit d'exploration du RL.

Composants Techniques Clés

A. Modèle de Monde Latent & Planification vers l'Arrière (Backward Planning)

Modèle de Monde Latent : Au lieu d'une génération au niveau des pixels, le modèle opère dans l'espace latent pour prédire les états futurs ( $\hat{s}'$ ) étant donné l'état actuel ( $s$ ) et une séquence d'actions ( $\tau_a$ ). Cela sert de "simulateur réactif" pour l'acteur RL afin d'imaginer des déploiements futurs.
Planification vers l'Arrière (Causalité Inverse) : Contrairement à la planification causale directe standard, les auteurs proposent une stratégie de planification vers l'arrière où la $i$ -ème action est conditionnée par les caractéristiques des points de passage (waypoints) actuels et futurs ( $\pi_i(a_i | s_{w,i}, ..., s_{w,n})$ ). Ce raisonnement de type "du but vers l'action" fournit aux actions précoces des informations contextuelles plus riches, ce qui, selon les auteurs, est bénéfique pour l'objectif de l'acteur RL de maximiser les récompenses cumulées.

B. Formulation du RL pour les Données Hors Ligne

Échantillonnage de Groupe (inspiré de GRPO) : Pour remédier au manque de diversité comportementale des jeux de données dominés par les experts, l'acteur RL échantillonne $G$ trajectoires d'actions à partir de sa politique stochastique.
Fonction de Récompense : Les récompenses sont calculées à l'aide de signaux basés sur des règles dérivées des annotations du jeu de données (cartes et boîtes englobantes), incluant :
- Récompense d'Imitation : Proximité avec les actions de l'expert.
- Récompense de Collision : Évitement des obstacles statiques et dynamiques.
Estimation de l'Avantage : Le cadre utilise le modèle de monde latent pour prédire les états futurs pour les trajectoires échantillonnées. Un réseau critique estime la valeur des états actuels et futurs imaginés. L'avantage est calculé en utilisant une normalisation Z-score de la récompense totale (incluant la valeur future actualisée) au sein du groupe.
Politique Stochastique : L'acteur RL produit une distribution Gaussienne pour les actions afin de permettre l'exploration, avec un mécanisme "sensible à l'étape" (step-aware) garantissant la fluidité de la trajectoire en ne rendant qu'une seule action stochastique par séquence tandis que les autres suivent le mode.

C. Mécanisme de Double Politique Compétitif

Pour résoudre l'instabilité du RL hors ligne et les conflits de gradient de l'optimisation conjointe, les deux acteurs participent à un mécanisme d'apprentissage compétitif :

Comparaison Périodique : Tous les $k$ itérations, la performance (récompense cumulée) des acteurs IL et RL est comparée.
Transfert Adaptatif :
- Si la performance est similaire, les deux restent inchangés.
- Si l'écart est modéré, une "fusion douce" (soft merge) transfère les connaissances du gagnant vers le perdant.
- Si l'écart est important, les paramètres du perdant sont directement remplacés par ceux du gagnant.
Rôle : Ce mécanisme ancre l'acteur RL à une conduite de type expert (empêchant la divergence catastrophique due au biais du modèle de monde) tout en permettant à l'acteur RL de transférer sélectivement des comportements d'exploration bénéfiques vers l'acteur IL.

3. Principales Contributions

Cadre de RL Hors Ligne pour la Conduite E2E : Une nouvelle approche pour intégrer le RL dans la conduite de bout en bout sans simulateurs externes, en utilisant un modèle de monde latent entraîné sur des données réelles pour des déploiements imaginés.
Entraînement Compétitif Découplé : Un cadre à double politique qui sépare l'IL et le RL en deux acteurs distincts pour éviter les conflits de gradient, connectés via un mécanisme compétitif qui stabilise l'entraînement et facilite l'échange de connaissances.
Stratégie de Planification vers l'Arrière : L'introduction du masquage de causalité inverse dans la tête de planification, qui améliore la performance du RL en alignant la politique sur un raisonnement orienté vers le but.
Échantillonnage de Groupe pour les Données Hors Ligne : Une adaptation de l'échantillonnage de groupe (GRPO) pour générer de la diversité comportementale à partir de jeux de données dominés par les experts, permettant une estimation de valeur efficace.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données nuScenes.

Benchmarks Principaux : CoIRL-AD surpasse systématiquement les bases fortes basées sur l'IL (ex: LAW) tant en erreur de déplacement L2 qu'en taux de collision. Il atteint le meilleur indicateur combiné ( $L2 \cdot Col$ ) et maintient une faible latence d'inférence.
Généralisation Inter-Villes : Entraîné sur nuScenes-Singapour et testé sur nuScenes-Boston, CoIRL-AD a démontré une robustesse nettement supérieure (réduction de 77 % de la métrique $L2 \cdot Col$ par rapport à la base), attribuée aux capacités d'exploration de l'acteur RL.
Scénarios de Longue Traîne : Sur des sous-ensembles de données présentant des taux de collision ou des erreurs L2 élevés (cas rares/difficiles), CoIRL-AD montre des améliorations substantielles par rapport à la base, là où celle-ci peine.
Études d'Ablation :
- Découplage & Compétition : Seuls les acteurs découplés avec le mécanisme compétitif améliorent à la fois la précision et la sécurité. Les stratégies en deux étapes et de fusion de perte ont échoué ou ont moins bien performé.
- Modèle de Monde : La suppression du modèle de monde latent dégrade considérablement les performances, particulièrement pour l'évitement de collision à long horizon.
- Causalité Inverse : La stratégie de planification vers l'arrière bénéficie spécifiquement à l'acteur RL ; l'appliquer à l'IL pur dégrade les performances, soulignant son utilité spécifique pour la maximisation de la récompense.

5. Signification et Revendications

L'article affirme que CoIRL-AD démontre que l'apprentissage par renforcement peut efficacement améliorer les systèmes de conduite autonome de bout en bout hors ligne lorsqu'il est correctement structuré.

Stabilité par rapport aux Simulateurs : En utilisant un modèle de monde latent appris plutôt qu'un simulateur externe, la méthode évite les écarts sim-to-real et les hypothèses spécifiques aux simulateurs.
Résolution du Défi Hors Ligne : Le cadre à double politique compétitive traite l'instabilité spécifique du RL hors ligne (causée par le biais du modèle de monde et le manque de données diversifiées) en utilisant l'acteur IL comme ancrage stabilisateur.
Amélioration Ciblée : Les auteurs soulignent que le RL apporte les bénéfices les plus significatifs dans les scénarios difficiles, sous-représentés et de longue traîne où les démonstrations d'experts sont rares, tout en maintenant les performances dans les scénarios standards.
Généralisabilité : L'approche est présentée comme un cadre polyvalent pour combiner l'apprentissage par imitation et par renforcement dans l'IA incarnée (embodied AI), offrant une voie prometteuse pour améliorer la généralisation sans dépendre de la simulation interactive.