💻 computer science

CLOVER: Closed-Loop Value Estimation \& Ranking for End-to-End Autonomous Driving Planning

CLOVER est un cadre d'estimation de valeur et de classement en boucle fermée qui résout le décalage entre l'entraînement et l'évaluation dans la conduite autonome de bout en bout en utilisant une architecture générateur-scorer avec des trajectoires pseudo-expertes et une auto-distillation conservatrice pour atteindre des performances de pointe sur le benchmark NAVSIM.

Auteurs originaux : Sining Ang, Yuguang Yang, Canyu Chen, Yan Wang

Publié 2026-05-15

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sining Ang, Yuguang Yang, Canyu Chen, Yan Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment conduire une voiture. Pendant longtemps, la méthode standard pour enseigner cela au robot consistait à lui montrer une seule vidéo d'un humain conduisant parfaitement et à lui dire : « Copiez cela exactement. »

Le problème ? Parfois, le robot copie l'humain trop à la lettre. Si l'humain a commis une toute petite erreur ou un mouvement étrange, le robot pourrait copier cette erreur, même si elle est dangereuse. Inversement, parfois le robot aurait pu trouver un meilleur moyen de conduire (comme prendre une voie légèrement différente pour éviter un camion lent), mais comme ce trajet n'était pas dans la seule vidéo qu'on lui a montrée, il n'a jamais pensé à l'essayer.

C'est le décalage « entraînement vs test » que décrit l'article. Le robot est entraîné à imiter un seul trajet, mais il est testé sur une liste de contrôle complexe de règles de sécurité, de confort et de progression.

Voici CLOVER : Le Coach de Conduite du Robot

Les auteurs proposent un nouveau système appelé CLOVER (Closed-Loop Value Estimation & Ranking). Imaginez CLOVER non pas comme un seul élève, mais comme une école de conduite avec deux rôles distincts : un Générateur (l'élève conducteur) et un Évaluateur (l'instructeur de conduite strict).

Voici comment cela fonctionne, en utilisant des analogies simples :

1. L'Ancienne Méthode vs La Méthode CLOVER

L'Ancienne Méthode : L'élève conducteur n'a le droit de pratiquer que l'unique itinéraire que l'instructeur a conduit hier. Si l'instructeur a pris un virage serré, l'élève doit prendre ce virage serré, même si un trajet plus droit et plus sûr existait.
La Méthode CLOVER : L'élève conducteur est encouragé à générer 64 itinéraires possibles différents pour chaque situation. Peut-être qu'un est rapide, un est ultra-sûr, un est très fluide, et un est un peu risqué.

2. Le Processus d'Entraînement en Deux Étapes

Étape 1 : Construire un « Filet de Sécurité » d'Idées
Au lieu de simplement copier un seul trajet, le système crée une bibliothèque de « Pseudo-Experts ».

L'Analogie : Imaginez que l'instructeur ne montre pas une seule vidéo. Au lieu de cela, il génère un tas de scénarios « et si » : « Et si nous roulions 5 mph plus lentement ? » « Et si nous restions à 2 pieds plus à gauche ? » « Et si nous freinions plus tôt ? »
Le système filtre ces scénarios en utilisant un code de règles strict (l'évaluateur). Il conserve ceux qui sont sûrs et légaux, même s'ils ne correspondent pas exactement au trajet emprunté par l'humain.
L'élève conducteur (Générateur) est ensuite entraîné à couvrir toutes ces différentes possibilités « sûres », et non pas seulement le trajet original unique. Cela garantit que le robot dispose d'un large menu de bonnes options parmi lesquelles choisir.

Étape 2 : Le Coaching en « Boucle Fermée »
Maintenant que l'élève dispose d'un large menu d'options, il doit apprendre à choisir le meilleur.

L'Analogie : L'élève génère 64 itinéraires. L'instructeur strict (l'Évaluateur) les examine et leur attribue des notes basées sur le code de règles du monde réel (sécurité, confort, vitesse).
La Surprise : L'instructeur n'est pas parfait. Parfois, il pourrait attribuer une note légèrement erronée. Alors, CLOVER utilise un « Enseignant » (une version figée du système) pour guider l'élève. L'enseignant dit : « Ne chassez pas aveuglément la note la plus élevée ; regardez les 10 meilleurs itinéraires et ceux qui sont les meilleurs pour équilibrer sécurité et vitesse. »
L'élève affine ensuite sa conduite pour correspondre à ces exemples « de premier ordre » sans perdre sa capacité à générer des options diverses. C'est comme un coach qui dit : « Vous devenez meilleur pour trouver de bons itinéraires, maintenant polissons vos compétences de sélection sans vous rendre rigide. »

3. Pourquoi Cela Fonctionne (La Condition « Magique »)

L'article pose une question intelligente : Et si l'instructeur (Évaluateur) commettait des erreurs ?
Les auteurs prouvent mathématiquement que tant que l'instructeur est statistiquement meilleur qu'une simple devinette au hasard — c'est-à-dire qu'il peut généralement distinguer les « bons » itinéraires des « mauvais » — le système s'améliorera. Il n'a pas besoin d'un instructeur parfait ; il lui en faut juste un assez bon pour orienter l'élève dans la bonne direction.

Les Résultats

Lorsqu'ils ont testé CLOVER sur les benchmarks de conduite NAVSIM (qui sont comme les « examens finaux » pour les voitures autonomes) :

Il a obtenu un score de 94,5 (sur 100), battant toutes les méthodes précédentes.
Il était particulièrement bon pour gérer des scénarios de conduite difficiles et piégeux (NavHard), égalant les meilleurs résultats jamais rapportés.
Crucialement, il ne s'est pas seulement amélioré dans le choix du seul meilleur itinéraire ; il s'est en fait amélioré dans la génération d'une plus grande variété d'itinéraires de haute qualité dès le départ.

Résumé

CLOVER revient à faire passer un élève conducteur de « Copiez les mouvements exacts de l'instructeur » à « Générez de nombreuses possibilités sûres, puis utilisez un coach intelligent pour vous aider à choisir absolument le meilleur ». Il résout le problème des robots étant trop rigides en leur apprenant à explorer de nombreuses bonnes options, puis à les classer soigneusement, conduisant à une conduite autonome plus sûre et plus humaine.

Résumé Technique : CLOVER

Énoncé du Problème

Les planificateurs de conduite autonome de bout en bout sont généralement entraînés par apprentissage par imitation sur une seule trajectoire humaine enregistrée. Cependant, ils sont évalués à l'aide de métriques de planification basées sur des règles (par exemple, NAVSIM PDMS/EPDMS) qui évaluent la sécurité, la faisabilité, le progrès et le confort. Cela crée un décalage fondamental entre l'entraînement et l'évaluation :

Les trajectoires proches du chemin enregistré peuvent tout de même violer les règles de sécurité ou induire des interactions dangereuses.
Les trajectoires alternatives qui s'écartent de la démonstration peuvent être valides et obtenir de bons scores, mais ne sont jamais rencontrées pendant l'entraînement.

Ce décalage est particulièrement limitant pour les planificateurs de sélection de propositions, qui génèrent plusieurs trajectoires candidates et sélectionnent la meilleure. Leur performance est contrainte par deux facteurs couplés : la capacité du générateur à couvrir des alternatives de haute qualité (couverture) et la capacité du scoreur à les classer correctement (qualité du classement). La supervision par trajectoire unique a tendance à effondrer l'ensemble des candidats autour d'un seul comportement réalisé, échouant à capturer la nature multi-modale de la conduite (par exemple, maintenir la vitesse vs freiner vs changer de voie).

Méthodologie : Cadre CLOVER

CLOVER (Closed-LOop Value Estimation and Ranking) est un cadre conçu pour boucler la boucle entre la génération de propositions et le classement des trajectoires. Il emploie une architecture légère générateur–scoreur et fonctionne en deux phases d'entraînement distinctes.

Architecture

Générateur : Produit $K$ trajectoires futures candidates ( $\tau_i$ ) pour le véhicule égo basées sur des images de caméras multi-vues et l'état de l'égo.
Scoreur : Un module au niveau de la trajectoire qui prédit les sous-scores des métriques de planification (collision, zone de circulation, progrès, confort, etc.) pour chaque candidat.
Inférence : Les candidats sont classés par le score prédit composé (en utilisant la règle officielle PDMS $\Gamma_{PDMS}$ ), et la trajectoire la mieux classée est sélectionnée. L'évaluateur basé sur des règles n'est pas requis lors du déploiement.

Phase 1 : Couverture de Propositions Filtrées par l'Évaluateur

Pour pallier le manque de diversité dans l'imitation par trajectoire unique, CLOVER construit un ensemble pseudo-expert $\mathcal{E}(o)$ pour chaque scène pendant l'entraînement.

Génération : Au lieu de perturber la trajectoire enregistrée, les candidats sont générés à partir de familles d'actions interprétables (par exemple, variations des décalages latéraux, profils d'accélération, comportements arrêt-démarrage, cas limites) en utilisant des informations privilégiées de cache métrique (lignes centrales de la route, occupation future des obstacles) disponibles uniquement pendant l'entraînement.
Filtrage : Les candidats sont pré-filtrés pour la zone de circulation et l'occupation, notés par le véritable évaluateur basé sur des règles, et sélectionnés via une stratégie consciente de la couverture pour assurer des motifs de sous-scores et des plages de scores diversifiés.
Objectif d'Entraînement : Le générateur est entraîné à couvrir ces pseudo-experts tout en conservant la trajectoire enregistrée comme a priori. Le scoreur est pré-entraîné pour prédire les vrais sous-scores de l'évaluateur.
- Perte : $L_{stage1} = \lambda_{gt} L_{gt} + \lambda_{pe} L_{pe} + \lambda_{score} L_{score}$ , où $L_{pe}$ encourage la couverture de l'ensemble pseudo-expert.

Phase 2 : Auto-distillation Conservatrice en Boucle Fermée

Cette phase affine la distribution de propositions élargie en utilisant une procédure alternée et conservatrice pour éviter l'instabilité liée à la maximisation directe d'une récompense apprise imparfaite.

Phase Scoreur : Le scoreur est ajusté aux vrais sous-scores de l'évaluateur sur l'ensemble actuel de propositions générées.
Phase Générateur : Un "enseignant" figé (le générateur actuel) produit des propositions. Le scoreur les évalue pour sélectionner deux ensembles cibles :
- Ensemble Top-k : Sélectionné par le score prédit composé.
- Ensemble Vector-Pareto : Composé de propositions non dominées dans l'espace des sous-scores (préservant les compromis sécurité-progrès-confort).
- Le générateur étudiant est entraîné à couvrir ces cibles en utilisant un terme de régularisation de stabilité qui décourage la dérive par rapport à la distribution de l'enseignant.
- Perte : $L_{gen} = \lambda_{traj} L_{gt} + \lambda_{topk} L_{set} + \lambda_{pareto} L_{set} + \lambda_{stab} L_{stab}$ .

Justification Théorique

L'article analyse quand un scoreur imparfait peut améliorer de manière fiable le générateur. Il postule une condition d'enrichissement de l'ensemble sélectionné : si les cibles sélectionnées par le scoreur (Top-k ou Pareto) sont statistiquement enrichies de vraies trajectoires de haute qualité par rapport à la distribution actuelle des propositions, alors la distillation conservatrice au niveau de l'ensemble augmente la masse de probabilité sur les trajectoires à haut score. Les auteurs montrent que CLOVER satisfait empiriquement cette condition, car les cibles sélectionnées par le scoreur ont des scores vrais significativement plus élevés que la moyenne du pool de propositions.

Contributions Clés

Cadre CLOVER : Un cadre d'estimation de valeur et de classement en boucle fermée qui couple la génération de propositions et le classement des trajectoires pour résoudre le décalage entre l'entraînement et l'évaluation.
Supervision Pseudo-Experte Filtrée par l'Évaluateur : Une méthode pour étendre l'imitation par trajectoire unique à un entraînement multi-modal au niveau de l'ensemble, en construisant des ensembles de candidats diversifiés et de haute qualité en utilisant des informations privilégiées disponibles lors de l'entraînement.
Auto-distillation Conservatrice en Boucle Fermée : Une stratégie d'entraînement alternée qui ajuste le scoreur aux vrais sous-scores et affine le générateur en utilisant des cibles Top-k et Vector-Pareto sélectionnées par l'enseignant avec régularisation de stabilité, évitant ainsi les pièges de la maximisation de récompense sans restriction.
Analyse Théorique et Empirique : Une démonstration que des scoreurs imparfaits peuvent guider efficacement le raffinement si les cibles sélectionnées sont statistiquement enrichies sous le vrai évaluateur, validée par des données empiriques montrant des écarts d'enrichissement significatifs dans les ensembles sélectionnés par le scoreur.

Résultats Expérimentaux

CLOVER a été évalué sur les benchmarks en boucle ouverte NAVSIM v1, NAVSIM v2 (EPDMS), NavHard et nuScenes.

NAVSIM v1 : A atteint 94,5 PDMS, surpassant la forte référence DrivoR (93,7) et se classant premier ou deuxième sur tous les sous-scores.
NAVSIM v2 (navtest) : A atteint 90,4 EPDMS (implémentation officielle mise à jour) et 87,2 EPDMS (code original), égalant ou dépassant les résultats les plus forts rapportés.
NavHard : A atteint 48,3 EPDMS sur la division difficile navhard-two-stage, égalant le résultat le plus fort rapporté.
nuScenes Open-Loop : A atteint l'erreur de déplacement L2 la plus faible (0,31 m sous le protocole ST-P3) et le meilleur taux de collision (0,10 %) ou égal au meilleur parmi les méthodes comparées.
Ablation et Analyse :
- La phase 1 a considérablement élargi l'espace des propositions (Oracle@64 est passé de 0,9933 à 0,9976) mais a introduit une queue de faible score.
- La phase 2 a affiné cette distribution, améliorant le PDMS sélectionné à 0,9448 tout en préservant une grande diversité (ADE par paires de 5,20 contre 1,80 pour la référence).
- Les gains ont été attribués à une distribution de candidats plus forte plutôt qu'à la simple sélection d'une meilleure trajectoire top-1.

Importance et Revendications

L'article revendique que CLOVER établit une nouvelle performance de l'état de l'art sur les principaux benchmarks de planification de conduite autonome. Son importance réside dans :

Résolution du Décalage : L'utilisation explicite des retours fournis par l'évaluateur pour entraîner un estimateur de valeur au niveau de la trajectoire et affiner la distribution de candidats, plutôt que de se fier uniquement à l'imitation par trajectoire unique.
Raffinement Fiable : La démonstration qu'un scoreur appris imparfait peut servir de médiateur utile pour le raffinement des propositions, à condition que les cibles sélectionnées soient statistiquement enrichies sous le vrai évaluateur et que les mises à jour restent conservatrices.
Amélioration Centrée sur les Propositions : La preuve que les améliorations des métriques de planification finales découlent de l'amélioration à la fois de la qualité et de la diversité de l'ensemble des candidats, et non seulement de la sélection finale.

Les auteurs notent que, bien que CLOVER ressemble à l'apprentissage par renforcement acteur-critique, il s'en distingue car il fonctionne entièrement hors ligne sur des scènes enregistrées avec un évaluateur basé sur des règles, sans interaction avec l'environnement en ligne ni exploration par essais et erreurs. Un travail futur est suggéré pour intégrer des scoreurs conscients de l'historique ou au niveau de la séquence afin de mieux modéliser la cohérence temporelle pour des métriques comme le Confort Étendu (EC).