Do Open-Loop Metrics Predict Closed-Loop Driving? A Cross-Benchmark Correlation Study of NAVSIM and Bench2Drive

1. Énoncé du problème

L'évaluation des planificateurs de conduite autonome (CA) implique un compromis entre l'évaluation en boucle ouverte et l'évaluation en boucle fermée :

• L'évaluation en boucle fermée (par exemple, Bench2Drive sur CARLA) est la « référence absolue » pour évaluer la compétence réelle, mais elle est coûteuse en calcul, souffre d'une forte variance et nécessite une infrastructure complexe.
• L'évaluation en boucle ouverte (par exemple, NAVSIM) est rapide et reproductible, mais repose traditionnellement sur des métriques géométriques comme l'erreur de déplacement moyenne (ADE) et l'erreur de déplacement finale (FDE).
• La question centrale : Les métriques modernes, soucieuses de la sécurité, en boucle ouverte (spécifiquement celles de NAVSIM v2) peuvent-elles prédire de manière fiable les performances de conduite en boucle fermée ? Des travaux antérieurs suggèrent que les métriques traditionnelles échouent à cet égard, mais il est incertain que le nouveau paradigme de NAVSIM comble cet écart.

2. Méthodologie

Les auteurs ont mené une étude systématique de corrélation inter-benchmarks utilisant un jeu de données apparié de méthodes de l'état de l'art (SOTA).

• Collecte de données :
  • L'équipe a croisé les résultats publiés de 15 méthodes ayant rapporté des données à la fois sur NAVSIM (boucle ouverte) et Bench2Drive (boucle fermée).
  • Elles ont filtré les méthodes utilisant des configurations de modèles cohérentes sur les deux benchmarks pour éviter les variables confondantes (par exemple, différents backbones ou données d'entraînement).
  • Jeu de données final : 8 méthodes avec des points de données appariés complets (sous-métriques NAVSIM vs Score de conduite Bench2Drive).
• Métriques analysées :
  • Boucle ouverte (NAVSIM) : Score PDM (PDMS) et ses sous-métriques : Pas de collision à tort (NC), Conformité à la zone de conduite (DAC), Temps jusqu'à la collision (TTC), Progression de l'égo (EP) et Confort (C).
  • Boucle fermée (Bench2Drive) : Score de conduite (DS), qui combine l'achèvement de l'itinéraire avec des pénalités pour les infractions (collisions, conduite lente, dépassement de temps).
• Analyse statistique :
  • Calcul de la corrélation de rang de Spearman ($\rho$) et de Kendall's $\tau$ pour mesurer la relation entre les scores en boucle ouverte et les performances en boucle fermée.
  • Investigation de « inversions de classement » spécifiques où le rang d'une méthode en boucle ouverte diffère significativement de son rang en boucle fermée.
  • Proposition et test d'une métrique proxy simplifiée (CL-Proxy) pour déterminer si moins de sous-métriques pouvaient atteindre le même pouvoir prédictif.

3. Principales conclusions et résultats

A. Les métriques traditionnelles échouent

• Constat : Les métriques de déplacement traditionnelles (erreur L2, ADE, FDE) ne montrent aucune corrélation significative avec le Score de conduite en boucle fermée ($\rho = -0,36, p = 0,43$).
• Implication : Minimiser l'erreur géométrique de la trajectoire ne garantit pas une conduite sûre ou réussie dans des environnements interactifs.

B. Le PDMS NAVSIM montre une forte corrélation mais non monotone

• Constat : Le score agrégé NAVSIM PDM (PDMS) présente une forte corrélation positive avec le DS de Bench2Drive ($\rho = 0,90, p = 0,002$).
• Nuance : La corrélation n'est pas parfaitement monotone. Il existe des inversions de classement notables.
  • Exemple : SafeDrive se classe 3e en PDMS (91,6) mais chute à la 5e place en DS (66,77).
  • Cause : SafeDrive optimise fortement la sécurité (NC, DAC, TTC), obtenant des scores quasi parfaits, mais sacrifie la Progression de l'égo (EP). En boucle fermée, ce conservatisme déclenche des pénalités « Trop lent » et « Dépassement de temps », réduisant drastiquement le Score de conduite.

C. La Progression de l'égo (EP) est le meilleur prédicteur

• Constat : Parmi les sous-métriques individuelles de NAVSIM, la Progression de l'égo (EP) est le meilleur prédicteur unique du succès en boucle fermée ($\rho = 0,83$).
• Surprise : La métrique la plus critique pour la sécurité, Pas de collision à tort (NC), ne montre qu'une corrélation faible à modérée ($\rho = 0,45$).
• Raisonnement : Les méthodes SOTA actuelles atteignent déjà des scores NC très élevés (effet de plafond, par exemple >98 %). Par conséquent, les améliorations marginales de NC ne se traduisent pas par de meilleures performances en boucle fermée, tandis que la capacité à progresser (EP) est le principal facteur différenciant.

D. L'« Effet boule de neige »

• L'article identifie un mécanisme expliquant l'écart résiduel entre boucle ouverte et boucle fermée : l'Effet boule de neige.
• De petites déviations dans une trajectoire en boucle ouverte de 4 secondes (par exemple, conduire légèrement lentement) peuvent entraîner de légères pénalités dans NAVSIM. Cependant, sur un itinéraire en boucle fermée de plusieurs minutes, ces petits retards s'accumulent : manquer un feu vert $\rightarrow$ attendre un cycle rouge complet $\rightarrow$ prendre du retard sur l'emploi du temps $\rightarrow$ déclencher de graves pénalités « Trop lent » ou dépassement de temps. Cela explique pourquoi l'EP (une mesure de la tendance à progresser) est plus prédictive que les métriques de sécurité instantanées.

E. Un proxy plus simple : CL-Proxy

• Les auteurs proposent une formule simplifiée : $CL\text{-}Proxy = NC \times DAC \times EP$.
• Résultat : Cette formule à 3 métriques atteint exactement la même corrélation de rang ($\rho = 0,90$) que le PDMS complet à 5 métriques sur le jeu de données.
• Implication : Pour les méthodes de pointe actuelles, le TTC et le Confort ajoutent une information marginale négligeable pour le classement, car ils sont soit étroitement distribués, soit saturés (près de 100 %).

4. Contributions clés

1. Jeu de données inter-benchmarks : Compilation du premier jeu de données apparié de 8 méthodes SOTA évaluées sur NAVSIM et Bench2Drive.
2. Analyse quantitative de l'écart : Démonstration que, bien que le PDMS NAVSIM soit fortement corrélé aux performances en boucle fermée, il souffre d'inversions de classement dues au compromis sécurité–progression.
3. Hiérarchie des métriques : Identification de la Progression de l'égo (EP) comme prédicteur critique du succès en boucle fermée, surpassant les métriques de collision en pouvoir prédictif pour les modèles SOTA actuels.
4. Proxy simplifié : Proposition du CL-Proxy, une formule légère à 3 métriques qui égale le pouvoir prédictif du PDMS complexe à 5 métriques, suggérant que les benchmarks actuels peuvent être rationalisés.
5. Identification du mécanisme : Proposition de l'Effet boule de neige comme raison principale pour laquelle de petites déviations en boucle ouverte conduisent à des échecs en boucle fermée.

5. Importance et recommandations

• Pour la conception de benchmarks :
  • Rapporter les sous-métriques : Les agrégats masquent le compromis sécurité–progression. Les classements doivent afficher les sous-métriques individuelles (en particulier l'EP).
  • Introduire des pénalités pour conduite lente : NAVSIM devrait adopter une pénalité « Trop lent » similaire à Bench2Drive pour mieux aligner l'évaluation en boucle ouverte sur les résultats en boucle fermée.
  • Simplifier l'agrégation : Les méthodes de pointe actuelles sont saturées sur le Confort et le TTC ; ces métriques pourraient être dépriorisées pour le classement au profit de l'EP, du NC et du DAC.
• Pour la recherche :
  • Les chercheurs ne devraient pas se fier uniquement aux scores agrégés en boucle ouverte. Optimiser la sécurité (NC) au détriment de la progression (EP) conduit à de mauvaises performances réelles.
  • Les travaux futurs devraient se concentrer sur la régression des sous-métriques à travers les architectures plutôt que de s'appuyer sur des scores agrégés uniques.

Conclusion

L'article conclut que, bien que les métriques en boucle ouverte aient considérablement progressé avec NAVSIM, elles ne sont pas des proxies parfaits. Le compromis sécurité–progression et l'effet boule de neige créent un écart où les planificateurs trop conservateurs échouent en boucle fermée. En se concentrant sur la Progression de l'égo et en utilisant une métrique CL-Proxy simplifiée, la communauté peut obtenir des prédictions en boucle ouverte plus fiables des compétences de conduite en boucle fermée.