Résumé technique : Optimisation de trajectoire au moment du test pour la conduite autonome (TOAD)

1. Énoncé du problème

Les planificateurs de conduite autonome de bout en bout (E2E) suivent généralement un paradigme de « génération et sélection » : ils produisent un ensemble fini de trajectoires candidates (soit à partir d'un vocabulaire pré-calculé, soit générées à la volée) et utilisent un évaluateur (scorer) appris pour les classer, renvoyant l'option ayant le score le plus élevé.

Les auteurs identifient un goulot d'étranglement critique dans ce pipeline : l'évaluateur n'est appliqué qu'après la génération et ne peut pas influencer l'ensemble des candidats. Si l'ensemble initial de propositions est sous-optimal (par exemple, si tous les candidats sont dangereux ou inefficaces), le planificateur est contraint de renvoyer le « meilleur d'un mauvais ensemble », indépendamment de la qualité de l'évaluateur. Les méthodes actuelles traitent l'évaluateur simplement comme un mécanisme de classement pour un ensemble fixe, manquant l'opportunité d'utiliser celui-ci comme une fonction objectif pour rechercher activement de meilleures trajectoires.

De plus, l'article souligne une faiblesse cachée de nombreux évaluateurs existants : ceux entraînés pour évaluer des vocabulaires fixes échouent souvent à se généraliser à des trajectoires situées en dehors de leur distribution d'entraînement. Lorsqu'ils sont utilisés comme fonction de récompense pour la recherche, ces évaluateurs peuvent entraîner un « détournement de récompense » (reward hacking) ou une dégradation des performances car ils sont imprécis sur des trajectoires nouvelles et librement décodées.

2. Méthodologie : TOAD

Les auteurs proposent TOAD (Test-time Optimization for Autonomous Driving), une procédure « plug-and-play » qui recadre l'évaluateur E2E figé comme une fonction de récompense apprise et effectue une recherche sur l'espace des trajectoires au moment de l'inférence.

Algorithme central : Méthode de l'entropie croisée (CEM)

TOAD enveloppe un planificateur de base figé dans une boucle d'inférence basée sur la méthode de l'entropie croisée (CEM) :

1. Initialisation (Warm-Start) et Région de Confiance : La recherche est initialisée en utilisant la trajectoire sélectionnée par le planificateur de base ($\tau_{base}$) et son ensemble de candidats. Cela confine la recherche dans une « région de confiance » autour des propositions du planificateur, garantissant que la recherche reste dans la distribution où l'évaluateur est fiable.
2. Recherche dans l'espace de contrôle : Au lieu d'échantillonner directement dans l'espace de pose (ce qui produit des trajectoires dynamiquement infaisables), TOAD échantillonne dans l'espace de contrôle. Les trajectoires sont mappées vers des séquences d'accélération longitudinale ($a_t$) et de vitesse de lacet ($\omega_t$) en utilisant un modèle de bicyclette cinématique inverse. Cela garantit que toutes les trajectoires échantillonnées sont fluides et cinématiquement réalisables.
3. Fonction Objectif : La CEM maximise un objectif composite $J(u)$ :
   $$J(u) = S(\text{BM}(u, v_0); o, g) - \lambda_a C_{anchor}(u) - \lambda_c C_{comf}(u)$$
   • $S$ (Scorer) : La récompense apprise du planificateur figé.
   • $C_{anchor}$ : Un régularisateur pénalisant l'écart par rapport à la trajectoire d'ancrage du planificateur de base pour maintenir la région de confiance.
   • $C_{comf}$ : Un régularisateur de confort sous forme fermée (pénalisant l'accélération, le jerk, etc.) pour fournir un signal que l'évaluateur appris peut estimer de manière grossière.
4. Affinement Itératif : À chaque itération, $M$ séquences de contrôle sont échantillonnées à partir d'une distribution gaussienne, déployées en trajectoires, évaluées, et les $E$ meilleures séquences « élites » sont utilisées pour réajuster les paramètres gaussiens ($\mu, \sigma$).
5. Sélection Finale : Après $K$ itérations, la trajectoire induite par la moyenne convergée est comparée à la proposition de base originale. Celle avec le score final le plus élevé (incluant les pénalités de confort) est sélectionnée.

Choix de conception clé : L'Évaluateur (Scorer)

Une conclusion critique est que tous les évaluateurs ne fonctionnent pas pour TOAD.

• Évaluateurs à Vocabulaire Fixe : Les évaluateurs entraînés uniquement pour classer des trajectoires pré-calculées (ex: Hydra-MDP, GTRS) échouent lorsqu'ils sont utilisés comme récompenses pour la recherche. Leurs performances chutent brutalement sur des trajectoires hors de leur vocabulaire spécifique.
• Évaluateurs Disentillés : TOAD nécessite un évaluateur entraîné pour évaluer des trajectoires librement décodées (ex: l'évaluateur de DrivoR). Cet évaluateur reste précis en dehors de la distribution de proposition, ce qui en fait une fonction de récompense valide pour la boucle CEM.

3. Contributions Clés

1. Recadrage de l'Évaluateur : Les auteurs proposent de considérer l'évaluateur de trajectoire E2E non pas seulement comme un outil de classement pour un ensemble fixe, mais comme une fonction de récompense apprise capable de guider une recherche de trajectoires optimales.
2. Cadre TOAD : Un algorithme de recherche au moment du test qui s'intègre à n'importe quel planificateur de base sans réentraînement. Il utilise la CEM pour optimiser les trajectoires dans l'espace de contrôle, avec une initialisation basée sur les propositions du planificateur.
3. Identification des Limites des Évaluateurs : Ce travail expose le fait que l'évaluation par classement standard ne révèle pas l'incapacité d'un évaluateur à se généraliser. TOAD démontre que l'optimisation réussie au moment du test nécessite un évaluateur qui se généralise au-delà de ses propositions d'entraînement, une propriété absente des approches à vocabulaire fixe.
4. Performance Plug-and-Play : TOAD améliore les performances de six planificateurs de base divers (générateurs basés sur un vocabulaire ou générateurs à la volée) sur plusieurs benchmarks avec un surcoût de calcul négligeable et sans mise à jour de modèle.

4. Résultats Expérimentaux

La méthode a été évaluée sur NAVSIM-v1, NAVSIM-v2 et le simulateur en boucle fermée HUGSIM.

• NAVSIM-v2 (Nouveau État de l'Art) :

  • L'application de TOAD à DrivoR a atteint 56,3 EPDMS, un nouveau record qui approche presque la ligne de base PDM-Closed privilégiée (56,6) qui utilise la perception de vérité terrain.
  • Des gains significatifs ont été observés sur tous les planificateurs. Par exemple, iPad s'est amélioré de +43,6 % (passant de 34,7 à 49,8 EPDMS), tandis que DrivoR s'est amélioré de +3,1 %.
  • La recherche a efficacement réduit l'écart de performance entre les planificateurs faibles et forts, les plus faibles bénéficiant le plus.

• NAVSIM-v1 :

  • Des améliorations constantes ont été observées, DrivoR + TOAD atteignant 94,7 PDMS, soit seulement 0,1 point en dessous de la référence du conducteur humain (94,8).

• HUGSIM (Boucle Fermée) :

  • TOAD a amélioré les métriques de sécurité (absence de collision, zone praticable, temps avant collision) et le confort sur des scènes photoréalistes.
  • Bien que l'achèvement de l'itinéraire (Route Completion - RC) ait parfois diminué (indiquant une conduite plus prudente), le score de conduite global (HDS) s'est amélioré, particulièrement sur nuScenes et KITTI360.

• Études d'Ablation :

  • Recherche vs Re-classement : Le simple re-classement des propositions du planificateur de base avec l'évaluateur donnait des résultats inconsistants (nuisant parfois aux performances). Les gains provenaient spécifiquement de la recherche découvrant de nouvelles trajectoires en dehors de l'ensemble original.
  • Nécessité de l'Évaluateur : L'utilisation d'évaluateurs ne se généralisant pas (ex: GTRS) comme récompenses a fait chuter les performances en dessous de la ligne de base, confirmant le besoin d'un évaluateur capable de se généraliser et de se désengager des propositions d'entraînement.
  • Espace de Contrôle : L'optimisation dans l'espace de contrôle a surpassé l'échantillonnage direct dans l'espace de trajectoire.

• Coût Computationnel :

  • Le surcoût est minime. La recherche n'ajoute que 1,9 ms à 20,4 ms par échantillon (selon le nombre d'itérations $K$).
  • Lorsque l'évaluateur fait partie du planificateur de base (partageant l'ossature de perception), le coût est quasi nul. Lorsque l'évaluateur est externe, le coût est dominé par l'ossature de perception redondante (~100 ms), mais la recherche elle-même reste légère.

5. Signification et Revendications

L'article affirme que le principal goulot d'étranglement des systèmes de planification E2E actuels est souvent l'ensemble de candidats, et non l'évaluateur. En traitant l'évaluateur comme une fonction de récompense optimisable, TOAD débloque des performances qui étaient auparavant inaccessibles au planificateur.

Les auteurs soulignent que TOAD est une amélioration modeste et plug-and-play qui ne nécessite aucun réentraînement. Son succès repose sur la disponibilité d'un évaluateur capable de se généraliser. Ce travail suggère une direction claire pour la conception de futurs planificateurs : construire des évaluateurs qui sont désengagés du générateur de trajectoire et entraînés pour évaluer des trajectoires librement décodées. Cela permettrait une recherche efficace au moment du test de venir « gratuitement », augmentant considérablement la sécurité et le confort sans changer l'architecture du réseau de génération.

L'article conclut que bien que TOAD dépende actuellement d'un planificateur de base pour l'initialisation, un évaluateur suffisamment précis et généraliste pourrait éventuellement permettre une recherche à partir de zéro, éliminant potentiellement le besoin d'un générateur de base. Cependant, cela reste une direction future dépendante de l'augmentation de la capacité des évaluateurs.