Résumé technique : Combler l'écart entre l'observation locale et la simulation globale dans la modélisation de trafic en boucle fermée (CRAFT)

1. Formulation du problème

L'article traite d'un décalage fondamental entre le contexte local et le contexte global dans les simulateurs de trafic autorégressifs. La plupart des simulateurs de pointe sont entraînés sur des journaux de conduite à grande échelle et égocentrés (ex. Waymo, nuPlan) selon un paradigme d'apprentissage par imitation. Dans ces journaux, le véhicule égo possède des observations locales riches, mais les agents environnants ne sont que partiellement observés en raison des limites des capteurs, des occlusions et des frontières de perception.

Par conséquent, les simulateurs apprennent des mappages contexte-action incomplets. Une manœuvre valide dans un journal (ex. un véhicule qui freine) peut être enregistrée sans le contexte en aval qui la justifie (ex. un obstacle occulté). Lorsque ces modèles sont déployés dans des environnements en boucle fermée globalement observables, ils reproduisent ces actions même lorsque le véritable contexte causal est absent. Cela conduit à des comportements irréalistes lors de déroulements à long horizon, incluant des arrêts anormaux, des interactions dangereuses et des violations des règles de circulation, ce qui dégrade la rationalité comportementale de la simulation.

Les solutions existantes reposent souvent sur le réentraînement du simulateur de base via un ajustement fin supervisé ou l'apprentissage par renforcement, ce qui peut souffrir de retours éparses, de difficultés d'attribution de crédit et de coûts computationnels élevés. Les auteurs proposent une stratégie d'alignement au moment du test qui corrige ces biais sans réentraîner le générateur de base.

2. Méthodologie : CRAFT

Les auteurs proposent CRAFT (Contextual pReference Alignment Framework for Traffic Simulation), un cadre qui sépare la génération des comportements de leur évaluation. Il se compose de trois étapes principales :

A. Simulation de type « Et si » à contexte complet groupé

Au lieu de s'appuyer uniquement sur des journaux statiques, CRAFT utilise le simulateur de base ($\pi_\theta$) gelé comme un « bac à sable globalement observable ».

• Processus : En partant d'états initiaux enregistrés, le simulateur de base génère $N$ déroulements stochastiques diversifiés (scénarios « et si ») en utilisant différentes graines aléatoires.
• Résultat : Ces déroulements évoluent vers des futurs diversifiés où tous les agents interagissent sous le contexte complet de la carte. Ce processus expose les défaillances induites par le simulateur qui sont cachées dans les journaux originaux mais qui émergent lors de la génération en boucle fermée.
• Annotation : Un évaluateur automatisé basé sur des règles assigne des étiquettes binaires (0 pour anormal, 1 pour raisonnable) à chaque jeton agent-temps selon des priorités de conduite alignées sur l'humain (sécurité, respect des règles, faisabilité cinématique). Cela crée un ensemble de données de préférences groupées ($D_{pref}$) contenant des futurs alternatifs pour la même scène initiale.

B. Entraînement de l'Évaluateur de Préférence Contextuelle (CPE)

Un Évaluateur de Préférence Contextuelle léger ($\pi_\phi$) est entraîné sur $D_{pref}$ pour prédire la rationalité des jetons de mouvement sous un contexte de scène complet.

• Architecture : Le CPE réutilise l'encodeur de scène gelé du simulateur de base et emploie un décodeur de convolution temporelle pour produire une matrice de scores de préférence dense ($R \in [0, 1]^{N_a \times T_f}$).
• Fonctions de perte : L'objectif d'entraînement combine trois composantes :
  1. Supervision absolue au niveau du jeton ($L_{bce}$) : Entropie croisée binaire pondérée par rapport à la vérité terrain binaire auto-étiquetée.
  2. Préférence intra-trajectoire ($L_{intra}$) : Une perte de classement par marge qui encourage le modèle à distinguer les segments de comportement normaux des segments de défaillance subséquents au sein d'un même déroulement.
  3. Préférence inter-déroulement ($L_{inter}$) : Un objectif de Bradley-Terry qui compare des futurs alternatifs générés à partir de la même scène initiale, apprenant à l'évaluateur à préférer les trajectoires globalement cohérentes aux trajectoires localement plausibles mais incohérentes.

C. Alignement de Préférence au Moment du Test

Pendant l'inférence, le CPE agit comme un module de guidage plug-in qui repondère la distribution de décodage du simulateur de base gelé.

• Recherche anticipée (Lookahead Search) : À chaque étape $t$, le simulateur de base propose $K$ jetons d'action candidats.
• Approximation marginale indépendante : Pour éviter la complexité intraitable de $K^{N_a}$ liée à l'évaluation de toutes les combinaisons d'actions conjointes, CRAFT échantillonne $K$ scénarios d'actions conjointes parallèles. Il évalue le score de préférence de chaque action candidate par rapport à un trafic de fond plausible échantillonné (approximant l'espérance conjointe).
• Repondération : Les probabilités de décodage originales sont calibrées à l'aide des scores de préférence ($R$) via un softmax avec un facteur de guidage $\beta$ :
  $$P_{post} \propto P_{prior} \cdot \exp(\beta \cdot R)$$
  Cela oriente le décodage autorégressif vers des comportements cohérents avec l'ensemble de la scène de trafic avant l'exécution.

3. Contributions Clés

1. Identification du décalage : L'article identifie et analyse explicitement la dégradation du comportement en boucle fermée causée par l'entraînement sur des journaux égocentrés avec un contexte incomplet, mont'rant que l'apprentissage par imitation mène à des associations contexte-action fallacieuses.
2. Évaluateur Découplé (CPE) : Un nouvel évaluateur entraîné sur des déroulements « et si » auto-générés et ancrés par des priorités alignées sur l'humain. Il apprend à distinguer les comportements globalement cohérents des comportements localement plausibles mais contextuellement incohérents sans modifier les poids du simulateur de base.
3. Alignement au Moment du Test (Plug-in) : Une stratégie pour déployer le CPE comme un module de guidage léger au moment de l'inférence qui guide le décodage autorégressif. Cette approche améliore la rationalité comportementale de différents simulateurs de base (démontré sur CAT-K et SMART) sans l'instabilité ou le coût d'un réentraînement.

4. Résultats Expérimentaux

Le cadre a été évalué sur le Waymo Open Motion Dataset (WOMD) en utilisant le benchmark WOSAC et des métriques de rationalité comportementale supplémentaires.

• Sécurité et Conformité : CRAFT réduit significativement les comportements anormaux par rapport aux lignes de base (incluant l'échantillonnage Top-K, les auto-étiqueteurs et les modèles affinés par RL).
  • Collisions : Réduites de 31,2 %.
  • Violations de trafic : Réduites de 33,2 %.
  • Hors-piste (Offroad) : Réduit de 16,6 % (au niveau de la scène).
• Rationalité Comportementale : CRAF a obtenu la plus faible distance de Jensen-Shannon (JSD) pour la vitesse, la vitesse angulaire et les distributions de distance au plus proche agent, indiquant un meilleur alignement avec les distributions de conduite du monde réel.
• Compromis de Réalisme : L'article note une légère dégradation de la métrique de « Réalisme » de WOSAC (qui mesure la similitude un-à-un avec les trajectoires enregistrées). Les auteurs soutiennent qu'il s'agit d'un compromis nécessaire : le score de réalisme élevé du modèle de base reflète souvent une correspondance étroite avec des journaux locaux incomplets, tandis que CRAFT priorise la rationalité comportementale globale, corrigeant les comportements qui sont statistiquement probables dans les journaux mais irrationnels dans un contexte complet.
• Efficacité : CRAFT ajoute un surcoût de temps d'exécution modéré (76 ms par étape) par rapport à l'échantillonnage Top-K (2 ms), mais est nettement plus rapide que les auto-étiqueteurs basés sur des règles (~491 ms) tout en offrant des performances supérieures.

5. Signification et Revendications

L'article affirme que CRAFT offre une voie légère et complémentaire pour améliorer la simulation de trafic en boucle fermée.

• Passage du Passif à l'Actif : Il fait passer le paradigme de l'imitation passive des journaux à l'alignement actif avec le contexte global de la scène.
• Découverte des Défaillances : En utilisant le simulateur lui-même pour générer des cas de défaillance (déroulements « et si »), la méthode crée un signal auto-supervisé pour corriger les biais mêmes que le simulateur introduit.
• Généralisabilité : La nature plug-in du CPE permet d'améliorer la rationalité comportementale de différents simulateurs de base sans les réentraîner, ce qui le rend applicable aux modèles de monde et simulateurs existants où le réentraînement est coûteux ou instable.
• Limites : Les auteurs reconnaissent modestement que la méthode est limitée par la qualité de l'ensemble de candidats proposé par le simulateur de base. Si l'action optimale n'est pas incluse dans les candidats Top-K (en raison d'un prior trop faible du modèle de base), le CPE ne peut pas la récupérer, il peut seulement reclasser les choix sous-optimaux disponibles.

En résumé, CRAFT comble l'écart entre l'observation locale et les exigences de simulation globale, démontrant que l'alignement de préférence au moment du test peut considérablement améliorer la sécurité et la rationalité de la simulation de conduite autonome sans compromettre la structure du modèle génératif sous-jacent.