SceneStreamer: Continuous Scenario Generation as Next Token Group Prediction

Le papier présente SceneStreamer, un cadre unifié de génération autoregressive qui modélise les scénarios de trafic continus comme une séquence de tokens pour permettre une simulation dynamique et à long horizon, essentielle pour entraîner et évaluer des systèmes de conduite autonome plus robustes.

L'essentiel

Imaginez que vous essayez d'enseigner à un robot comment conduire une voiture autonome. Pour qu'il apprenne, vous devez lui montrer des millions de situations de circulation : des embouteillages, des piétons qui traversent, des feux rouges qui changent.

Le problème avec les anciennes méthodes, c'est qu'elles utilisaient des "films" enregistrés de la vraie vie. C'est comme si vous appreniez à jouer au football en regardant uniquement des vidéos de matchs passés. Si le robot fait un mouvement inattendu, les autres joueurs (les autres voitures) sur la vidéo ne réagissent pas, car ils sont figés dans le passé. Cela ne permet pas de tester la sécurité du robot dans des situations réelles et dynamiques.

Voici comment SceneStreamer change la donne, expliqué simplement :

1. Le concept de base : Transformer la route en une histoire

Imaginez que la circulation n'est pas un chaos, mais une histoire que l'on écrit mot par mot.

• Les anciens modèles : Ils regardaient l'histoire jusqu'à présent et devinaient la fin d'un seul coup (comme deviner la fin d'un livre en une seconde). Souvent, ils se trompaient, et l'histoire devenait absurde (une voiture qui traverse un trottoir).
• SceneStreamer : Il écrit l'histoire mot par mot, phrase par phrase. À chaque instant, il décide : "Où est la voiture ?", "Quelle est sa vitesse ?", "Le feu est-il rouge ?". Il écrit le prochain "mot" (ou token) en se basant sur tout ce qui a été écrit avant.

2. La magie du "Lego" dynamique

C'est ici que la méthode devient géniale. Dans la vraie vie, des voitures arrivent et partent constamment.

• Les vieux systèmes : Ils fixaient le nombre de voitures au début. Si une voiture sortait d'un parking, le système ne savait pas quoi faire.
• SceneStreamer : Imaginez une boîte de Lego infinie. À chaque étape de la simulation, le modèle peut :
  • Ajouter un nouveau bloc : Une nouvelle voiture entre dans la scène (comme un piéton qui traverse).
  • Retirer un bloc : Une voiture termine son trajet et disparaît.
  • Changer la couleur : Le feu passe du vert au rouge.

Le modèle ne se contente pas de prédire où vont les voitures, il crée aussi les nouvelles voitures qui arrivent, exactement comme dans la réalité.

3. L'analogie du Chef d'Orchestre

Pensez à SceneStreamer comme à un chef d'orchestre qui dirige un concert de circulation :

• Il a la partition (la carte de la ville).
• Il donne le tempo (les feux de circulation).
• Il dit à chaque musicien (chaque voiture, piéton, cycliste) quand entrer en scène, quel instrument jouer (la vitesse, la direction) et quand sortir.

Si un musicien (une voiture) fait une erreur ou change de rythme, le chef d'orchestre s'adapte immédiatement pour les autres musiciens. C'est ce qu'on appelle une boucle fermée : tout le monde réagit à tout le monde en temps réel.

4. Pourquoi c'est important pour les voitures autonomes ?

Pour entraîner une IA à conduire, il faut la mettre dans des situations dangereuses ou rares (un enfant qui court sur la route, un camion qui freine brusquement) sans risquer de tuer personne.

• Avec les anciennes méthodes, le robot apprenait sur des "films" où les autres voitures ne réagissaient pas à ses erreurs.
• Avec SceneStreamer, le robot s'entraîne dans un monde virtuel vivant. Si le robot freine trop tard, les autres voitures générées par le modèle réagissent (elles freinent, elles klaxonnent, elles évitent).

Le résultat ?

Les chercheurs ont entraîné des politiques de conduite (les "cerveaux" des voitures) dans ce simulateur. Résultat : ces voitures sont devenues beaucoup plus robustes et intelligentes. Elles savent mieux réagir aux imprévus et généralisent leurs compétences à des situations qu'elles n'ont jamais vues auparavant.

En résumé :
SceneStreamer, c'est comme passer d'un livre de contes figé (où les personnages ne bougent pas) à un jeu de rôle en direct (où chaque personnage réagit à vos actions). Cela permet de créer des simulateurs de conduite ultra-réalistes, infinis et interactifs, essentiels pour rendre nos futures voitures autonomes vraiment sûres.

Résumé technique

Résumé Technique : SceneStreamer – Génération Continue de Scénarios par Prédiction de Groupes de Tokens

1. Problématique

La simulation de trafic réaliste et interactive est cruciale pour l'entraînement et l'évaluation des systèmes de conduite autonome. Cependant, les méthodes existantes souffrent de limitations majeures :

• Dépendance aux données statiques : La plupart des simulateurs reposent sur la lecture de logs réels (replay) ou sur une initialisation statique, ce qui limite leur capacité à modéliser des scénarios dynamiques à long terme.
• Manque d'interactivité : Dans les approches par replay, les agents de fond ne réagissent pas aux actions du véhicule égo, rendant l'évaluation en boucle fermée (closed-loop) impossible.
• Rigidité des agents : Les modèles de génération actuels traitent souvent la génération de l'état initial et la prédiction du mouvement comme deux étapes séparées. De plus, le nombre d'agents est généralement fixe dès le début, empêchant l'entrée ou la sortie dynamique de participants (ex: véhicules tournant dans une rue secondaire).
• Décalage de covariable (Covariate Shift) : Les modèles de prédiction de mouvement "one-shot" accumulent des erreurs lors du déroulement (unrolling) en simulation, conduisant à des états hors distribution et des résultats irréalistes.

2. Méthodologie : SceneStreamer

SceneStreamer propose un cadre unifié de génération de trafic basé sur un modèle autoregressif qui traite l'ensemble du scénario (état des agents, mouvement, feux de circulation) comme une séquence unique de tokens.

A. Représentation par Tokens

Le modèle transforme le monde dynamique en une séquence de tokens discrets, générée pas à pas par un Transformer :

1. Tokens de Carte ( Représentent le contexte statique (segments de route, passages piétons) via un encodeur de type PointNet. Ils servent de clés/valeurs fixes pour l'attention croisée.
2. Tokens de Feux de Circulation () : Encodent l'état discret (vert, jaune, rouge, inconnu), l'identifiant et la position géométrique du feu.
3. Tokens d'État d'Agent () : Pour chaque agent actif (véhicule, piéton, cycliste), l'état est décomposé en quatre tokens ordonnés :
   • <SOA> : Drapeau de début d'agent.
   • <TYPE> : Catégorie de l'agent.
   • <MS> : Identifiant du segment de carte où l'agent se trouve (ancrage).
   • <RS> : État relatif par rapport au segment de carte (dimensions, décalage longitudinal/latéral, résidu de cap, vecteur de vitesse).
4. Tokens de Mouvement () : Encodent les commandes de contrôle (accélération et vitesse de lacet) sous forme de paires discrétisées $(a, \omega)$.

B. Architecture et Génération Autoregressive

• Modèle Unifié : Un seul modèle Transformer (encodeur-décodeur) génère séquentiellement les tokens pour chaque pas de temps $t$.
• Génération en Étapes : À chaque pas, le modèle génère d'abord les feux de circulation, puis les états des agents (un par un), et enfin les mouvements de tous les agents.
• Attention de Groupe (Group Attention) : Un mécanisme d'attention causal structuré permet aux tokens d'un même groupe de communiquer librement, tout en respectant la causalité temporelle et sémantique (ex: le mouvement dépend de l'état, qui dépend de la carte).
• Gestion Dynamique des Agents :
  • Injection : De nouveaux agents peuvent être introduits à n'importe quel instant $t$ en générant de nouveaux tokens <AS> et <MO>.
  • State-Forcing : Pour les agents existants, le modèle peut "forcer" l'état reconstruit (via cinématique) dans l'entrée, permettant de continuer la simulation sans prédire l'état initial à chaque fois, assurant ainsi la cohérence en boucle fermée.

C. Tokenisation Avancée de l'État

Contrairement aux méthodes plates qui prédisent toutes les attributs simultanément, SceneStreamer utilise une décomposition causale :

1. Prédiction du type d'agent.
2. Sélection d'un segment de carte (ancrage).
3. Génération autoregressive des états relatifs (forme, position, vitesse) conditionnée par le segment choisi.
   Cette approche garantit la cohérence physique (ex: un piéton ne peut pas apparaître sur une voie d'autoroute) et évite les combinaisons invalides.

3. Contributions Clés

1. Tokenisation Unifiée État & Trajectoire : Utilisation d'un seul modèle autoregressif pour générer à la fois les états initiaux et les trajectoires futures dans une séquence continue, éliminant le besoin de modèles à deux étapes.
2. Génération Autoregressive de l'État des Agents : Un schéma de génération novateur qui ancre les agents sur la carte via des tokens relatifs, permettant une modélisation évolutive et réaliste des populations d'agents.
3. Capacités Polyvalentes : Le modèle s'adapte à diverses tâches en modifiant les tokens "forcés" (state-forced) :
   • Prédiction de mouvement.
   • Génération de scénarios complets à partir de zéro.
   • Densification de scénarios (ajout d'agents).
   • Simulation en boucle fermée pour l'entraînement de planificateurs.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données Waymo Open Motion Dataset (WOMD).

• Qualité de l'État Initial : SceneStreamer obtient des scores MMD (Maximum Mean Discrepancy) compétitifs par rapport aux méthodes de l'état de l'art (TrafficGen, UniGen), en particulier pour la distribution de la position, de l'orientation et de la taille. L'ablation montre que la décodage autoregressif est crucial pour éviter les états invalides.
• Prédiction de Mouvement : Le modèle atteint des performances raisonnables en ADE/FDE (Erreur de déplacement moyenne/finale) et démontre une diversité supérieure (ADD/FDD) par rapport aux modèles basés uniquement sur le mouvement.
• Apprentissage par Renforcement (RL) :
  • Des agents RL entraînés dans des scénarios générés par SceneStreamer montrent une robustesse et une généralisation supérieures par rapport à ceux entraînés sur des logs réels (replay).
  • L'entraînement adaptatif (où le véhicule égo influence le scénario généré) améliore encore les taux de réussite et réduit les collisions.
• Challenge Waymo Sim Agents (WOSAC) : Le modèle obtient des résultats compétitifs en termes de réalisme et de vraisemblance comportementale par rapport à des modèles complexes comme UniMM et CAT-K.

5. Signification et Impact

SceneStreamer représente une avancée significative pour la simulation de conduite autonome en passant d'une approche de "replay" ou de "prédiction statique" à une génération dynamique et interactive.

• Simulateur de Haute Fidélité : Il permet de créer des environnements de test infinis, diversifiés et réactifs, essentiels pour valider la sécurité des systèmes autonomes face à des situations rares.
• Amélioration de la Robustesse RL : En fournissant des scénarios où les agents de fond réagissent dynamiquement, il permet d'entraîner des politiques de conduite plus sûres et mieux généralisables.
• Flexibilité : Sa capacité à injecter ou retirer des agents à la volée le rend idéal pour la densification de scénarios et l'exploration de cas limites (edge cases) sans nécessiter de nouvelles données réelles.

En résumé, SceneStreamer unifie la génération de scénarios et la simulation en un seul cadre autoregressif, offrant une solution scalable et réaliste pour le développement de la conduite autonome de prochaine génération.