K-Gen: A Multimodal Language-Conditioned Approach for Interpretable Keypoint-Guided Trajectory Generation

Le papier présente K-Gen, un cadre multimodal interprétable qui utilise des modèles de langage pour générer des points clés guidés par le raisonnement et des descriptions textuelles afin de produire des trajectoires réalistes pour la simulation de conduite autonome.

L'essentiel

🚗 K-Gen : Le "Chef d'Orchestre" qui apprend à conduire en parlant

Imaginez que vous essayez d'enseigner à un robot comment conduire dans une ville très animée. Le problème, c'est que si vous lui donnez seulement des cartes géométriques (des lignes et des points), il ne comprend pas pourquoi les gens conduisent comme ça. Il voit des lignes, mais pas l'histoire derrière.

C'est là que K-Gen entre en jeu. C'est un nouveau système qui combine la vue (comme un humain qui regarde la route) et le langage (comme un humain qui réfléchit et explique ce qu'il voit).

Voici comment ça marche, étape par étape, avec des analogies simples :

1. Le Problème : La carte n'est pas le territoire

Les anciennes méthodes utilisaient des données très structurées (comme une liste de coordonnées GPS). C'est un peu comme essayer de dessiner un tableau de maître en ne regardant que la grille de coordonnées, sans voir les couleurs ni les émotions. Cela manque de "vie" et de contexte.

K-Gen, lui, regarde la scène comme un humain : il voit l'image de la route (les panneaux, les lignes, les autres voitures) et lit une description textuelle de ce qui se passe.

2. La Solution : Ne pas dessiner tout le chemin d'un coup

Au lieu de demander à l'IA de dessiner immédiatement toute la trajectoire future de la voiture (ce qui est très difficile et souvent imprécis), K-Gen utilise une astuce en deux temps, un peu comme un architecte qui dessine un plan :

• Étape 1 : Les Points Clés (Les "Points de Repère")
  Imaginez que vous devez expliquer à un ami comment aller d'un point A à un point B dans une ville complexe. Vous ne lui donnez pas chaque mètre du chemin. Vous lui dites : "Tourne à gauche au feu rouge, passe devant la boulangerie, puis tourne à droite à l'église."
  K-Gen fait pareil. Il utilise un "Grand Cerveau" (un modèle de langage multimodal) pour réfléchir et identifier seulement quelques points clés (des virages, des arrêts, des changements de vitesse) et explique pourquoi il les choisit. C'est ce qu'on appelle le "raisonnement" (Chain-of-Thought).

• Étape 2 : Le "Raffineur" (Le Lissage)
  Une fois que ces points clés sont posés, un module spécial appelé TrajRefiner vient les relier. C'est comme si un dessinateur professionnel prenait vos croquis grossiers et les transformait en une ligne de conduite fluide, douce et physiquement possible. Il s'assure que la voiture ne fait pas de mouvements de robot saccadés.

3. L'Entraînement : Apprendre par l'expérience (Le Coach Sportif)

Pour que K-Gen devienne vraiment bon, les chercheurs ne se contentent pas de lui montrer des exemples. Ils utilisent une technique appelée T-DAPO.

Imaginez un coach sportif qui entraîne un athlète :

• Il ne laisse pas l'athlète répéter les mêmes exercices faciles.
• Il identifie les situations les plus difficiles (les intersections complexes, les pluies, les piétons imprévus).
• Il donne des récompenses (des félicitations virtuelles) quand l'athlète réussit ces cas difficiles avec précision et sécurité.
• Il punit les erreurs de logique ou les trajectoires dangereuses.

C'est ce qui permet au modèle de devenir non seulement précis, mais aussi sûr et intelligent.

4. Les Résultats : Pourquoi c'est génial ?

Les tests ont été faits sur deux bases de données réelles de conduite (WOMD et nuPlan). Les résultats montrent que K-Gen est meilleur que les autres méthodes actuelles :

• Plus sûr : Il évite mieux les collisions (comme un conducteur prudent).
• Plus précis : Il arrive exactement où il doit aller.
• Explicable : Si on lui demande "Pourquoi as-tu freiné ?", il peut répondre : "J'ai vu un piéton qui hésitait à la sortie de la ruelle, donc j'ai ralenti pour être sûr."

En résumé 🌟

K-Gen, c'est comme donner à une voiture autonome un co-pilote humain qui :

1. Regarde la route avec ses yeux (images).
2. Réfléchit à voix haute (texte) pour comprendre les intentions des autres.
3. Dessine seulement les points importants du chemin.
4. Lisse le trajet pour qu'il soit parfait.

Au lieu de simplement suivre des règles rigides, K-Gen comprend le contexte, raisonne comme un humain et apprend de ses erreurs les plus difficiles pour devenir le meilleur conducteur possible.

Résumé technique

1. Problématique

La génération de trajectoires réalistes et diversifiées est un défi majeur pour la simulation de la conduite autonome. Les méthodes existantes souffrent de plusieurs limitations :

• Dépendance aux données structurées : La plupart des approches reposent sur des cartes vectorisées ou des représentations d'agents structurées, ce qui perd les détails spatiaux riches et le contexte sémantique des scènes de conduite réelles.
• Manque de contrôle et d'interprétabilité : Les modèles génératifs basés sur les données peinent à offrir un contrôle fin et une interprétabilité des intentions des agents.
• Limites des LLM actuels : Bien que les Grands Modèles de Langage (LLM) et Multimodaux (MLLM) offrent un potentiel pour le raisonnement textuel, leur application directe à la génération de trajectoires complètes entraîne souvent un manque de cohérence physique, un contrôle grossier et une dépendance à des représentations intermédiaires rigides.

L'objectif est donc de créer un cadre capable de comprendre le contexte visuel complexe (cartes rasterisées) et textuel pour générer des trajectoires à la fois précises, sûres et interprétables.

2. Méthodologie : K-Gen

K-Gen est un cadre multimodal qui décompose la génération de trajectoires en deux étapes principales, évitant la prédiction directe de la trajectoire complète par le modèle de langage.

A. Architecture Globale

Le système intègre des entrées de cartes BEV (Bird's Eye View) rasterisées (images) et des descriptions textuelles de la scène via un MLLM.

1. Génération de points clés (Keypoints) : Au lieu de prédire la trajectoire complète, le MLLM génère d'abord une séquence de points clés épars (sparse keypoints) guidée par un raisonnement de type « Chaîne de Pensée » (Chain-of-Thought ou CoT). Ces points capturent les intentions de haut niveau et les changements de direction critiques.
2. Raffinement de trajectoire (TrajRefiner) : Les points clés sont interpolés pour former une trajectoire grossière, qui est ensuite corrigée par un module TrajRefiner basé sur un Transformer. Ce module prédit des résidus (ajustements) en tenant compte de l'historique des trajectoires et des états des agents pour garantir la lisibilité cinématique et la précision finale.

B. Prétraitement des Données

• Description de scène : Les données brutes sont converties en descriptions textuelles structurées (type d'agent, position, vitesse, distance relative).
• Extraction de points clés : Une combinaison de l'algorithme de Douglas-Peucker (pour les segments à forte courbure) et de la détection de changements de vitesse significatifs est utilisée pour créer un ensemble de points clés géométriques et cinématiques.
• Annotations de raisonnement : Des annotations de raisonnement structurées sont générées (via Claude 3.7 Sonnet) pour couvrir la géométrie de la route, les risques de collision et les prédictions d'intention.

C. Stratégie d'Entraînement

L'entraînement se fait en deux phases :

1. Affinement Supervisé (SFT) : Le MLLM est entraîné pour produire simultanément des tokens de raisonnement (CoT) et des tokens de points clés.
2. Affinement par Renforcement (RFT) avec T-DAPO :
   • L'algorithme proposé, T-DAPO (Trajectory-aware Decoupled Clip and Dynamic Sampling Policy Optimization), est une variante de DAPO adaptée à la génération de trajectoires.
   • Échantillonnage dynamique : Il se concentre sur les 30 % des échantillons les plus difficiles (ceux avec les erreurs mADE/mFDE les plus élevées) pour améliorer la robustesse.
   • Fonction de récompense composite : Elle combine trois composantes :
     • Précision (Racc) : Récompense basée sur les erreurs ADE et FDE.
     • Concision du raisonnement (Rcot) : Pénalise les raisonnements trop longs.
     • Correctitude du format (Rfmt) : Vérifie la présence et l'ordre des balises XML requises.

3. Contributions Clés

1. Cadre Multimodal K-Gen : Intégration réussie de cartes rasterisées et de texte pour une prédiction d'intention interprétable et une génération de trajectoire précise, surpassant les méthodes basées uniquement sur des cartes vectorisées.
2. Stratégie guidée par les points clés : Décomposition de la tâche en génération de points clés (intention) et raffinement (exécution). Cela améliore la stabilité et la précision par rapport à la prédiction directe par le LLM.
3. Algorithme T-DAPO : Introduction d'une méthode d'optimisation par renforcement spécifique aux trajectoires, utilisant un échantillonnage dynamique des cas difficiles et des récompenses multi-objectifs pour aligner le modèle sur les contraintes physiques et de sécurité.

4. Résultats Expérimentaux

Les expériences ont été menées sur les ensembles de données WOMD (Waymo Open Motion Dataset) et nuPlan.

• Performance Quantitative : K-Gen (basé sur InternVL3-8B) surpasse toutes les méthodes de base, y compris LCTGen, InteractTraj et d'autres modèles VLM (Qwen, InternVL) de différentes tailles.
  • Sur WOMD : Meilleur mADE (0.915) et taux de collision (SCR) le plus bas (0.006).
  • Sur nuPlan : Meilleur mADE (0.591) et mFDE (1.478).
• Analyse Qualitative : Les visualisations de l'attention montrent que le modèle se concentre correctement sur les zones critiques (intersections, points de conflit lors de merges, limites de voie courbes).
• Études d'ablation :
  • L'ajout du module TrajRefiner réduit considérablement les erreurs par rapport à une simple interpolation linéaire.
  • L'utilisation de T-DAPO améliore significativement les résultats par rapport au SFT seul ou à l'utilisation de GRPO standard.
  • Les composants du TrajRefiner (encodage relatif, perte de cohérence cinématique, perte de point final) sont tous essentiels pour la précision finale.

5. Signification et Impact

K-Gen représente une avancée significative dans la simulation de conduite autonome en démontrant que :

• L'interprétabilité n'est pas incompatible avec la précision : En séparant le raisonnement intentionnel (via le MLLM) de l'exécution cinématique (via le raffinement), le système offre des trajectoires à la fois compréhensibles par l'humain et physiquement réalistes.
• Le multimodal est supérieur au vectoriel : L'utilisation de cartes visuelles (rasterisées) permet de capturer des détails contextuels que les cartes vectorisées négligent, améliorant la généralisation.
• L'apprentissage par renforcement ciblé est crucial : L'algorithme T-DAPO démontre qu'un ajustement fin par renforcement, focalisé sur les cas difficiles et guidé par des récompenses physiques, est nécessaire pour transformer les capacités de langage d'un LLM en compétences de pilotage fiables.

Ce travail ouvre la voie à de nouveaux paradigmes de génération de scénarios où le raisonnement linguistique et la précision géométrique sont unifiés pour des simulations plus sûres et plus réalistes.